战斗进行到傍晚时分，终于以谢玄下令鸣金撤退而暂时偃旗息鼓。
当守城方开始用一锅锅的热油往城下倒，城下的北府军士兵被烫的皮开肉绽鬼哭狼嚎的时候。当瓮城两侧的城墙上又新增了数百弓箭手，肆无忌惮的朝着城门两侧攻城的北府军放箭射杀，而北府军没有丝毫的解决手段的时候。谢玄知道，该叫停这次进攻了。
谢玄绝非是心慈手软，不敢恶战到底之人。当初在桓温帐下，他也是领军将领之一。寿阳之战，他孤军入城，凶横搏杀，悍勇之极。
但是，他也绝非是有勇无谋，无视将士性命之人。今日攻城所遭受到的阻力之大，死伤之众，是谢玄完全没有想到的。
他知道彭城难攻，北府军将士会有很大的伤亡。但是他没料到伤亡会如此之大。他误判的对方防守的实力，不知道彭城守军拥有那么多的强力守城武器和大量的物资。更对彭城建造了瓮城之后，瓮城城墙对于两侧的压制没有准备。
谢玄不是一条道走到黑的人，所以他果断决定停止这次进攻。
随着撤退命令的下达，北府军将士如潮水般的退了回去。城头的守军也是精疲力竭，但他们还是组织起弓箭手试图进行箭雨的追杀。
谢玄岂会给他们机会。他下令投石车将最后的石头雨浇灌在城墙上，将秦军士兵压制住。这才保证了北府军的顺利撤离。
但即便如此，北府军的巨大伤亡已经是事实。北府军撤离之后的城下战场，遍地尸体，血流成河。尸体层叠，遍布城下和护城河两侧的地面。
数以千计的北府军士兵永远的死在了这场战斗之中。死伤人数超过七千，其中近两千八百人阵亡，伤者无数。一个个年轻的生命永远的凝固这场战斗之中。他们所有的梦想和未来都在此刻戛然而止。