公元三一一年，匈奴贵族刘曜率军攻陷了晋朝的都城洛阳（今属河南），晋怀帝仓皇出逃。结果，半路被刘曜的骑兵抓住，当了俘虏。
这个消息传到南方，引起了许多爱国志士的强烈愤慨。有位名叫祖逖的将领，更是义愤填膺，强烈要求出兵北伐，收复中原。
祖逖，字士稚，范阳遒县（今河北涞水北）人。西晋末年，他率领数百户族人渡过黄河，南迁到淮河流域，后来抵达京口（今江苏镇江）。当时，晋朝在北方大势已去，但驻守在建业（今江苏南京）的琅琊王司马睿手中还有一些兵力。他任命祖逖为军谘祭酒（军事顾问官）。祖逖几次向他请兵北伐，他都置之不理。这次怀帝被俘，祖逖再也忍不下去了便特地到建业，当面对司马睿说：“现今中原的百姓在水深火热之中，大王应发兵北伐，奋击苠戎狄（指外族统治集团），把受苦的百姓解救出来！”
司马睿想保存自己的力量，无意出战，因而沉默不言。于是祖逖再次请命道：“大王如能下令出兵，并派我去收复中原，那里的百姓一定会望风响应！”
司马睿没理由拒绝，便封他为奋威将军、豫州刺史，拨给一千人的粮饷和三千匹布，其余全让祖逖自己去筹集解决。
祖逖知道司马睿只是表面上支持他北伐，但他并不因此而气馁。他马上返回京口，率领一百多户族人，渡过长江北去。
船到中流，祖逖望着滚滚东去的江水，举起船楫，叩击着船舷，激昂地起誓道：“我祖逖这回如不能收复中原，就像这大江之水，有去无回！”
祖逖率领族人过江后，一面招兵买马，一面打造武器，使队伍迅速扩大。后来挥师北上，终于收复了黄河以南的大部分地区。
