这时的刘琨所依靠的，只是西晋朝廷的一纸任命书而已。在抵达上党后，他从路过的流民口中探得前路的情况，在当地招募了500不怕死的勇士，跟着自己一边战斗一边前进，终于赶到了并州的治所晋阳城。
但曾经繁盛的晋阳城，此时已经“府寺焚毁、僵尸蔽地、荆棘成林、豺狼满道”；残留的活人，也都奄奄一息、面无人色，用“地狱”一词来形容这里，并不为过。
习惯了富贵生活的刘琨并没有退缩，他率领部众翦除荆棘、掩埋尸体，修缮房屋、恢复秩序。为了抢夺粮食，附近的流寇前来袭扰，刘琨率人在城门口迎击，双方惨烈厮杀；甚至在平时耕地、劳作时，他们也不得不全副武装。
此外，刘琨还充分发挥自己的人格魅力，以及西晋朝廷官方背书的权威，派人前往300里外的解救老巢离石城拉拢人心，前后有上万各族百姓前来投奔。
解救当时对刘琨也有拉拢之心，组是考虑到对方名气太高，怕是不情愿归附，便想着拖段时间再说。
刘琨在晋阳励精图治，一度毫无人气的晋阳城逐渐展露出往日的气象，“流人稍复，鸡犬之音复相接矣”，附近流落的士人、各族百姓纷纷依附，连刘琨的父母也离开洛阳前来投奔。
对于一个浸淫上层奢华生活多年的士人来说，这一阶段的刘琨，表现不可谓不优秀。但在局面稍微安定下来后，刘琨的喜好开始暴露。
刘琨不仅精通诗词，在音律方面也是名噪一时的行家。虽在晋阳困苦之地，但他对艺术的追求并没有因此被削弱，这里还有个与此有关的典故。
在一定情况下，艺术能展现它的力量；但如果场合不对，这一精英阶层的固有技能，反而会成为累赘。
当时，有个名为徐润的士人同样精通音律，由此得到了刘琨的信任。但此人并没有政治才能，却惯于恃宠而骄、干涉政务。
性格耿直的奋威护军令狐盛多次建议除掉此人，但刘琨却固执己见，晋阳城内的领导集体逐渐出现了分裂。
同时，刘琨极富人格魅力是不假，这也是他能够不断吸引人前来投靠的重要因素；但他身上的文人气息过于浓厚，缺少驭人的心机与权术；
沉迷音色、生活骄奢的习性难以纠正，让一些军民对他大失所望，所以就造成了这样一个结果：人们来得容易，离去得也快，“虽归者数千，去者亦以相继”。
刘琨积极寻求盟友，他派人带着大量财物，主动联络代郡、上谷附近的鲜卑拓跋部落。
但此时鲜卑各部已落入孔怕之子等五凶之子手里，在吴泽授意下，拓跋猗卢欣然接受，派出铁骑帮助刘琨。
其后，两人结为异姓兄弟，相约携手涤荡北境、铲除叛军。
对于结拜兄弟的雪中送炭，刘琨投桃报李，主动上表朝廷请求封拓跋猗卢为大单于，就近以代郡为属地，封其为代公。但当时的代郡归幽州刺史王浚管辖，刘琨并没有提前打招呼；被拓跋猗卢击败、夺去土地的王浚由此对刘琨怀恨在心。
虽然埋下了隐患，但刘琨依仗让匈奴人畏惧的鲜卑骑兵，实力跃升了一个台阶。
解救移师北上，占据襄国（今邢台市襄都区）开始经营河北；心中不忿的王浚也时常前来袭扰，刘琨所面临的压力愈发紧迫。
束手无策的刘琨，只能以酒、乐自娱；他还听信徐润的谗言，想将屡屡仗义执言的令狐盛处死。
这不仅使部将越发离心离德，更给晋阳城带来了近乎毁灭性的打击。吴泽施计将令狐盛偷偷救了下来。
令狐盛的儿子令狐泥投奔了解救，将刘琨的实力全盘相托。
王浚乘机大举偷袭，晋阳城被攻破，刘琨的父母也被杀害。
这时吴泽出面，客观分析他当前处境，让他与平胡将军解救结成同盟，拓跋猗卢也来劝说，说是鲜卑各部已经和平胡将军结成同盟了。
此时刘琨已经走头无路，只得答应吴泽的要求，同时，他也为吴法的博学多才而顷倒。不顾年龄差距，与吴泽结为兄弟。
为了向王浚复仇，刘琨还给他的好友祖狄修书一封，讲述了自己的遭遇。
当时晋朝内部腐败，但是并未动摇祖逖的北伐决心。祖逖率领跟随自己南下的宗族部曲百余家，毅然从京口渡江北上，并在大江之中，用力拍击船楫，立誓要扫清中原。
他在渡江后，暂驻淮阴，起炉冶铁，铸造兵器，又招募到士兵二千多人。当时，兖豫一带有豪强张平、樊雅，占据谯城，聚坞自保，有兵数千人。
只是在名义上臣服于司马睿，接受其授予的官职。张平部下还有董瞻、于武、谢浮等十多支小部队，各有数百人。
祖逖进驻芦洲，派参军殷乂去联络张樊二人。但殷乂却轻蔑张平，认为他不能保住头颅。张平怒杀殷乂，并拥兵固守，与北伐军对抗。
祖逖攻城不下，遂使用离间计，引诱张平部将谢浮。谢浮借与张平商讨军情之机，杀死张平，率众归降。祖逖进据太丘，但因军中乏食，处境艰难。
张平死后，樊雅仍占据谯城。樊雅率众夜袭，直逼祖逖大营，军中大乱。祖逖沉着指挥，督护董昭英勇杀敌，终于击退樊雅。
祖逖又率部追讨，却遭到张平余部的迎击，便向蓬坞堡主陈川、南中郎将王含求援。陈川、王含分别派部将李头、桓宣率军助战。
祖逖让桓宣去劝降樊雅，桓宣单马入谯城，对樊雅道：“祖逖正准备荡平北境，需要仰仗你作为后援。先前是殷乂轻薄无礼，并非祖逖本意。”
“如果现在和解，既可建立忠勋，又能保全富贵。但若还要固执，朝廷派出勐将，凭你手下乌合之众，依据一座危城，北边又有强贼窥伺，万无一全。”
樊雅遂出城归降。祖逖攻占谯城后，终于在豫州站住脚跟，打通了北伐的通道。桓宣则率部返回。
如遇章节错误，请点击报错(无需登陆)