朝廷讓劉懷慎率軍入境的旨意頒至，胡藩已先行得到楊安玄的命令，與馮衝率領兵馬先行離開臨沂城，將陽城、東安等占領的琅琊郡城池都讓出，退到北冀州東莞郡東莞城(今山東臨沂市沂水、莒縣北部一帶)中。
劉懷慎得知雍軍退走，命人進入臨沂、陽都(今山東沂南縣磚埠鎮一帶)、東安(今臨沂市沂水縣、沂源縣一帶)，前去接收的兵馬回稟，胡藩撤走時將府庫中的錢糧布帛搬運一空，願意隨同雍軍撤走的官吏百姓也隨之離開。
劉懷慎命人從彭城調運糧食到來，他預想到雍軍雖然讓開道路,但不一定會讓自己順利到達廣固城，進入北冀州恐怕凶多吉少。雍公一再上疏強調北冀州境內匪患叢生，恐怕就是想學微山湖的水匪一樣，借盜匪之名對付自己。
劉裕從建康發來急信，命劉懷慎先駐於琅琊郡開陽城，修築好進廣固城沿途的城壘，徐徐入北冀州。
當年劉裕伐(南)燕時，從下邳開始沿途修築城壘，時過四年多，這些城壘多數荒棄倒塌。劉懷慎命人修複好琅琊郡內的城壘,接著派出役夫進入東莞郡修複城壘，結果第二天便遇到了盜賊，護衛的兵馬被逐散，役夫擄走，城壘搗毀。
劉懷慎大怒，以北冀州刺史的身份下令，嚴令彆駕胡藩和司馬郭清儘快掃平境內匪患，從東莞城到廣固城，每隔二十裡便要築起一處城壘。
胡藩回文，三月正是農忙之時，不好征役,等七月秋收之後的再說。
劉懷慎向朝廷上疏，以怠慢軍機為由撤換胡藩和郭清，劉裕被朝廷授以“都督中外諸軍事”，以朝廷的名義將胡藩、郭清撤職。
楊安玄怒不可遏，命胡藩嚴陣以待。等新任彆駕朱平帶著千餘兵馬入境前往廣固城，行至半途被盜賊劫殺。
盜賊殺死朱平之後，並沒有消失，而是繼續南下，將東安、陽城一線修築的城壘儘皆搗毀，擄走駐守的官兵。
劉懷慎聞訊從開陽城殺出，盜賊往西北方向逃往蒙山，劉懷慎不敢進山搜索，隻得怏怏回師。
魯郡、泰山郡成為宋公劉裕的封地，劉裕派往兩地的屬官入境後同樣不知所蹤，建康城內風聲鶴唳，多數人以為雍公很可能揮師南下，同宋公爭奪天下。
東堂，看到劉裕臉色發青，司馬德文暗暗心暢，反正這天下實際上已經不是司馬氏的了，鬨吧，打吧，越亂越好。
廷議決定由都兵侍郎蔡秀接任北冀州彆駕，還沒等出發，蔡秀便上疏稱病，氣得劉裕當場將他免官讓其回家養病。
雍公楊安玄上疏為北冀州彆駕胡藩等人辨爭，認為胡藩等人並無過錯，北冀州盜賊蜂起是因為刺史劉懷慎胡行亂為，請求朝廷貶謫劉懷慎，任命胡藩為北冀州刺史，並嚴斥宋公劉裕。
這其間，濮陽、蓼城兩個榷市的市令卻帶著十幾名隨從通過“匪患”叢
生的兗州和北冀州境內安然上任，原本不敢往來的商賈大著膽子走了走，居然安然無事，一個盜匪也沒遇上。
於是，北冀州的官道恢複了以往的熱鬨，連挑夫走卒都知道那些盜匪是專門針對朝廷的官兵的。劉裕得知後氣得破口大罵，“安玄小兒欺人太甚”。
可是明知楊安玄不讓劉懷慎上任，劉裕也無可奈何，總不能讓劉懷慎冒險赴任，拚個你死我活吧。此時江陵、南益州尚在打仗，國庫的儲備不足，劉裕哀歎打不起仗。
於是，劉裕隻得命劉懷慎以北冀州刺史的身份駐於琅琊郡開陽城，在琅琊、彭城、下邳一帶屯糧練兵，準備北伐。
將朝政委與劉穆之、徐羨之等人，劉裕自己帶了謝晦、傅亮、沈田子等人前往京口，派謝晦前往廣陵一帶、沈田子前去三吳之地募兵，傅亮則前去督造船隻，準備三年之內新募兵馬八至十萬，增加戰船六百艘。
屆時，朝廷有兵馬二十餘萬，戰船接近三千艘，加上郡軍、屯軍二十餘萬的數量，劉裕信心滿滿可與楊安玄決一死戰。
劉裕招兵買馬，楊安玄也沒有閒著，將平姚秦所得的秦國俘兵一萬多人從屯軍中挑出，分散派往兗州和北冀州；滅仇池得俘兵八千餘人也被打散派往司、兗、北冀、北青等地。
滅仇池後，楊安玄命秦州刺史蒯恩將仇池百姓遷往梁州，轉從梁州、北雍州、司州、雍州等地招募
百姓入秦州陰平和武都兩郡，凡願往者每丁授田一百五十畝。
按照朝廷規製，每男丁才授田七十畝，這是翻了倍，報名前往的人不少，不少人家分了家，讓次子或庶子前去仇池。
陰平、武都新歸版圖，以前仇池的官吏楊安玄不打算留任，從各州征募了一批官吏入秦。凡願往陰平、武都為官之人吏轉為官，官升一級，沒想到應者如雲，看來有機會當官再偏遠的地方也有人願去。
得知劉裕大舉征兵，楊安玄來到參謀部與眾人商議應對之策。雍公府大堂東側的三處宅院，連通之後有四十六家官廨，作為參謀部的官廨。
參謀部設掌事一人，王鎮惡；設左、右丞為佐，左丞由趙田兼任，右丞則讓原天水郡太守高長慶擔任。
奪回天水郡後，高長慶再度表達了願回家鄉養老之意，楊安玄見高長慶心意已定，讓高長慶將答應部落的糧食發放到位後便回襄陽，天水郡太守之職暫由岑明虎兼任。
孟龍符得到楊安玄的命令，從長安城將糧食運往冀縣，高長慶歸心似箭，召集部族頭人將糧食分派好後便匆匆回了襄陽。
匈奴少年頡伯賀聽說高長慶要回晉國，懇求跟他一起來襄陽。高長慶很喜歡頡伯賀的機靈，便帶了他一起回了襄陽。
參謀部除掌事、左右丞外，其他人皆稱參謀，職同雍公府參軍，有的人直接是兼任。
楊安玄從軍中挑選了些年歲大、
經驗豐富的將領充實其中，姚秦、南燕甚至譙蜀的降將有不少也成了參謀。參謀之下有令史、書佐這樣的小官吏操持著具體事務。
楊安玄與王鎮惡商量，以後還要擴大參謀部的規模，從軍中征調將領前來參謀部進修，增強普通將領的指揮能力。這點建議王鎮惡是竭力讚同，這樣一來有個十數年，軍中將領便多成為他的學生了。
參謀部重地，院門前有六名兵丁日夜值守，防備森嚴。議事大堂跟雍公府大堂差不多大小，裡麵擺放著沙盤，懸掛著輿圖。
屋東北角有個櫥櫃，裡麵放著十幾種茶葉罐，這是楊安玄體貼參謀部的參謀們多數年歲較大，讓他們一邊議事一邊品茗。