對南宋皇族和官員的處理，在霹靂軍高層內部引起了激烈的爭論。伯顏建立偽政權後，將傀儡小皇帝趙?及謝太後等皇族成員圈禁起來。在霹靂軍攻打臨安城之戰中，或許是因為沒有存在感，或許其財物都被伯顏掠走，他們居然沒有受到戰火波及。隨著伯顏身死臨安光複，又有前朝遺老又偷偷摸摸聚集起來，試圖重新擁立帝趙?為帝，卻被謝太後嚴辭阻止了。霹靂軍進城後，不僅派兵保護皇族不受滋擾，還送糧水食物。謝太後明白霹靂軍是文明之師不假，但趙氏皇帝室真做了出格之事，也會遭來殺生之禍。
除了趙?外，趙氏還有一個傀儡小皇帝——福州小政權的趙昰，此時的他棲居在雷州半島的行宮之內。所謂的行宮，隻不過是十數間匆匆搭成的木房子而已，而這也是此地最好的房舍。小政權的“權臣”張世傑的居住隻是三間木板房，而跟隨而來的陳宜中、陸秀夫等人，隻有一間木板房。至於數萬跟隨而來的官員、士兵和百姓，大多居住在狹窄的草棚之中，有的甚至並無居所。被張世傑接到海上之後，趙昰及福州小政權官員便一直在海上漂泊，在追兵威脅和驚滔駭浪下日日提心掉膽，還因暈船吐得昏頭脹腦，好不容易才在兩個月前安頓下來。雷州半島雖然暑熱又乏糧缺水，但總勝過海上的日子。
在阿剌罕進攻福州前，張世傑便率船隊往廣州方向而去。小政權雖然現在是政令不出船隊，廣南東路諸州縣也是聽調不聽宣，但總可以補充食水，也可以上岸休整。張世傑自忖手下的五千淮西軍也頗為精銳，可以尋機奪取廣州以安身，然後再以廣州為據點，號令周邊州縣，招兵買馬，以圖東山再起。那知道他們還沒有到廣州海域，便聽聞李恒已率軍進入清遠，其騎兵也在番禺和增城出沒。張世傑在淮西時曾被李恒打得大敗，知道其軍勇悍絕非自己能敵，遂在附近一個叫崖山的地方駐留下來，靜觀事態發展。如果李恒勢大，則率軍離去；如果李恒退去，自己則進駐廣州。
臨安政權滅亡前為防蒙元南侵，將軍力都派往兩淮和長江沿線，加之廣南東路氣侯炎熱開發度低，故並沒有多少軍力，廣州城也是如此，根本無法抵擋李恒偽軍的進攻。得知張世傑率軍前來，廣州官員便派人送來食水並乞求其來援廣州。張世傑知道自己不敵李恒，不敢率軍援助，隻是以小皇帝的名義下了一封詔書，嘉勉官員百姓堅守氣節，與城共存亡。廣州官員接到詔書後臉色發青，小吏百姓們聞之，也個個氣得破口大罵。走投無路之時，城中的霹靂軍商隊找上門來，申請組織義軍禦敵，還聲稱一支霹靂軍偵察隊已到廣州，另有數千人馬正在趕來。這個消息對廣州官員們來說，如同溺水之人遇到救命稻草，無論如何也要牢牢抓住。
李恒部滅亡之後，張世傑欲率船隊進駐廣州。在船隊出發前，他派人通知廣州城，要官員準備好食物和降暑物品，並要求城中百姓提前騰出房屋以供大軍居住。按照他的要求，城中大半官員和百姓將失去自己的房屋——高房大屋供皇室高官居住，普通民宅供兵卒居住。在張世傑等小政權的高官看來，天下都是趙氏所有，這些要求合情合理。他未曾料到的是，這個命令讓廣州軍民怒不可遏——李恒欲攻城時官軍不來，如今李恒敗亡卻來了。憤怒之下，遂痛打並逐回了前來傳話的裨將。話說廣州以商立城，不管是官員還是百姓受霹靂軍風氣影響極深，那裡受得了張世傑這種霸道做法。
張世傑聞訊勃然大怒，連與之一向不對付的陳宜中等人也叫囂，要以雷霆手段嚴懲廣州軍民的悖逆不罪。正當他們率船隊往廣州城進發之時，軍中斥侯報來了兩條緊急軍情。前一條稱播州軍已派一個團進駐廣州，加上霹靂軍商團組織的義軍，守軍已過萬人。後一條稱瓊州方向已來了一支霹靂軍船隊，船隻數量在三百艘上下，其中過半為大船，不少還配有火炮。這兩條軍情讓張世傑明白，廣州城怕已投附霹靂軍了。他那點軍力，在霹靂軍麵前根本沒有一合之力。悻悻之下，他隻得下令他船隊前往雷州。
果不其然，三日之後一封急件送到了張世傑手中，信件的主人楊邦憲。信中楊邦憲告訴小朝廷，包括廣州在內的廣南東路已歸附霹靂軍。趙氏氣數已儘，唯有順應天命才能苟全性命。這封信讓包括陸秀夫、陳宜中等人大罵不已，在他們看來播州楊氏世受皇恩，在危難之時有責任匡扶趙室，還應大義滅親與霹靂軍一刀兩斷。張世傑等軍將們卻一臉黯然，這些腐儒官員隻知道經書道德，卻忘了政治是憑實力說話的。與清流官員相比，他們並不恨霹靂軍，如果沒有霹靂軍這支漢人武裝，小政權剩下的幾萬軍民恐怕早被伯顏的偽軍追殺殆儘了。
冷靜之後，小政權高官們開始討論下一步何去何從。雷州炎熱乾旱，虎狼猖獗又疫病流行，本是臨安犯官罪人的流放之地，讓江南的達官貴人們很難適應。缺醫少藥之下，不少兵卒和隨行的家眷也紛紛病倒。更重要的此地人煙稀少，所產糧食根本無法供給數萬人之需，甚至連飲用淡水也匱乏，實在不是長久之地。除此之外，船隊所帶的鹽、鐵、布等各種生活物資也快消耗殆儘。這些物資當然可以到附近的州縣采購，可小政權建立之後便沒有穩定的稅收來源，府庫早已見底。
陸秀夫自請為使者，欲前往揚州麵見歐陽軒，要求霹靂軍退回巴蜀和長江以北，將江南諸路土地退還趙宋政權。如果歐陽軒不同意，退而求次之則讓其覆行承諾，實行君主立憲，至少要讓趙氏皇室成為天下之主，與他持相同意見的還有一眾清流官員。在他們看來，霹靂軍是趙宋政權的臣屬，不聽號令已是大逆不道，隻有懸崖勒馬才是正道。清流之中文天祥要務實許多，他提出的建議是霹靂軍劃出十餘州府作為趙氏皇室的安身之地，延續趙氏的統治。他在江西兵敗之後，一路顛沛流離終於找到了張世傑一行。到達雷州半島之時，他已是麵黃肌瘦衣不蔽體，身邊的隨從也隻剩下了幾人。
陳宜中及其黨羽對深知霹靂軍對他們的腐敗深惡痛絕，在新政權中也不會有一席之地，故他們的意見是前往海外尋找樂土。霹靂軍能在找到海外大片領地，小政權有船有人還有數千軍隊，自然也去得，到了海外自己仍可以過著人上人的生活。按照陳宜中的想法，南洋地區是最合適的去處。雖然距離最近的交趾已成為霹靂軍行省，距離稍遠的占城和呂宋等王國倒也可以，這些王國以前可是大宋的藩屬國。