朝廷紛爭之外，更有江湖恩怨。
郭解年齡稍長，每被其姊驪山老母許負嚴厲訓教，譬如嚴父，毫不留情。於是檢點自己此前惡行，開始以恩報怨，對貧人多加施舍，而且不望報答。
其後又拜墨家掌門滕陽為師，自此行俠天下，仗義江湖。常常扶危解困，救人生命，卻不自誇功勞。但仍然殘忍狠毒，為小事突然怨怒行凶。
當時各國少年仰慕其行，也常常為郭解殺人報仇，卻不使其知道。
郭解外甥劉衍，乃是次姐之子，依仗舅父勢力，任意橫行。同彆人飲宴之時，常勸座中客人喝酒，若對方量小，則強行灌之。
有次劉衍又灌人強飲，被勸者發怒，由是當場拔刀，剌死劉衍，就此逃跑。
劉衍之母聞說兒子被殺，凶手逃走，於是大怒：以我胞弟在江湖之上名聲，更兼翁伯義氣，人殺我子，凶手竟不可得乎！
於是棄屍不葬，以此羞辱兄弟。
郭解自覺難以麵對二姐，遂派人暗中探知凶手去處。
凶手窘迫，自動來見郭解，並說以殺人之故。
郭解說道：原來如此。此是我甥兒無理，你殺其宜也。
於是釋其凶手，將外甥收屍埋葬。世人聞之，皆讚郭解道義，自此愈加歸附。
郭解每次外出歸來，人皆躲避，惟有一人當麵挺立，傲然視之。門客大怒，欲殺此人，郭解說道：某居鄉裡，未得人尊敬，是我德修不足，彼有何罪！
又暗地囑托尉史：此乃我近親，請免其服役。
尉史應之，以後每到服役，縣中官吏都未找其對郭解無禮者。其人怪而問之，方知是郭解使人免除己役，於是親自登門，負荊請罪。裡中無賴少年聞之，越發仰慕郭解。
洛陽人有相互結仇者，城中豪傑從中調停，終不得解。郭解聞之，夜入洛陽，與其解紛。兩家皆都敬重郭解，於是和好。
郭解對其兩家說道：我聞洛陽諸公調解，你兩家不受。今幸聽我解和，然我怎能侵奪洛陽賢豪大夫之功我今趁夜離去，公等明日複使洛陽豪傑調解，從其解紛可也。
洛陽群豪聞之，無不大服。
郭解恭敬待人，每當進出縣衙，皆都步行，不敢乘車。替人辦事，竭力使成；辦不成者，不食人請。因此諸國吏民尊重，江湖欽敬，爭為效力。城中少年及附近縣城賢人豪傑，半夜上門拜者駱驛不絕，爭養郭解家中門客。
元朔二年，朝廷下詔，命遷各郡國豪富前往茂陵。郭解家貧，本來並不符合遷轉標準，但地方官吏見有其名在內，不敢不令其遷。
大將軍衛青上奏天子：郭解家貧，不合遷移標準。
漢武帝笑道：彼一庶民，竟能使大將軍專為其進言，可見其家不窮。
於是詔準郭解，遷徙茂陵。搬家之日，全縣為郭解送行者，共出錢一千餘萬。郭解遷移到關中，關中賢人豪傑爭與結交，自此車馬盈門，猶如豪門大戶。
軹縣楊季主之子時為縣掾，原來是其欲趕郭解出縣，故注其名於遷徙名冊。郭解兄子聞之，乃夜入楊府，刺殺縣掾，從此郭、楊兩家結仇。
不久之後，郭解又殺死楊季主。楊家上告，郭解門客又將告狀人誅殺於長安宮門。
漢武帝聞報大怒，下令通緝捕捉郭解。
此案驚動天子，關中豪傑回護不得，郭解隻得亡命生涯。
因將母親安置在夏陽，自己逃到臨晉，來見籍少公，求其相助出關。
籍少公早聞郭解大名，雖是初次相見，亦甘冒大險，將其送出關去，直到太原。
郭解雖被朝廷通緝，但所到之處，並不隱藏行跡，人皆知之。
官吏追逐郭解，問到籍少公家中。籍少公為保守秘密，拔劍自殺，口供斷絕。
其後數年，官府捕到郭解，徹究其罪。但發現郭解殺人之事，都發生在大赦令公布之前，由此不能定罪。禦史衙派人到軹縣調查郭解，縣令命一儒生陪同，前往郭解故鄉查案。
時有郭解門客，仍在其舊居閒住，見朝廷派官來查，遂大讚郭解急公好義之舉。
儒生不以為然道：據某所知，郭解專愛做奸犯法之事，怎能說其為賢人耶
門客聞此大怒，因而當場拔劍斬殺儒生，並割其舌，然後逃去。負責調查官吏逃回關中，以此事責問郭解，令其交出凶手。而郭解聽那官吏描述狀貌，確實不知殺人者是誰。
官吏由此向皇帝報告，說郭解無罪。
公孫弘奏道：郭解尚俠，玩弄權詐之術，常因小事殺人，本就罪不容誅。此事郭解自己不知，猶較其自己殺人尚重也。陛下宜判郭解大逆無道重罪。
武帝信以為然，於是命令將郭解押往京師，誅其全族。
閃回結束。當郭解被捕進京之時，正是主父偃伏誅之日。
郭解入京，天子詔命下在天牢，不必再加審理，待捕齊家屬親族，一並誅殺。地方官奉旨，追究其族，上報尚有外祖母許負，今在驪山老母宮修行，理宜問斬。
武帝驚問：此位驪山老母許負，便是當年為我高祖皇帝相麵者乎
禦使答道：是也。今年已九十六歲，而貌如少婦。
武帝大為驚奇，便問其生平詳事。禦史瞠目結舌，不能詳奏。
博士東方朔正在帝側，見禦史窘迫，遂開口奏道：啟奏陛下，臣知許負之事。
漢武帝：卿又因何得知
東方朔：臣乃平原郡人，鄰近河內。因少時曾遊曆河內郡，又多次留居軹縣，與郭解門客常相往來，故對許負之事，知之甚詳。
漢武帝：朕聞諸子百家之中，惟有驪山門最為神秘。世間隻有驪山老母之名，而無人可傳其術。賢卿博識多聞，委實異於常人。則便將許負平生之事，詳為寡人說之。
鏡頭閃回。便借東方朔之口，敘述許負軼聞。
始皇帝二十六年，秦始皇嬴政詔命，以大將軍王翦之子王賁掛帥，率軍攻齊。秦朝鐵騎到處，齊國防衛立時瓦解崩潰，七十餘城相繼攻克。
於是攻入臨淄，俘擄齊王建，滅齊為郡，天下一並於秦。
始皇帝令天下大慶，同時詔令各地官吏，廣征神異祥瑞之事，上奏朝廷。
各地官員遂廣征博采，紛以本地祥瑞之像上奏。
臨兆郡守來報，有大人長五丈，足履六尺，皆夷狄服，凡十二人，見於臨兆。
始皇大悅，以為喜瑞，令銷天下兵器，作金人十二以像之。
河內郡上奏，溫城縣令許望之妻趙氏誕生一女，手握玉塊，玉上有文王八卦圖形。此女出生百日，即能開口說話，實屬神異。
始皇聞訊，亦以為吉瑞之兆，令賜許望黃金百鎰，善養其女。許望為表示對始皇帝感激之情，特為女取名為許莫負，意為不會辜負聖上隆恩之意。
許望女兒得始皇帝禦賜，消息傳遍天下，慣於獵奇者甚至不遠千裡，專程來看稀奇。因此許府門前，每天都是車水馬龍，高官顯貴絡繹不絕。
許莫負對前來看者，或大哭不止，或綻露笑容，不一而足。起初人們並不以此為意，謂其哭笑乃嬰兒本能反應，並無特殊含義。
然而天長日久，其中天機漸顯。人們發現，凡莫負曾對之大哭者，皆遭厄運，或陡生疾病，或屢遇禍端，或家庭頻遭變故，或觸犯律條而被判罪。而莫負對之展笑容者，則喜事連連，不是招財進寶，便是官階頻升。
於是人皆醒悟，此位女嬰，天然即可為人看相。為此世人懼禍，前來看者日稀。
女兒四歲時，許望請當地宿儒教以識字。莫負過目不忘，不到半年，便能識四千餘字；又過目成誦，凡諸家之文，無不能背。又問玉塊上文王八卦，聞而如醉如癡，興趣盎然。
先生對許望歎道：令愛悟性曠古少見，可惜不是男兒。否則，定為易學一代宗師！
許莫負聞之，嘻嘻而笑，乃與先生談論《連山》、《歸藏》、《周易》。先生僅知《周易》，《連山》和《歸藏》知之甚少，故此難以答對。
先生自知能力有限，遂向許望說道：令愛具有天人之資，非我凡夫俗子所能教之。望大人速為其聘任高人，教導為要。
許望便問：未知當世高人，今在何處
先生：當今堪稱高人者，除鬼穀先生，便是其高足弟子，如徐福、盧傲、黃石公者。徐福、盧傲皆已出海，為始皇帝尋長生不老之藥；隻有黃石公，在潁川歸穀山中隱居修行。
許望：黃石公學識，比先生如何
先生：天壤之彆，如何相提並論！黃石公乃是鬼穀門掌門弟子，深諳神仙之道，精通三易之秘，擅長相人之術。令愛若能拜其為師，前程將不可限量。
許望信以為然，遂攜愛女離開軹縣，到潁川尋訪黃石公。未料尋到歸穀，方知黃石公早已離開，雲遊四海而去，人皆不知其蹤。
父女無奈，隻得返回溫城，準備另外擇師受教，一時求之不得。忽有一日，許莫負在大門外玩耍，一位老母經過，上前相其半晌，喜容滿麵。
許莫負：你這位阿婆，因何隻管看我
老母：小妹，行路人口乾舌燥，能否給我一口水喝
許莫負：阿婆稍等，待我進去篩茶。
說罷轉身進屋倒茶。待端茶出屋，卻不見老母蹤影。四處看時，忽見門前石獅底座上，留有一卷絹書。莫負放下茶碗，拿起絹書，見上書《心器秘旨》四字。
莫負大奇，往下看時，見書名之側，又旁書幾行小字：天道暗，莫負誰相人者，具慧眼。群雄起，天下亂。慎相之，助君賢。
再往下看，全是相人之術。
莫負還家，說與父親，父女商議，方知來者乃是驪山老母鐘無豔，前來贈書授業者。
自得到《心器秘旨》後，莫負便潛心閱讀，很快對書中內容了如指掌，並能觸類旁通，開始為人看相。因知秦朝將覆，故將許莫負改為許負。
有一日，許負見到兄長與友人在門前彈鳥，便對兄友說道：速回家去！你母在家突染重病，若能請醫及時診治，或許有救。
兄友將信將疑，回家果見母病，及延醫診治，乃轉危為安。
許負善相之事由是廣為人知，前來看相者絡繹不絕，名聲大震。始皇帝聞知，便令河內郡守召其到鹹陽看相。許負早知其事，裝病拒不赴召，郡中官員隻好失望而回。
許望便問其女：皇上前來征召，你為何不去
許負道：天下將亂，女兒去有何益
許望怕其年幼，口無遮攔，遂不準其再為人看相。
始皇崩於沙丘，二世皇帝胡亥繼位，賦稅徭役更甚於始皇，終於激起民變。
許望時有三子，均在司職，長子許忻為縣尉，次子許欽、三子許安皆為遊徼。
三子都主張自樹旗幟響應陳勝，與暴秦決裂。
許望問女許負：兩年之前，你預言天下將亂，改名為負。今天下果亂，將之奈何
許負答道：父親應從兄長之言，但宜招募賢人誌士，訓練部眾，不宜明反。
許望乃從其議，與三子擴大隊伍，訓練士卒，閉城自守，進出人員嚴格盤查。
翌年春，高祖劉邦率部攻打鹹陽，路經溫城。因聞溫城縣令許望為政清廉，深孚人望；又聽說其女善相，遂將部隊紮於城外，自率蕭何、周勃、曹參、陳平等人，來訪縣令。但至東門城樓時，見城門關閉，叫之不開。
周勃不耐，便在城下叫嚷：若不開門，便打進城去，雞犬不留！
許負陪長兄許忻巡城至此，自城樓下觀，見劉邦等五人個個氣度非凡，不由大為驚異。乃對兄長說道：此五人者，皆奇士也。喊話之人，乃有宰相之質，我兄不可怠慢。
於是出城，與高祖等五人相見。高祖聞說來者便是許負，便將身份告之，請見縣令。許負向五人各打量一番，麵露驚詫，遂使長兄迎請五位貴人，迎入縣衙高坐。
許望聞說來者乃是斬蛇起義劉邦，乃請上坐，然後拿出縣令大印，自願將溫城進獻。
高祖聞言大驚：劉季安敢望此
許負代父說道：將軍勿謙。許負雖然年幼，但深得相人秘旨。見將軍龍行虎步，日角插天，乃帝王之表；蕭、曹、陳、周四位大人，皆有位極人臣之像，貴不可言。今貴人臨幸溫城，乃我許家之幸也。故請家父獻城，願以身家歸附將軍麾下。
劉邦聞此，自是大喜。於是便以帝王自負，此後屢敗屢戰，從不氣餒。
當楚漢相爭之時，魏王豹先隨漢王，攻打項羽。魏豹嶽母因聞許負善相，遂親自請至魏王府中，命給女兒薄姬相麵。
許負：我觀令媛相貌，貴不可言。尤其將來所生之男，當為天子。
魏媼以為奉承之語，厚賜送出，將信將疑。待女婿魏豹還府，便將此言訴之。魏豹卻是深信許負之言，由此見風使舵，背叛漢王，結盟項羽。然而最終敗於韓信，被殺於滎陽。
漢王終得天下，感激許負當年激勵自己，遂封其為鳴雌亭侯。許負當時年僅十九歲，且是舉國唯一以女子之身獲得封侯者。
其後皇帝選秀，許負進言，薄姬當貴為天子之母，高祖深信其言，於是納之為妃。
薄姬生下皇子劉恒，許負又進言，朝廷將來必起紛爭，為保劉恒安全，宜早放封地。
高祖從之，即立八歲劉恒為代王，都於晉陽，故於呂後之亂中得以保全。呂氏被平滅之後，劉恒終於繼位為帝，便以陳平、周勃為左、右丞相，立薄妃為太後。
漢文帝感念許負拯救自己母子恩典，稱為義母，又稱許負之夫裴鉞為義父，封洛商侯，秩兩千石。特將義母請到宮中，使為寵臣鄧通及上將軍周亞夫看相。
許負：周亞夫三年後定然封侯，封侯之後再過八年，定為將相，把持國柄，貴重一時。不過為相後再過九年，必然餓死。鄧通官運亨通，官可到至上大夫，但亦因饑餓而死。
當時文帝及鄧通、周亞夫聞此，皆都不信。但其後事實，全如許負所言。文帝九年，許負五十大壽，文帝為義母賀壽，並賜封其子裴洛為郎中令。