女帝的傳奇相公！
謝靈運的缺點也不少，自大的同時嫉妒心還不小。
王曇首、王華、殷景仁等人，名聲和爵位一直在謝靈運之下，卻同時被皇帝寵待。
謝靈運心中不滿，往往推說自己有病而不上朝，隻管修築池塘、種植花樹、移栽修竹、擺弄香草而已。
並且無休止地讓衙門裡的勞役服務於他個人，出城遊玩有時一天走一百六七十裡，往往一走就是十多天，既不上書請示，也不請假。
宋文帝見此情形想將其免職，但又不想直接下旨將其免職讓他顏麵喪儘，便暗示他主動辭官。
謝靈運於是上表稱自己有病，皇帝讓他休假回家鄉休養。他臨行之前，又上了一道奏疏勸文帝北伐。
元嘉五年，謝靈運稱病回到家鄉後，遊玩喝酒集會賦詩照舊，日以繼夜，因此而被禦史中丞傅隆所彈劾，被免除了所有官職。
回到家鄉後，謝靈運和同族兄弟謝惠連、東海人何長瑜、潁川人荀雍、泰山人羊璿之，因為相互欣賞對方的文章而結好。
他們同遊山水，當地的人稱他們為四友，謝靈運依靠著祖輩、父輩豐富的家底和深厚的人脈，生活富足，奴仆眾多，有上百名先人的門生故吏和他往來。
他喜好遊山陟嶺、縱情山水，沒少做開山造湖的事情。但凡遊山，必定要探尋最為險峻幽深的地方，即便山巒疊嶂、溝壑縱橫，也必會遊遍每一個他想去的地方，不畏險阻。
為了便於走山路，他每次登山都穿上一種前後齒可裝卸的木屐，上山時便去掉前麵的鞋齒，下山時則去掉後麵的鞋齒，這種鞋被後世稱為靈運屐。
謝靈運大興勞役，曾經從始寧南山到臨海一路伐木開道，時任臨海太守王琇聞之，以為是山賊前來偷襲，甚為驚恐，後來得知來的是謝靈運不是山賊才安心。
回踵湖在會稽城東，謝靈運上疏請求將其改做稻田之用，得到批準，下令地方各州郡執行。
孟顗卻認為回踵湖距城郭很近，一方水土養一方百姓，改做稻田沒能物儘其用，十分可惜，因而堅決不執行朝廷的命令。
謝靈運眼看著事情沒有向著自己預料的方向發展，轉而又要求將始寧縣的岯崲湖改做稻田，再次遭到孟顗的抵製。
謝靈運認為孟顗的考慮並非以利民為首要，而是隻考慮掘開湖泊會殺生，言語間中傷了孟顗，孟顗和謝靈運結下仇恨。
孟顗利用謝靈運性格放蕩不羈、對百姓多有侵擾的事，上了一道奏疏說謝靈運想謀反並私自調用本郡軍隊防守自衛。
皇帝知道謝靈運是被冤枉的，所以沒有判他有罪，隻是不想讓他回會稽，於是讓他做了臨川內史，且增加俸祿到兩千石。
謝靈運赴任後仍然如故，和在永嘉太守任上時沒有兩樣，所以再次被有關人員彈劾。
司徒派臨川王的從事鄭望生逮捕謝靈運，謝靈運反而抓住鄭望生，起兵叛逃，從而有了叛逆的念頭。
他寫詩說韓亡子房奮，秦帝魯連恥，本自江海人，忠義感君子。
最後他仍被追上並被逮捕，被送到廷尉那裡定罪，廷尉上奏說謝靈運率領部眾造反，應處以死刑，皇帝仍然愛惜他的才華，隻想免去他的官職而已。
彭城王劉義康堅持說不應該饒恕他，於是皇帝下了一道詔書說謝靈運罪過深重，確實應該判處死刑，但念他祖父謝玄有功於國家，應該原諒他的子孫，免死充軍廣州。
元嘉十年秦郡府將宗齊受走到塗口，途徑桃墟村，看見有六七個人在下麵路上胡亂說話，懷疑不是好人。
回來告訴郡縣長官，長官派兵隨同宗齊受前去抓捕，經過搏鬥，把他們全部捉住，投入了監獄。
其中有一人叫趙欽，山陰縣人，說本村人薛道雙以前和謝靈運共過事，在去年九月初，薛道雙通過本村人成國告訴我。
先前做臨川內史，現在犯法衝軍廣州的謝某，給我們錢財，叫我們買弓箭刀槍盾牌等武器，讓薛道雙結交鄉裡的健兒勇士，在三江口劫救謝某，如果成功的話，大家功勞都一樣。
於是集合眾人篡取謝某，但沒成功。大家回來時很餓，隻好沿路打劫。
有關部門以此又上奏按法逮捕謝靈運，皇帝下詔書，命令在廣州將謝靈運就地正法，終年四十九歲。
謝靈運臨死時寫詩說龔勝無餘生，李業有終儘，稽公理既迫，霍生命亦殞，淒淒淩霜葉，惘惘衝風菌。
邂逅竟幾何，修短非所憫，送心自覺前，斯痛久已忍，恨我君子誌，不獲岩上泯。
他詩中稱述的龔勝、李業，好比前詩中說的子房、魯連，不得不說謝靈運的文學造詣實屬驚人。
據《夜航船》記載有一次，謝靈運一邊喝酒一邊自誇道，魏晉以來，天下的文學之才共有一石，其中曹子建獨占八鬥，我得一鬥，其他的人共分一鬥。
謝靈運在目錄編撰方麵有很大成就，宋元嘉三年，謝靈運任秘書監，負責整理現存秘閣書籍，補足舊文。
由於當時的社會動蕩，戰亂頻仍，書籍多有散失，遺留異地，謝靈運奉詔著錄，四處收訪，親為校理，終於在殷淳等目錄學家的協助下撰成《秘閣四部目錄》。
在山水詩產生與發展的過程中，楊方、李顒、庾闡、殷仲文和謝混等人，都曾有過一定的貢獻。
不過謝靈運卻是第一位全力創作山水詩的詩人，其現存詩近百首，其中三十八首可稱得上是較為完整的山水詩，山水詩在晉宋勃然而興，其功首推謝靈運。
謝靈運山水詩的成就很大一部分有賴雕琢之功，雕琢是對自然的一種細致的擬態。
謝靈運又在擬態的過程中，加入自身的主觀色彩，使山水景物呈現出源自現實的真實而又不同於現實真實的獨特麵貌。
謝靈運山水詩中雕琢的功力，既體現在對細微景物的細致描摹上，又表現為對多種意向的結構組織中，而兩者往往結合在一起，合力展現出山水的姿態各異而又變化萬端。
對於後世的影響力不可謂不大，算是陳郡謝氏的代表人物之一。