["庾冰是看在一個治國“大才”殷浩的麵子上才向弟弟庾翼求情，放殷羨一馬的，因為殷羨是殷浩的父親。所以庾冰在信中要求弟弟庾翼要“多加關照”一下殷羨。
庾翼給哥哥庾冰回信答複說：“殷羨驕橫放縱，目無法紀，恐怕就是因為有個好兒子（殷浩）罷了，所以我盡量從人情事理出發對他稍加寬容。咱們通盤考慮一下江南的朝政，因為縱容豪強，致使他們成為危害百姓的蠹（讀音du）蟲。朝廷頒布實行的法令，隻能在寒門百姓身上施行。
“比如往年有人偷石頭城倉庫藏米一百萬斛，這本來都是豪強之輩幹的，如果上邊追究下來，也隻是殺死倉庫的督監搪塞一下責任。山遐當初擔任餘姚縣令，為官府清理出豪強藏匿不報的百姓二千戶，於是眾豪強共同驅逐他，使他不得安寧。這雖然都是前任宰輔（指王導）為官昏昧荒謬，過分寬縱所致，但江東的大業日漸衰微，實在由此而生。
“你我兄弟身陷官場，政務纏身，自己無法吟風弄月，清淨談玄，就應當共同睜亮眼睛加以治理。荊州所統轄的二十多個郡，唯有長沙官吏罪惡昭彰。如果對這種罪人不加以貶斥，這與隻殺督監又有什麼不同呢？”
於是，庾翼並沒有給哥哥庾冰“麵子”，他將殷羨就地免職，讓他“裸奔”回都城建康老家“自謀職業”去了。
沒多久，“風頭過了”之後，殷羨（字洪喬）又謀到了豫章太守一職，他又可以“異地做官”了。
殷羨在即將離開南京趕赴豫章的時候，很多人都托他捎帶書信，起初他把書信一一收下。可是等他來到石頭渚（江西贛水西口）時，心裏感覺很不是個意思:這些人為啥都讓我給他們帶信啊?不行，我得看看他們一個個都讓我捎帶的是啥內容的信件。
那個時候估計也沒什麼“侵犯隱私”之類的說法。殷羨一一打開這些書信，進行了一番徹底“檢查”，發現絕大多數信件都是“拉關係”、“跑官”、“要官”之類的內容。他不由地非常反感，心想:自己原來拚死拚活地立功、付出艱辛的勞動、經受歲月的煎熬，才有了官爵，結果在長沙還差點兒丟了烏紗帽，在都城挨了皇帝一頓臭訓，過了半年多好不容易才又恢複了職務。你們一個個地憑什麼啊？（本書已與3G書城簽約並上架）
於是他一氣之下，竟然將這些書信統統都扔到了江水裏，而且他還振振有詞地嘟囔著：“沉者自沉，浮者自浮。對不起，我殷洪喬不能給你們當這個破郵差。”
這句話字麵意思是：你們這些信哪，能浮著的那就自己漂過去吧，浮不起來的就沉下去，反正我殷洪喬是不做郵遞員的。而深層的理解應該是：“沉者自沉，浮者自浮”不是指書信，而是指那些官員，庸碌無為的人自然會被淘汰，而那些確有才華的人自然會脫穎而出。“殷洪喬不能當郵差”是指：我殷洪喬才不給你們這些跑官之人“拉皮條”呢。
庾翼與桓溫關係友好，二人都為人慷慨豪爽，樂意建立功名，相約共同平定天下，不喜歡浮華，更不喜歡坐而論道。
當時人們非常看重杜義、殷浩的才學，尤其是殷浩，清淨獨居於偏僻的墓地，將近十年，朝廷多次征召他當官，他都沒有答應。很多人將他看作是當世的管仲、諸葛亮。江夏相謝尚、長山令王濛甚至以殷浩出山不出山，來占卜國家的命運是吉是凶。
有一次，謝尚和王濛共同去訪問殷浩，他們共同談論國家大事，感覺非常愜意暢懷。從此也知道了殷浩有宏圖大誌。他們返回的途中，兩個人同時發出讚歎：“像殷浩這樣的曠世奇才不出來擔任官職，讓天下的老百姓依靠誰啊？”