“羌帥姚襄率部歸順朝廷，將弟弟們送入京城做人質，殷浩不但不予以安撫，使之為朝廷效忠，反而設計陷害，兩次派刺客行刺姚襄，被姚襄發覺。姚襄迫於無奈背叛朝廷。又不能乘勢掃蕩敵寇，致使朝廷大軍慘敗，舟車、輜重丟棄一空；三軍糧草，資助了敵寇。天怒人怨，成為大眾所唾棄的對象，所帶來的災禍，將危及國家社稷……”
朝廷見桓溫義正詞嚴，被逼無奈隻好將殷浩廢為平民，將他流放到東陽郡信安縣。
於是桓溫終於拔掉了這支“眼中釘”，形成了自己日後的一支獨大。
桓溫對心腹謀士、參軍郗超和主簿王珣說：“說起這個殷浩來，從小就在一起玩耍，我們倆玩騎竹馬，我丟掉了之後，他就上來撿，玩的都是我剩下的，哈哈，從那時候看，就知道那小子不如我啊。”
郗超說道：“殷浩軍事才能確實不咋地啊，吃敗仗是咱們事先就料定的。”
桓溫說：“殷浩品格高潔，能言會道，假使讓他擔任尚書令和仆射，足以成為朝廷百官的楷模，朝廷用才不當，以致有今日啊。”
殷浩雖然被罷黜流放，但沒有說過半句無怨言，神情坦然，一切聽天由命，依舊不廢談道詠詩，即使自家親人也看不出他有什麼被流放的悲傷。隻是整天用手在空中寫“咄咄怪事”四個大字而已。
“莫非這就是命運的捉弄嗎？出征時我剛一上馬，走了沒幾步，就突然從馬上摔了下來，我感覺苗頭不對，但我不信這個邪呀！那個狗屁張遇，翻來覆去，朝三暮四，怎麼偏偏讓我們‘遇’上了呢？你說，這能怪我嗎？這些豈非咄咄怪事……”
殷浩的外甥韓伯，素來受到殷浩的賞識和喜歡，他隨殷浩同到流放之地，一年後回京，殷浩送到水邊，吟詠曹顏遠的詩道：“富貴他人合，貧賤親戚離。”吟罷竟然抽泣哽咽，潸然淚下。
此時掌握朝廷內外大權的桓溫到了“逞能”的時候了：“你殷浩酸秀才根本就不是帶兵打仗的材料，看看我桓大將軍的吧！”
公元354年二月，東晉分三路開始北伐，其中第一路桓溫自江陵率四萬步兵、騎兵北伐，取道武關入關，又命水軍自襄陽進至南鄉郡；第二路梁州刺史司馬勳也經子午道北伐前秦。桓溫先派第三路桓衝進攻上洛，俘獲前秦荊州刺史郭敬（這位石勒的恩人還真長壽），於是進擊青泥城。
前涼秦州刺史王擢見司馬勳攻打前秦西部，於是進攻陳倉以作響應。
前秦皇帝苻健麵對桓溫大軍北伐，派遣太子苻萇、丞相苻雄等人率兵五萬駐紮在嶢柳以作抵抗。四月，桓溫在藍田縣與苻萇等軍大戰，晉兵在桓溫的統率下大敗秦兵；同時桓衝也在白鹿原擊敗了苻雄軍隊。
桓溫在大敗前秦軍隊後就繼續向長安進發，挺進到灞上。當時苻萇等軍隊隻好退兵據守在長安城南，苻健將長安的全部家當精兵三萬人，交給大司馬雷弱兒等人指揮，並與苻萇會合，隻留六千老弱士兵留守長安城。
當時前秦首都長安危急，長安周邊各郡縣官吏都來向桓溫歸降。順陽太守薛珍勸桓溫直逼長安，但桓溫不聽從，駐屯灞上後就沒有一鼓作氣，渡過灞水，卻一直與前秦軍相持。桓溫發出告示，對當地百姓進行了安撫，讓百姓安居樂業。
百姓們歡天喜地，都牽了牛，備了酒，到軍營慰勞晉軍。
一個白胡子老頭流著淚說：“自從劉琨、祖逖之後，都三十年了啊，終於又見到朝廷的官兵了！”
另一個白發蒼蒼的老太太哽咽著說：“那些胡人太猖狂，太野蠻了，他們把中原百姓糟蹋苦了，老百姓就盼著朝廷大軍來解救了，你們可來了！”
桓溫也激動地流下了眼淚，他說：“百姓們受苦了！在南方的朝廷一天也沒忘記你們啊，一直想著要完成北伐大業呢！”
百姓們哭聲一片：
“苦日子終於熬到頭兒了，老天睜開眼了！”
“保佑咱們的朝廷大軍打勝仗，早日趕走那些豺狼禽獸吧！”