開啟AI情感朗讀功能。歡迎大家點擊體驗！
可惜好景不長，朝廷內部激烈的新舊黨爭把李家卷了進去。李清照出嫁後的第二年，也就是宋徽宗崇寧元年（1102年）七月，其父李格非被列入元祐黨籍，不得在京城任職。其時被列黨籍者17人，李格非名在第五，被罷提點京東路刑獄之職。九月，徽宗親書元祐黨人名單，刻石端禮門，共120人，李格非名列第二十六。而在同一年，趙挺之卻一路升遷，六月除尚書右丞，八月除尚書左丞。為救父之危難，李清照曾上詩趙挺之。對此，張嚐謂：“（文叔女上詩趙挺之）救其父雲：‘何況人間父子情’，識者哀之。”（《洛陽名園記》序）晁公武亦雲：“（格非女）有才藻名，其舅正夫（挺之字）相徽宗朝，李氏嚐獻詩雲：‘炙手可熱心可寒’。”（《郡齋讀書誌》）惜均未奏效。被罷官後的李格非，隻得攜眷回到原籍明水。
朝廷黨爭愈演愈烈，李格非“元祐黨人”的罪名竟株連到李清照身上。崇寧二年（1103年）九月庚寅詔禁元祐黨人子弟居京；辛巳，詔：“宗室不得與元祐奸黨子孫為婚姻。”（《宋史》卷十九《徽宗本紀》）崇寧三年（1104年），“夏，四月，甲辰朔，尚書省勘會黨人子弟，不問有官無官，並令在外居住，不得擅自到闕下”（《續資治通鑒》卷八十八）。據此，李清照與趙明誠這對原本恩愛的夫妻，不僅麵臨被拆散的危險，而且偌大的汴京，已經沒有了李清照的立錐之地，不得不隻身離京回到原籍，去投奔先行被遣歸的家人。
政治風雲變幻，世事翻覆莫測。崇寧四年（1105年）暮春，趙挺之始除尚書右仆射兼中書侍郎。六月，“（因）與（蔡）京爭權，屢陳其奸惡，且請去位避之”，遂引疾乞罷右仆射（《宋史·趙挺之傳》）。僅僅過了半年多，崇寧五年（1106年）二月，蔡京罷相，趙挺之複授尚書右仆射兼中書侍郎。與此同時，朝廷毀《元祐黨人碑》，繼而大赦天下，解除一切黨人之禁，李格非等“並令吏部與監廟差遣”（《續資治通鑒拾補》卷二十六），李清照也得以返歸汴京與趙明誠團聚。但是，宋徽宗大觀元年（1107年）正月，蔡京又複相，無情的政治災難又降到了趙氏一家頭上。三月，趙挺之被罷右仆射後五日病卒。卒後三日，即被蔡京誣陷。家屬、親戚在京者被捕入獄，因無事實，七月獄具，不久即獲釋。但趙挺之贈官卻被追奪，其子的蔭封之官亦因而丟失，趙家亦難以繼續留居京師。李清照隻好隨趙氏一家回到在青州的私第，開始了屏居鄉裏的生活。
李清照、趙明誠屏居青州，始於宋徽宗大觀元年（1107年）秋。次年李清照25歲，命其室曰“歸來堂”，自號“易安居士”。
“歸來堂”，取義於陶淵明《歸去來兮辭》。其時，曾對清照極為稱賞的文學家晁補之與李清照之父同以黨籍罷官歸隱，自號“歸來子”。