據載，史繼偕的“相國府”進深五落，前臨西街，后至鎮撫司巷，東至影劇院，西至究史巷，規模宏大。

道光版《晉江縣志》 在《卷之三十八·人物志·名臣》中是這樣記載史繼偕多次進退的事跡的：“以戶部主事賀世壽風聞指摘，乞致仕。有旨稱其學行，慰留之。會廷推閣員，忌者恐資次及繼偕，故先發阻之。雖奉旨慰留，不獲安其位，再疏乞歸。抵家，再乞辭，并請罷斥。時廷推繼偕吏部右侍郎兼翰林院侍讀學士，三辭，不允，始至京視事。命主會試，取莊際昌等三百人。七月，遼陽告急。神宗方深居禁中，一切命將請兵，疏皆不報。繼偕累次連月會九卿科道跪請御殿，召廷臣圖方略，均不得旨。再疏乞休，移近郊寺，拜疏辭朝，即日南發至浙。邸報升東閣大學士，時神宗已升遐矣。至家疏辭。天啟元年六月，差官促就道至京，加太子太保兼文淵閣大學士。而阮大鋮、侯震賜等攻擊愈力。乞歸，至第十八疏乃允其請。加少保，蔭子中書舍人……”

現存一些文史資料有更詳細的記載稱，戶部主事賀世壽于1612年首先對史繼偕發起攻訐，控告他想謀取輔臣李廷機的權力，并告他兒子在海上搶劫，不過并不成功，皇帝沒采信，把已經一怒辭官的史繼偕又追了回來;第二次是1618年，金軍發動進攻遼陽告急，神宗說自己身體不好不能上朝，史繼偕會同大臣們一起跪請皇帝臨朝，抓緊搞好軍備，結果皇帝不理。1619年，史繼偕索性辭官，不顧皇帝挽留啟程回家。后來光宗即位，晉升史繼偕為禮部尚書兼東閣大學士，又把他請回了京城;第三次是發生在1623年3月，吏部右給事中阮大鋮捕風捉影地誣告說：泉州有一錢會是史繼偕的兒子在當盟主，應追查嚴辦。史料中，阮的用語極其惡毒。史繼偕據理力爭，具疏陳辨，并要求派撫按調查核實，熹宗對其好言安慰。但這時阮大鋮作為東林黨骨干，勢力很大，一唱群和，刑科給事中解學龍、御史練國章等都紛紛上書攻擊史繼偕。史繼偕一看這架勢不對，就接連上疏請求去職歸家。直到寫了18封，熹宗才不得不應允，準許他辭職。清代李清馥的《閩中理學淵源考·卷73·文簡史聯岳先生繼偕》稱：“(偕)為阮大鋮所忌，從中擠之。引年疏十八上，乃得歸。”

另外也有文史材料稱，萬歷四十七年(1619年)，史繼偕還有一次“退”的經歷。當時他出任會試的考官，與大學士方從哲、戶部張問達同為殿試讀卷官，推選出晉江人莊際昌為狀元。但是莊際昌進呈的卷子上，誤將“醪”字寫為“膠”字。于是有人借此攻擊，認為史繼偕偏袒同鄉之人，有舞弊嫌疑。實際上，當時殿試讀卷官總裁是方從哲，再說狀元又是神宗皇帝親點的，根本容不了史繼偕作弊。史繼偕受此冤枉，于是向皇帝遞上辭呈。

從史繼偕的多次進退，以及他既不肯依附東林黨，也不肯投靠“浙黨”、“楚黨”等派別上，不難看出，他是在堅守某種為官的底線。一旦有人要逼他破底線的話，他就不干了!也正是擁有這樣的“自覺”，使得史繼偕能在混亂的時局之下，保住了自己的清譽。在位時，史繼偕還曾參與編撰《神宗顯皇帝實錄》，據《明實錄》載，《神宗顯皇帝實錄》天啟元年(1621年)三月始修，以張惟賢為監修官，葉向高、劉一燝、韓爌、史繼偕等為總裁官。1623年，改命顧秉謙、丁紹軾、黃立極、馮銓等為總裁(史繼偕此時已遞辭呈)，崇禎三年(1630年)十一月修成。

1635年，史繼偕離世，享年75歲，被朝廷追贈左柱國太師兼太子太師。清·道光《晉江縣志·卷68·冢墓志》：“大學士史繼偕墓：在四都駟行燭臺山。”即，史繼偕之墓在晉江磁灶駟行山鋪的燭臺山上。