他在東都（洛陽）擔當負責選拔官吏的重要公務，可是隨身的行李只是一隻布口袋。他擔任黃門監兼吏部尚書期間，病了很長時間。宋璟和盧從願經常去探望他。盧懷慎躺在一張薄薄的破竹蓆上，門上連個門帘也沒有，遇到颳風下雨，只好用席子遮擋。盧懷慎平素很器重宋璟和盧從願，看到他們倆來了，心裏非常高興，留他們呆了很長時間，並叫家裡人準備飯菜，端上來的只有兩瓦盆蒸豆和幾根青菜，此外什麼也沒有。盧懷慎握著宋璟和盧從願兩個人的手說：「你們兩個人一定會當官治理國家，皇帝尋求人才和治理國家的策略很急迫。但是統治的時間長了，皇帝身邊的大臣就會有所懈怠，這時就會有小人乘機接近討好皇帝，你們兩個人一定要記住。」過了沒幾天，盧懷慎就死了，他在病危的時候，曾經寫了一個報告，向皇帝推薦宋璟、盧從願、李傑和李朝隱。皇帝看了報告，對他更加惋惜。
安葬盧懷慎的時候，因為他平時沒有積蓄，所以只好叫一個老僕人做了一鍋粥給幫助辦理喪事的人吃。玄宗皇帝到城南打獵，來到一片破舊的房舍之間，有一戶人家簡陋的院子裡，似乎正在舉行什麼儀式，便派人騎馬去詢問，那人回來報告說：「那裡在舉行盧懷慎死亡兩週年的祭禮，正在吃齋飯。」玄宗於是賞賜細絹帛，並因此停止了打獵。
另外人們傳說：盧懷慎去世時，他的夫人崔氏不讓女兒哭喊，對他說：「你們的父親沒死，我知道。你父親清正廉潔，不爭名利，謙虛退讓，各地贈送的東西，他一點也不肯接受。他與張說同時當宰相，如今張說收受的錢物堆積如山，人還活著，而奢侈和勤儉的報應怎麼會是虛假的呢？」到了夜間，盧懷慎又活了，左右的人將夫人的話告訴了他，盧懷慎說：「道理不一樣，陰間冥司有三十座火爐，日夜用燒烤的酷刑來懲罰發不義橫財的人，而沒有一座是為我準備的，我在陰間的罪過已經免除了。」說完又死了。
注: 盧懷慎（？－716），滑州靈昌（今河南滑縣西南）人，武則天時任監察御史，後歷任侍御史、御史大夫，玄宗開元元年（713）為宰相。盧懷慎自知才能不如另一宰相姚崇，因此凡事避讓，在任期間的政績只在於薦賢舉能，任宰相三年後病故。盧懷慎為官廉潔，家無儲蓄，門無遮帘，飲食無肉，妻兒飢寒，生活得很貧窮。他是唐代比較清廉的一位宰相。盧懷慎的兒子盧奐在廣州作太守時，不為當地的奇珍異寶所動，能保持清廉節操，也受到當時人的稱讚。玄宗嘉其美政，為其寫有讚詞：「專城之重，分陝之雄，亦既利物，內存匪躬，斯為國寶，不墜家風。」
《獨異志》《新唐書》
