俗話說，積善之家必有餘慶。清朝宰相潘世恩的父親潘翁，一生樂善好施，急人所難。別人家有婚喪嫁娶之事，或有急迫之事請求幫忙，無不伸出援手，整個縣城（吳縣）的人都稱他潘善人。其善行福蔭子孫，數代興盛。
救人一命得善報
有一天，潘翁閑游，看見在涼亭中有個老人在哭泣，解下褲帶要上吊自殺，急忙上前詢問。老人說：「過幾天我就要為兒子娶媳婦，子啊親戚家藉口三十金，今天去城裡買衣服，被小偷摸去，沒臉見家人，故而尋死。」潘翁說：「這是小事，我替你出錢成全這樁婚事，你就別輕生了。」說完，拉著老人進了城，向熟識的商家藉口三十金送給了老人，老人拜謝，問潘翁的姓名，潘翁也沒告訴老人就走了。
幾年後，潘翁為死去的先人尋找墓地，找了很久也沒找到合適的，偶然領著風水師來到光福鎮，看見一處水中有個土墩，環繞兩邊的是土堤，好像二龍搶珠的樣子，風水師驚訝地說：「這裡是上好的地，葬在這裡，後代一定會有考取狀元並登相位的。」四處遙望打聽不到地主人的姓名，就到一家酒館中尋訪。坐下來後，看見櫃臺前的一個老人，好像是以前贈送給他金子的那個人。老人看見潘翁高興的說：「我家的大恩人，您來者為了何事？」潘翁就把原委告訴了老人。老人更加高興地說：「這是我家的廢棄之地，以前承蒙您出手相救，大恩一直沒忘，想報答您也不知道怎麼做，只是早晚燒香，祝您多福多壽。現在這塊地可用，我就送給您，略表寸心。」潘翁不同意，和老人商量價錢，老人也不同意，再三推讓，就把以前贈送三十金，重新寫了了收據，送給了老人。等到安葬了先人以後，潘世恩逐漸顯達，果然像風水師說的一樣。有識之士說：「所謂的陰地不如心地，心地好，陰地才會轉好啊。」
相傳，潘世恩出生前夜，祖父潘冕夢見一隻玉麒麟自空而降，落於潘家庭院，隨即化為嬰兒，仿似他一生騰達的先兆。
潘世恩家裡生兒子的那天，庭院中忽然生出一棵靈芝，此後，潘世恩就自號：潘芝軒。
潘世恩乾隆年間考中狀元，官至英武殿大學士（相當於宰相）。為官五十餘年，歷事乾隆、嘉慶、道光、咸豐四朝，頗具政聲。
道光三年夏天，潘世恩的家鄉發了一場大水，淹沒了許多村莊，飢民乞食載道，許多人餓死，朝廷的災糧又遙遙無期，潘世恩便開倉把家裡積屯的糧米賑施給百姓。由於災民太多，倉中賑米有限，潘世恩只得分咐管倉庫的家人，賑災時間每日自辰至午，飢民來者一律每人給一升，過了中午則不再發放。
一天下午，飢民都已散去，忽然來了一個白髮蒼蒼的老婆婆，手裡拿著一個青布囊，向管倉庫的家人要糧，家人要她明天再來，她便哭號著不肯離去。不得已家人只好稟告潘世恩，潘世恩看她老態龍鐘，身體顫抖，很可憐她，於是便讓她跟隨自已，親自到糧倉給她盛了一斗米。老婆婆的青布囊很小而且中有一孔，一斗米沒裝完布囊便滿了，老婆婆止住潘世恩對他說：「可以了，公這樣的樂善好施，上天一定會賜福給您啊！」說完，便攜布囊去了。
等潘世恩分咐家人打掃幾案上遺落的米粒、封倉鎖門時，家人發現斗中剛才給老婆婆沒裝完的那些米，一瞬間都變成了粒粒大小不等的明珠。潘世恩這才明白，自已的善舉感動了天地，那位剛離去的老婆婆，一定是位菩薩化身，才讓那些米都化成了寶珠。此後潘世恩家業更廣、也更行善不綴。這就是著名的遺米化珠的典故。
福蔭子孫
潘世恩有五子，都很有成就。長子潘曾沂，字功甫，嘉慶丙子舉人，官內閣中書。潘恭甫同樣樂善好施，他淡泊功名，四十歲以後，虔心修佛。與人相處，不分貴賤，都待以平等之禮。有急難求他，沒有不答應的，潘家有田產數千畝，佃戶主動來交租，就收下，不來交，他也不計較。家中有喜慶之事，或者遇到天災欠收，往往全部免除租糧。
潘祖蔭是潘門長孫，咸豐二年探花。
潘家數代興旺，這固然是由於祖德隆厚，潘氏之興旺，也是因為恭甫以善濟世所成。
《郎潛紀聞》稱潘世恩為三百年中第一福氣中人。潘世恩生前，曾有人贈送他一副對聯：「大富貴亦壽考，蓄道德能文章。」正確而恰到好處地概括其一生。
