俗话说，积善之家必有余庆。清朝宰相潘世恩的父亲潘翁，一生乐善好施，急人所难。别人家有婚丧嫁娶之事，或有急迫之事请求帮忙，无不伸出援手，整个县城（吴县）的人都称他潘善人。其善行福荫子孙，数代兴盛。
救人一命得善报
有一天，潘翁闲游，看见在凉亭中有个老人在哭泣，解下裤带要上吊自杀，急忙上前询问。老人说：“过几天我就要为儿子娶媳妇，子啊亲戚家藉口三十金，今天去城里买衣服，被小偷摸去，没脸见家人，故而寻死。”潘翁说：“这是小事，我替你出钱成全这桩婚事，你就别轻生了。”说完，拉着老人进了城，向熟识的商家藉口三十金送给了老人，老人拜谢，问潘翁的姓名，潘翁也没告诉老人就走了。
几年后，潘翁为死去的先人寻找墓地，找了很久也没找到合适的，偶然领着风水师来到光福镇，看见一处水中有个土墩，环绕两边的是土堤，好像二龙抢珠的样子，风水师惊讶地说：“这里是上好的地，葬在这里，后代一定会有考取状元并登相位的。”四处遥望打听不到地主人的姓名，就到一家酒馆中寻访。坐下来后，看见柜台前的一个老人，好像是以前赠送给他金子的那个人。老人看见潘翁高兴的说：“我家的大恩人，您来者为了何事？”潘翁就把原委告诉了老人。老人更加高兴地说：“这是我家的废弃之地，以前承蒙您出手相救，大恩一直没忘，想报答您也不知道怎么做，只是早晚烧香，祝您多福多寿。现在这块地可用，我就送给您，略表寸心。”潘翁不同意，和老人商量价钱，老人也不同意，再三推让，就把以前赠送三十金，重新写了了收据，送给了老人。等到安葬了先人以后，潘世恩逐渐显达，果然像风水师说的一样。有识之士说：“所谓的阴地不如心地，心地好，阴地才会转好啊。”
相传，潘世恩出生前夜，祖父潘冕梦见一只玉麒麟自空而降，落于潘家庭院，随即化为婴儿，仿似他一生腾达的先兆。
潘世恩家里生儿子的那天，庭院中忽然生出一棵灵芝，此后，潘世恩就自号：潘芝轩。
潘世恩乾隆年间考中状元，官至英武殿大学士（相当于宰相）。为官五十余年，历事乾隆、嘉庆、道光、咸丰四朝，颇具政声。
道光三年夏天，潘世恩的家乡发了一场大水，淹没了许多村庄，饥民乞食载道，许多人饿死，朝廷的灾粮又遥遥无期，潘世恩便开仓把家里积屯的粮米赈施给百姓。由于灾民太多，仓中赈米有限，潘世恩只得分咐管仓库的家人，赈灾时间每日自辰至午，饥民来者一律每人给一升，过了中午则不再发放。
一天下午，饥民都已散去，忽然来了一个白发苍苍的老婆婆，手里拿着一个青布囊，向管仓库的家人要粮，家人要她明天再来，她便哭号着不肯离去。不得已家人只好禀告潘世恩，潘世恩看她老态龙钟，身体颤抖，很可怜她，于是便让她跟随自已，亲自到粮仓给她盛了一斗米。老婆婆的青布囊很小而且中有一孔，一斗米没装完布囊便满了，老婆婆止住潘世恩对他说：“可以了，公这样的乐善好施，上天一定会赐福给您啊！”说完，便携布囊去了。
等潘世恩分咐家人打扫几案上遗落的米粒、封仓锁门时，家人发现斗中刚才给老婆婆没装完的那些米，一瞬间都变成了粒粒大小不等的明珠。潘世恩这才明白，自已的善举感动了天地，那位刚离去的老婆婆，一定是位菩萨化身，才让那些米都化成了宝珠。此后潘世恩家业更广、也更行善不缀。这就是著名的遗米化珠的典故。
福荫子孙
潘世恩有五子，都很有成就。长子潘曾沂，字功甫，嘉庆丙子举人，官内阁中书。潘恭甫同样乐善好施，他淡泊功名，四十岁以后，虔心修佛。与人相处，不分贵贱，都待以平等之礼。有急难求他，没有不答应的，潘家有田产数千亩，佃户主动来交租，就收下，不来交，他也不计较。家中有喜庆之事，或者遇到天灾欠收，往往全部免除租粮。
潘祖荫是潘门长孙，咸丰二年探花。
潘家数代兴旺，这固然是由于祖德隆厚，潘氏之兴旺，也是因为恭甫以善济世所成。
《郎潜纪闻》称潘世恩为三百年中第一福气中人。潘世恩生前，曾有人赠送他一副对联：“大富贵亦寿考，蓄道德能文章。”正确而恰到好处地概括其一生。
