เหรียญรัตนาภรณ์รัชชกาลที่ ๔ ขึ้นพระราชทานเป็นเครื่องเชิดชูพระเกียรติยศและเป็นที่ระลึกถึงพระเดชพระคุณสืบไป คุณเถ้าแก่ทองดีก็ได้รับพระราชทานเหรียญรัตนาภรณ์รัชชกาลที่ ๔ ชั้นที่ ๔ เมื่อวันที่ ๒๓ ตุลาคม รัตนโกสินทรศก ๑๒๓ (ต่อมา ได้รับพระราชทานเหรียญอื่น ๆ อีกบ้าง แต่เห็นว่า ไม่จำเป็นต้องลงในประวัติ จะเป็นการยืดยาว) ได้รับราชการฉลองพระเดชพระคุณตลอดมาจนถึงรัชชกาลที่ ๖ มีอายุล่วงเข้าในความชราภาพ และมีโรคภัยเบียดเบียฬ ไม่สามารถจะรับราชการฉลองพระเดชพระคุณให้เป็นที่เรียบร้อยได้ จึงได้กราบถวายบังคมลาออกจากหน้าที่ราชการเมื่อปีชวด พ.ศ. ๒๔๖๗ ออกจากพระบรมมหาราชวังมาอยู่ที่บ้านนายพลโท พระยากลาโหมราชเสนา ผู้ซึ่งเป็นหลาน ตำบลถนนนครชัยศรี อำเภอบางซื่อ จังหวัดพระนคร ตลอดมาจนถึงเดือนกันยายน พ.ศ. ๒๔๗๒ คุณเถ้าแก่ทองดีได้เริ่มป่วยเป็นไข้หวัด ประกอบด้วยมีความชราภาพอยู่ด้วย แพทย์ได้ประกอบยารักษาพยาบาล อาการมีแต่ทรงกับทรุดลงเป็นลำดับ ถึงแก่กรรมเมื่อวันที่ ๒๖ กันยายน พ.ศ. ๒๔๗๒ คำนวณอายุได้ ๘๓ ปี
