คุณหญิงเพ็ชราภิบาล ๑ พระยาวรวุฒิไวย จางวาง (น้อย) เปนผู้มีศรัทธาในพระพุทธสาสนามาก มีศีลทานภาวนามิได้ขาด ประพฤติตนเปนธรรมเสมอต้นเสมอปลายจนตลอดอายุ เมื่อยังเปนผู้สำเร็จราชการเมืองอยู่นั้น ได้ปฏิสังขรณ์วัดอนุราธารามขึ้นวัด ๑ ที่ปากน้ำลำปำฝั่งเหนือ สร้างอุโบสถแลกุฎีศาลาโรงธรรมพร้อมแต่การสร้างอุโบสถนั้นยังไม่ได้ยกเครื่องบนการค้างมา ครั้นพระยาวรวุฒิไวยฯ จางวาง (น้อย) ถึงอนิจกรรมแล้ว วัดนั้นก็ร้าง จึงได้สร้างโรงเรียนขึ้นไว้เปนอนุสาวรีซึ่งเปนที่ฌาปนกิจศพพระยาวรวุฒิไวยฯ จางวาง (น้อย) เมื่อ พ.ศ. ๒๔๕๑ (จ.ศ. ๑๒๗) นั้นด้วยเงินทุนสำหรับศพเปนเงิน ๗๙๐๐ บาทเศษ ได้ยกให้เปนโรงเรียนรัฐบาล (คือโรงเรียนอภยานุกูลเดี๋ยวนี้) พระยาอภัยบริรักษ์ (เนตร) ว่าราชการอยู่ปี ๑ โปรดเกล้าฯ ให้เปนตำแหน่งจางวาง พระราชทานเบี้ยหวัดปีละ ๔๐๐ บาท
ในปี พ.ศ. ๒๔๔๖ (ร.ศ. ๑๒๒) นี้ โปรดเกล้าฯ ให้พระสุราฤทธิภักดี (ยุตี๋ ณรนอง) มาเปนผู้ว่าราชการเมือง
พ.ศ. ๒๔๔๗ (ร.ศ. ๑๒๓) โปรดเกล้าฯ ให้พระศิริธรรมบริรักษ์ (เย็น) มาเปนผู้ว่าราชการเมือง
พ.ศ. ๒๔๔๙ (ร.ศ. ๑๒๕) โปรดเกล้าฯ ให้พระแก้วโกรพ (หมี) เปนผู้ว่าราชการ
