เคยแต่รับราชการทหารมาแต่ก่อน จะไม่สามารถรับราชการในตำแหน่งสำคัญฝ่ายพลเรือนให้ดีได้ จึงกราบทูลขอเวนคืนตำแหน่งข้าหลวงเทศาภิบาลโดยความเชื่อ จึงทรงพระกรุณาโปรดฯ ให้เป็นราชองครักษ์ประจำพระองค์ และทรงตั้งพระยาไกรเพชรรัตนสงคราม (แฉ่ บุนนาค) เมื่อยังเป็นพระยาราชพงศานุรักษ์ ผู้ว่าราชการเมืองสมุทรสงคราม เป็นข้าหลวงเทศาภิบาลมณฑลนครสวรรค์ และต่อมาใน พ.ศ. ๒๔๓๖ นั้น เมื่อกรมหลวงสรรพสิทธิประสงค์เลื่อนเป็นข้าหลวงใหญ่มณฑลอีสานแล้ว โปรดฯ ให้รวมเมืองนครราชสีมา เมืองบุรีรัมย์ เมืองนางรอง เมืองชัยภูมิ รวม ๔ เมืองเข้าเป็นมณฑลเทศาภิบาลอีกมณฑลหนึ่ง ตั้งที่ว่าการมณฑล ณ เมืองนครราชสีมา เรียกชื่อว่า มณฑลนครราชสีมา และทรงพระกรุณาโปรดฯ ให้พระยาสิงหเสนี (สอาด สิงหเสนี) เมื่อยังเป็นพระยาประสิทธิศัลการ เป็นข้าหลวงเทศาภิบาลบัญชาการมณฑลนั้นถึง พ.ศ. ๒๔๓๖ จึงมีมณฑลหัวเมืองชั้นในขึ้นเป็น ๕ มณฑลด้วยกัน
เรื่องเงินซึ่งโปรดให้ข้าพเจ้าปรึกษากับกรมพระนราฯ นั้น ข้าพเจ้าเคยทูลท่านตั้งแต่แรกเป็นเสนาบดีกระทรวงมหาดไทยว่า จัดหัวเมือง จะต้องใช้เงินมาก ถ้ากระทรวงพระคลังฯ ไม่ให้เงินพอแก่การ ก็จัดไม่สำเร็จ
