จดหมายเหตุเมื่อพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัวสวรรคต (ซึ่งได้พิมพ์ในงานสตมวาร) นั้น มีหลักฐานปรากฏว่า ท่านได้ตกลงใจมาแล้วหลายปี เห็นจะเป็นตั้งแต่พระบาทสมเด็จพระปิ่นเกล้าเจ้าอยู่หัวสวรรคตเมื่อปีฉลู พ.ศ. ๒๔๐๗ และได้กราบบังคมทูลความคิดนั้นแก่พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัวทรงทราบด้วย เรื่องนี้ พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวได้มีพระราชดำรัสเล่าว่า วันหนึ่ง[1] พระบาทสมเด็จพระจอมเกล้าเจาอยู่หัวเสด็จออกประทับณพระทวารหน้ามุขพระที่นั่งอนันตสมาคม[2] อันเป็นที่รโหฐาน สมเด็⟨จ⟩เจ้าพระยาบรมมหาศรีสุริยวงศเข้าเฝ้าฯ ส่วนพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวเสด็จประทับคอยรับใช้อยู่ข้างเบื้องพระขนองของสมเด็จพระบรมชนกนาถ ได้ทรงสดับตรัสประภาษกับสมเด็จเจ้าพระยาบรมมหาศรีสุริยวงศด้วยเรื่องต่าง ๆ มาจนถึงเรื่องวังหน้า สมเด็จเจ้าพระยาบรมมหาศรีสุริยวงศจะได้กราบทูลอธิบายว่ากะไร หาทรงได้ยินถนัดไม่ ได้ยินแต่พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัวตรัสตอบว่า "ถ้าเช่นนั้น กั้นกำแพงแบ่งกันเสียที่ท้องสนามหลวงก็แล้วกัน" เข้าพระราชหฤทัยว่า สมเด็จเจ้าพระยาบรมมหาศรีสุริยวงศคงกราบทูลอธิบายว่า เห็นจำเป็นจะต้องให้กรมหมื่นบวรวิชัยชาญ
