กรมหมื่นมเศวรฯ เดี๋ยวนี้ ด้วยพระอินทรอไภยผู้บิดาซึ่งบ้านอยู่ติดกันสิ้นชีพเสียแต่ในรัชกาลที่ ๒ พระพงษ์นรินทร์คงจะได้ปกครองอยู่ทั้ง ๒ บ้าน ส่วนกรมหมื่นมเหศวรฯ แลกรมหมื่นวิศณุนารถฯ ก็เสด็จมาอยู่วัดบวรนิเวศกับพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว แต่ไนยหนึ่งว่า เสด็จมาอยู่วัดบวรนิเวศ แต่กรมหมื่นมเหศวรฯ พระชัณษาได้ ๙ ขวบ กรมหมื่นวิศณุนารถฯ พระชัณษาได้ ๗ ขวบ.
เมื่อกรมหมื่นมเหศวรฯ พระชัณษาได้ ๑๙ ประชวรพระโรคเรื้อรัง พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัวจึงโปรดให้ไปอยู่ที่บ้านพระพงษ์นรินทร์ ให้พระพงษ์นรินทร์รักษา ในคราวนั้น กรมหมื่นมเหศวรฯ ติดพันหม่อมนกแก้ว ที่ต่อมาได้เปนมารดาของพระองค์เจ้าจิตราภรณ์ เมื่อความทราบถึงพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว จึงทรงมอบธุระแก่พระพงษ์นรินทร์ให้ขอสู่ เมื่ออยู่ด้วยกันแล้ว ทรงพระราชดำริห์ว่า พระพงษ์นรินทร์มีลูดเต้าครอบครัวมาก กรมหมื่นมเหศวรฯ อยู่ที่นั้นต่อไป จะไม่เปนการเรียบร้อย รับสั่งให้พระพรงษ์นรินทร์หาที่ทำวังให้เสด็จอยู่โดยลำพัง พระพงษ์นรินทร์จึงซื้อที่ซึ่งเปนวังกรมหมื่นวิศณุนารถฯ ทุกวันนี้ แล้วทำตำหนักเปนที่ประทับ กรมหมื่นมเหศวรฯ ได้ประทับอยู่ที่นั้นต่อมาตลอดรัชกาลที่ ๓
ครั้ง ๑ พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวเสด็จเมืองเพ็ชรบุรี เมื่อรถไฟพระที่นั่งผ่านเขาย้อย มีรับสั่งเล่าให้ข้าพเจ้าฟังว่า กรมหมื่นมเหศวรฯ เคยหนีพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัวมาซ่อนอยู่ที่เขาย้อยนั้นครั้งหนึ่ง ต้องถึงเสด็จไปขอร้องให้
