พระที่นั่งอิศราวินิจฉัย พระที่นั่งพุทไธสวรรย์ แลพระที่นั่งศิวโมกขพิมาน ส่วนชั้นในยังมีเจ้านาย ทั้งพระราชธิดาในพระบาทสมเด็จพระปิ่นเกล้า เจ้าอยู่หัว แลพระธิดากรมพระราชวังบวรวิไชยชาญเสด็จอยู่ด้วยกันมาก จึงโปรดให้คงจัดรักษาเปนพระราชวัง ให้มีเจ้าพนักงานรักษาน่าที่อยู่ อย่างเดิม ทรงมอบหมายการปกครองให้พระองค์เจ้าดวงประภา พระ ราชธิดาพระองค์ใหญ่ของพระบาทสมเด็จพระปิ่นเกล้าเจ้าอยู่หัว ทรง สำเร็จราชการฝ่ายในทั่วไป แลโปรดให้เสด็จขึ้นมาประทับอยู่ที่พระที่นั่งสาโรชรัตนประพาศ พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวทรง พระอุสาหะเสด็จขึ้นไปเยี่ยมเนือง ๆ ด้วยพระองค์ทรงเคารพนับถือ ในพระบาทสมเด็จพระปิ่นเกล้าเจ้าอยู่หัวมาก ทรงอุปการะแก่พระ ราชบุตรพระราชธิดามาทุกพระองค์ ถึงลูกเธอในกรมพระราชวังบวร วิไชยชาญซึ่งยังทรงพระเยาว์อยู่โดยมากนั้น ก็ทรงจัดการให้เล่าเรียน แลเปนพระราชธุระทำนุบำรุงต่อมา ที่เปนพระองค์ชายเมื่อทรงพระเจริญ ขึ้นได้มีตำแหน่งรับราชการแทบทุกพระองค์ เมื่อพระองค์เจ้าดวงประภา สิ้นพระชนม์ โปรดให้พระองค์เจ้าสุดาสวรรค์ พระเจ้าลูกเธอในพระบาทสมเด็จพระปิ่นเกล้าเจ้าอยู่หัวรองลงมา ทรงสำเร็จราชการฝ่ายในวังน่า ต่อมาเหมือนอย่างพระองค์เจ้าดวงประภา แลโปรดให้พระองค์เจ้า วงจันทร์ พระเจ้าน้องนางร่วมพระชนนีกับกรมพระราชวังบวรวิไชยชาญเสด็จขึ้นมาประทับที่พระที่นั่งบวรบริวัติ มาจนตลอดรัชกาลที่ ๕
เมื่อเลิกตำแหน่งกรมพระราชวังบวร ฯ แล้ว ครั้นล่วงเวลามา หลายปี ป้อมปราการสถานที่ในวังน่าก็ชำรุดทรุดโทรมลงโดยลำดับ
