จุฬาโลก เจ้าจอมมารดาชื่อตานี เปนธิดาเจ้าพระยามหาเสนาบุนนาคแต่เกิดด้วยภรรยาเดิม เมื่อสิ้นภรรยาคนนั้นแล้ว เจ้าพระยามหา เสนาบุนนาคจึงมาได้เจ้าคุณพระราชพันธ์นวลเปนภรรยา เจ้าจอมมารดาตานีเปนพี่สมเด็จเจ้าพระยาบรมมหาประยุรวงศ์ แลสมเด็จเจ้าพระยาบรมมหาพิไชยญาติ เปนแต่ต่างมารดากัน เพราะฉนั้นหม่อมเจ้าในกรมหมื่นสุรินทรรักษจึงนับว่าเปนหลานสมเด็จเจ้าพระยาบรมมหาศรีสุริยวงศ อนึ่งวังกรมหมื่นสุรินทรรักษที่ท่าเตียนนั้น ได้ทราบว่าเมื่อใน รัชกาลที่ ๑ โปรดฯ ให้สร้างวังแต่ท้ายเขตรตำหนักแพลงไปจนท่าเตียน ๒ วัง ๆ เหนือพระราชทานเจ้าฟ้ากรมหลวงพิทักษมนตรี วังใต้พระราชทานเจ้าฟ้ากรมขุนอิศรานุรักษ อันเปนพระโอรสสมเด็จพระพี่นางพระองค์น้อย ถึงรัชกาลที่ ๒ ไฟไหม้วังเจ้าฟ้ากรมหลวงพิทักษมนตรี แลเวลานั้นพระราชวังเดิมที่ใต้วัดอรุณฯ ว่างอยู่ พระบาทสมเด็จฯ พระพุทธเลิศหล้านภาไลยจึงโปรดฯ ให้เจ้าฟ้ากรมหลวงพิทักษมนตรีเสด็จไปประทับที่พระราชวังเดิม ที่วังที่ไฟไหม้นั้นโปรดฯ ให้สร้างเปนโรงวิเสทกับคลังสินค้า ยังคงอยู่แต่วังใต้ซึ่งเจ้าฟ้ากรมขุนอิศรานุรักษเสด็จ ประทับอยู่ วังที่กรมหมื่นสุรินทรรักษประทับอยู่เมื่อในรัชกาลที่ ๑ แล รัชกาลที่ ๒ นั้นจะอยู่ที่ใดสืบยังไม่ได้ความ ต่อในรัชกาลที่ ๓ เจ้าฟ้ากรมขุนอิศรานุรักษเสด็จย้ายข้ามฟากไปอยู่ (กล่าวกันว่าโดยซื้อ) วังเจ้าฟ้ากรมหลวงนรินทรรณเรศที่ใต้พระราชวังหลัง พระบาทสมเด็จฯ พระนั่งเกล้าเจ้าอยู่หัวจึงพระราชทานวังเดิมของเจ้าฟ้ากรมขุนอิศรานุรักษที่ท่า
