ราชวังหลัง เวลานั้นกรมพระราชวังบวร ฯ เสด็จไปการสงครามเมือง เขมรกับพระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลกย์ ทางนี้เจ้ารจจา รวบรวมกำลังพวกลาวบ่าวไพร่ ออกช่วยกรมพระราชวังหลังรบพุ่งเปนสามารถ เจ้ารจจามีลูกเธอแต่เจ้าฟ้าพิกุลทอง ทรงยกย่องเปนเจ้าฟ้า แต่พระองค์เดียวในพระราชบุตรพระราชธิดาในกรมพระราชวังบวร ฯ ใน รัชกาลที่ ๑ ครั้นกรมพระราชวังบวร ฯ เสด็จสวรรคต พระบาทสมเด็จ พระพุทธยอดฟ้าจุฬาโลกย์โปรดให้สถาปนาเปนเจ้าฟ้ากรมขุนศรีสุนทร แต่เจ้ารจจานั้นสิ้นชีพเมื่อปีไรหาปรากฏไม่ ตำหนักนั้นทำใหญ่โต แลยกหลังคาเปนสองชั้น มีมุขทั้งข้างน่าข้างหลังคล้ายพระวิมาน พิเคราะห์ตามภูมิแผนที่ เข้าใจว่าเดิมพระราชมณเฑียรของกรมพระ ราชวังบวร ฯ เห็นจะอยู่ตรงตำหนักนี้ ครั้งทรงสร้างพระวิมานใหม่แล้ว จึงพระราชทานให้เปนตำหนักของเจ้ารจจา เจ้าฟ้าพิกุลทองจึงได้เสด็จ อยู่ต่อมา เมื่อเจ้าฟ้าพิกุลทองสิ้นพระชนม์แล้ว ท่านผู้ใดจะอยู่ที่ตำหนัก นี้ต่อมาในรัชกาลที่ ๒ หาทราบไม่ ในรัชกาลที่ ๓ ครั้งกรมพระราชวัง บวรมหาศักดิพลเสพ กล่าวกันว่าไม่มีผู้ใดอยู่ แต่ในรัชกาลที่ ๔ พระบาทสมเด็จพระปิ่นเกล้าเจ้าอยู่หัวโปรดให้เจ้าคุณจอมมารดาเอมอยู่ที่ตำหนักนี้ แลพระองค์เจ้าวงจันทร์เสด็จอยู่ต่อมาในรัชกาลที่ ๕ จน เสด็จขึ้นไปอยู่ที่พระที่นั่งบวรบริวัติ
ตำหนักแดงนั้น เดิมพระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลกย์ ทรงสร้างเปนตำหนักหมู่ใหญ่ที่ในพระราชวังหลวง ถวายเปนที่ประทับ ของสมเด็จพระเจ้าพี่นางเธอ เจ้าฟ้ากรมพระศรีสุดารักษ์ คู่กับตำหนัก
