พระพุทธเจ้าหลวงเสด็จสวรรคตแล้ว จึงทูลลาสมเด็จพระเจ้าแผ่นดินเสด็จออกไปตั้งพระตำหนักอยู่ในที่ใกล้พระอารามวัดดุสิต แลที่พระตำหนักวัดดุสิตนี้เปนที่พระตำหนักมาแต่ก่อน ครั้งแผ่นดินสมเด็จพระนารายน์เปนเจ้า แลเจ้าแม่ผู้เฒ่าซึ่งเปนพระนมเอกของสมเด็จพระนารายน์เปนเจ้า แลเปนมารดาเจ้าพระยาโกษาเหล็ก เจ้าพระยาโกษาปาน ซึ่งได้ขึ้นไปช่วยกราบทูลขอพระราชทานโทษสมเด็จพระเจ้าแผ่นดินขณะเปนที่หลวงสรศักดิ์แลชกเอาปากเจ้าพระยาวิไชเยนทร์ครั้งนั้น แลเจ้าแม่ผู้เฒ่านั้นก็ได้ตั้งพระตำหนักอยู่ในที่นี้ ครั้นแผ่นดินสมเด็จพระเจ้าอยู่หัวพระองค์นี้ แลสมเด็จพระราชมารดาเลี้ยงก็เสด็จตั้งพระตำหนักอยู่ในที่นั้นสืบต่อกันมา แล้วจึงทรงพระกรุณาโปรดตั้งให้เปนกรมพระเทพามาตย์.
๏ส่วนสมเด็จพระอรรคมเหษีฝ่ายซ้ายฝ่ายขวาแห่งสมเด็จพระพุทธเจ้าหลวงในพระบรมโกษฐ ซึ่งทรงพระนาม กรมหลวงโยธาทิพ กรมหลวงโยธาเทพ นั้น ก็ทูลลาสมเด็จพระเจ้าแผ่นดิน แล้วเอาพระราชบุตรซึ่งทรงพระนาม ตรัศน้อย นั้นออกไปตั้งพระตำหนักอยู่ในที่ใกล้พระอารามวัดพุทไธสวรรย์ครั้งเมื่อปีมโรง โทศกนั้น ตรัศน้อยราชบุตรพระชนม์ได้คำรบ ๑๓ พระพรรษา จึงเจ้ากรมหลวงโยธาเทพพระราชมารดานั้นก็ให้กระทำมหามงคลพิธีโสกันต์พระราชบุตร ครั้นโสกันต์แล้ว จึงให้ไปทรงผนวชเปนสามเณรอยู่ในสำนักนิ์พระพุทธโฆษาจารย์ราชาคณะ แลตรัศน้อยนั้นทรงพระสติปัญญาเปนอันมาก ประพฤติพรหมจรรย์เปนอันดี แลทรงเรียนพระปริยัติไตรปิฎกธรรมแลคัมภีร์เลขยันต์มนตรคาถาสรรพวิทยาคุณต่าง ๆ ในสำนักนิ์พระพุทธโฆษาจารย์
