จะกล่าวถึงเรื่องราชประวัติของสมเด็จพระศรีสวัสดิ์โดยสังเขป พอให้ทราบเหตุที่ทรงเคารพนับถือในพระบาทสมเด็จฯ พระจอมเกล้าเจ้าอยู่หัว สมเด็จพระศรีสวัสดิ์เปนพระราชบุตรของสมเด็จพระหริรักษ์รามาธิบดี (พระองค์ด้วง) ประสูติในกรุงเทพฯ ในรัชกาลที่ ๓ เมื่อปีชวด พ.ศ. ๒๓๘๓ เมื่อพระราชบิดาออกมาครองกรุงกัมพูชา ยังทรงพระเยาว์ ถึงรัชกาลที่ ๔ สมเด็จพระหริรักษ์จึงให้เข้าไปถวายตัวรับราชการอยู่ในกรุงเทพฯ พร้อมกับพระองค์ราชาวดี คือ สมเด็จพระนโรดมด้วยกัน พระบาทสมเด็จฯ พระจอมเกล้าเจ้าอยู่หัวทรงพระกรุณาโปรดฯ ชุบเลี้ยงทำนุบำรุงอย่างเปนพระราชบุตรบุญธรรมทั้ง ๒ องค์ เมื่อพระชันสาครบอุปสมบท ก็โปรดฯ ให้ทรงผนวชที่วัดพระศรีรัตนศาสดารามอย่างเจ้านายในพระราชวงศ์ แล้วไปอยู่วัดบวรนิเวศ ด้วยเหตุนั้น บรรดาเจ้านายกรุงกัมพูชา ทั้งที่เปนราชบุตรของสมเด็จพระนโรดม และที่เปนราชบุตรของสมเด็จพระศรีสวัสดิ์ จึงทรงผนวชเปนธรรมยุติตามเยี่ยงอย่างต่อมาจนกาลบัดนี้
ครั้นถึงปีมะเมีย พ.ศ. ๒๔๐๑ พระบาทสมเด็จฯ พระจอมเกล้าเจ้าอยู่หัว ทรงสถาปนาพระองค์ราชาวดี ราชบุตรองค์ใหญ่ของสมเด็จพระหริรักษ์ เปนพระนโรดมพรหมบริรักษามหาอุปราช และทรงสถาปนาพระองค์ศรีสวัสดิ์เปนพระหริราชดนัยไกรแก้วฟ้า (ตำแหน่งพระแก้วฟ้า) โปรดฯ ให้กลับออกมาอยู่กรุงกัมพูชา สมเด็จพระหริรักษ์จึงถวายพระองค์วัตถากับพระองค์ศิริวงศ์เข้าไปรับราชการอยู่ในกรุงเทพฯ
