หลักฐานได้ว่า เป็นเมืองโบราณสมัยขอม คือ พระปรางค์วัดหน้าพระธาตุ ลักษณะและฝีมือรุ่นเดียวกับปรางค์ที่วัดกำแพงแลง จังหวัดเพชรบุรี มาปรากฏหลักฐานแน่นอนในสมัยสุโขทัย ด้วยมีชื่อในศิลาจารึกพ่อขุนรามกำแหง ตัวเมืองเดิมตั้งอยู่ทางฝั่งขวาแม่น้ำกลอง ยังมีเนินดินซึ่งเป็นกำแพงเมืองเก่าและค่ายคูปรากฏอยู่ บริเวณเมืองเก่านี้กว้างประมาณ ๑ กม. ยาวประมาณ ๒ กม. ปรากฏว่า เคยเป็นที่ตั้งรบทัพพะม่าในครั้งกรุงศรีอยุธยา กรุงธนบุรี และกรุงเทพฯ เดี๋ยวนี้เรียกเมืองเก่านี้ว่า ค่ายหลุมดิน เป็นตำบลหนึ่งอยู่ในอำเภอเมือง
มาในสมัยกรุงรัตนโกสินทร์ ในรัชชกาลที่ ๒ โปรดให้ย้ายมาสร้างเมืองใหม่ทางฝั่งซ้ายแม่น้ำกลองเมื่อ พ.ศ. ๒๓๖๐ ซึ่งเป็นที่ตั้งโรงทหารในบัดนี้ ครั้นถึงรัชชกาลที่ ๕ เมื่อจัดการปกครองเป็นมณฑลเทศาภิบาล จึงไดตั้งย้ายเมืองไปตั้งทางฝั่งขวาของแม่น้ำแม่กลองอีก พ.ศ. ๒๔๔๐ แต่ตั้งต่อเมืองลงไปทางใต้ซึ่งปรากฏอยู่ทุกวันนี้
เมืองราชบุรีเป็นเมืองด่านสำคัญเมืองหนึ่งซึ่งเคยเป็นสนามรบในระหว่างไทยกับพะม่ามามาแต่ครั้งกรุงศรีอยุธยา ที่ว่าสำคัญนั้น คือ เมื่อ พ.ศ. ๒๓๑๗ ในรัชชกาลพระเจ้ากรุงธนบุรี งุยอคงหวุ่นคุมกองทัพพะม่าจำนวน ๓,๐๐๐ คนแยกมาตั้งค่ายที่บางแก้ว พระเจ้ากรุงธนบุรีโปรดให้ตั้งค่ายล้อมไว้โดยไม่ออกรบเพื่อจะจับพะม่าเป็นชะเลยให้ได้มาก ๆ เพราะเมื่อไทยมาตั้งค่าย พะม่า
