จึงจำต้องออกจากตำแหน่งในราชสำนักไปตั้งแต่ตอนต้น ๆ เดือนพฤษภาคม ๒๔๘๙ แล้วต่อมา นายเฉลียวก็ได้ดำรงตำแหน่งสมาชิกวุฒิสภาสืบต่อไป
ส่วนเรือเอก วัชรชัย มิได้ปฏิบัติงานในหน้าที่ราชองค์รักษ์ตามสมควร ขาดราชการบ่อย ๆ ฝักใฝ่อยู่ทางทำเนียบท่าช้าง ไม่เป็นที่พอพระราชหฤทัย ภายหลังที่ถูกปลดจากตำแหน่งราชองครักษ์แล้ว ก็ได้เป็นเลขานุการนายกรัฐมนตรีสืบต่อไป
ในระหว่างที่นายเฉลียวเป็นราชเลขานุการในพระองค์ มีข้าราชการในราชสำนักเข้าฝักใฝ่เป็นพรรคพวก ทั้งนายเฉลียวยังได้จัดพรรคพวกของตนเข้ามารับราชการเพิ่มเติมอีก ถึงกับเมื่อคราวที่นายเฉลียวจะพ้นหน้าที่ พวกข้าราชการประเภทที่กล่าวมานี้ มีนายนเรศร์ธิรักษ์ นายกำแพง ตามไทย เป็นหัวหน้า พร้อมใจกันกล้าแสดงออกอย่างเปิดเผย ทำเรื่องราวถึงนายปรีดีคัดค้านว่า ไม่ควรปลดนายเฉลียว ซึ่งเป็นการทะนงจงใจที่จะขัดขวางพระราชประสงค์โดยตรง ถ้าพวกนั้นไม่มีนิสัยหยาบช้า ก็คงไม่กล้าขัดแย้งพระราชประสงค์อันเกี่ยวกับกิจการในราชสำนักของพระองค์ท่านถึงปานนั้น
นายนเรศร์ธิรักษ์ผู้นี้เป็นหัวหน้ากองมหาดเล็ก โดยนายปรีดีเป็นผู้แต่งตั้งให้แทนเจ้าหมื่นสรรเพ็ชรภักดี พระบาทสมเด็จพระเจ้าอยู่หัวทรงเห็นว่า เป็นผู้ไม่ได้ราชการ จึงให้ไปทำหน้าที่อื่น ต่อมา นายปรีดีก็จัดให้ไปรับตำแหน่งเลขานุการนายกรัฐมนตรีสืบต่อไป
