หลังเสียกรุงศรีอยุธยา เมื่อ พ.ศ. ๒๓๑๐ วัดพระศรีสรรเพชญ์ พระอารามหลวงในเขตของพระราชวัง กลายเป็นวัดร้างไปพร้อมกับการล่มสลายของอาณาจักร ศาสนสถานในวัดพระศรีสรรเพชญ์ถูกปล่อยให้เสื่อมโทรม เต็มไปด้วยวัชพืช ไม่ได้รับการเหลียวแลรักษาเท่าที่ควร

จนกระทั่ง พ.ศ. ๒๔๙๙ สมัยจอมพล ป.พิบูลสงคราม เป็นนายกรัฐมนตรี ได้มีการบูรณะพระเจดีย์ทั้ง 3 องค์ ภายในวัดพระศรีสรรเพชญ์ โดยวิธีฉาบปูนใหม่ทั้งองค์ จึงเป็นที่มาของพระเจดีย์ “ขาวโพลน” ขัดหูขัดตาคนในสมัยนั้นอยู่มาก.