แต่สถานที่ทรงคุณค่าทางประวัติศาสตร์แห่งนี้ กำลังถูกสั่นคลอนหลังจากที่ บริษัท อนันดา จำกัด (มหาชน) จะสร้างคอนโด สูง 36 ชั้น ติดกับพระตำหนัก
แผนที่มุมสูงแสดงให้เห็นถึงระยะห่างระหว่างพระตำนักกับโครงการก่อสร้างเพียง 23 เมตร ลูกหลานกำลังกังวลว่าการตอกเสาเข็มในระยะประชิด จะได้สร้างแรงสั่นสะเทือนให้ตัวตำหนักได้รับความเสียหาย ซึ่งเป็นโครงสร้างโบราณที่ใช้ไม้เป็นเสาเข็มใต้ฐาน ระหว่างก่อสร้างก็จะก่อให้เกิดมลภาวะทั้งเสียงและฝุ่น และเมือคอนโดสร้างเสร็จก็จะบดบังทัศนียภาพ
ศิลปินแห่งชาติหลายท่านที่นับถือ สมเด็จกรมพระยานริศเป็นสมเด็จครู บอกว่าโครงการก่อสร้าง กระทบกระเทือนจิตใจไม่น้อย
ล่าสุด เรื่องนี้กำลังเข้าสู่การพิจารณาของคณะกรรมการสิ่งแวดล้อม กรุงเทพมหานครได้มีการเรียกทั้งสองฝ่ายไปพบ เพื่อหาทางออกที่ทุกฝ่ายพอใจ เมื่อวันที่ 17 กันยายน ที่ผ่านมา ซึ่งทางทายาท มีข้อเสนอให้บริษัท สร้างคอนโดเหลือเพียง 8 ชั้น และในระหว่างการก่อสร้าง ควรใช้นวัตกรรม ที่ทำให้เกิดแรงสั่นสะเทือนน้อยที่สุด ขณะที่ทางบริษัทยังไม่ได้ตอบรับใดใด