อาคารเก่าบ้านพิบูลธรรมทั้งสองหลัง และศาลาไม้อีกหลัง ก็คือ อาคารสำนักงานเลขานุการกรมซึ่งอยู่ด้านหน้า และอาคารกองควบคุมและส่งเสริมพลังงานตั้งเยื้องไปด้านหลัง ส่วนศาลาไม้อยู่ด้านขวาของอาคารสำนักเลขานุการกรม และด้านหน้าของอาคารกองควบคุมและส่งเสริมพลังงาน
เพดานรอบๆ ภาพเขียน ประดับด้วยหูช้างไม้สลักเรียงรายตลอด ถัดลงมาเป็นภาพจิตรกรรมเถาไม้ดอกสีสดสวย ผนังจากระดับขอบประตูบนลงมาประดับไม้สลักลาย ตามขอบสลักลายเถาผลไม้ เสาไม้กลมตั้งบนฐานสี่เหลี่ยมสลักลาย พื้นปูหินอ่อน ปัจจุบันห้องโถงนี้ใช้เป็นห้องเลี้ยงรับรอง
จิตรกรรมฝาผนังรามเกียรติ์"บ้านพิบูลธรรม"งานฝีมือที่หาชมได้ยากอาคารทั้งสองหลังมีความงดงามทั้งด้านสถาปัตยกรรมและศิลปกรรม ตกแต่งภายในด้วยลายไม้แกะสลักตามเพดานและผนังห้อง ประตู และหน้าต่าง
ภายในห้องโถงอาคารหน้าส่วนกลาง บนเพดานประดับภาพจิตรกรรมแบบตะวันตกเรื่องรามเกียรติ์ โถงนอกเป็นจิตรกรรมรูปรามสูรเมขลา ส่วนโถงในรูปทศกัณฐ์ลักนางสีดากำลังต่อสู้กับนกสดายุ
ห้องด้านหน้าทางปีกซ้ายของอาคารหลังนี้ ซึ่งปัจจุบันใช้เป็นห้องทำงาน มีภาพจิตรกรรมแบบเดียวกันประดับที่ฝาผนังด้านขวา เป็นภาพตอนพระรามตามกวาง ส่วนเพดานห้องเป็นภาพ fresco รูปหมู่กามเทพเด็กแบบฝรั่ง เขียนโดยชาวอิตาลีชื่อ Carlo Rigoli
"บ้านพิบูลธรรม" ได้รับการบูรณะในช่วงปี พ.ศ. 2546-2547 โดยการดูแลของ "กรมศิลปากร" ทำให้อาคารยังคงมีสภาพที่สมบูรณ์ มีคุณค่าทางประวัติศาสตร์และสถาปัตยกรรม
เรียกได้ว่า บ้านพิบูลธรรม หรือบ้านสไตล์โคโลเนียลหลังนี้ได้หลอมรวมความเป็นไทยเข้ากับอิทธิพลอันศิวิไลซ์ของตะวันตกไว้อย่างลงตัว โดยใช้สถาปัตยกรรมเป็นสมุดบันทึกความรุ่งโรจน์ของพระนครในอดีต สะท้อนให้เห็นเรื่องราวประวัติศาสตร์อันรุ่มรวยที่ถูกส่งต่อจากรุ่นสู่รุ่น