ย้อนเวลาไปกับโบราณสถานเก่าแก่ที่ก่อขึ้นด้วยศิลาแลง มีแผนผังเป็นรูปสี่เหลี่ยมจัตุรัสขนาดกว้างยาวด้านละ 15.5 เมตร สูง 3.5 เมตร มีมุขยื่นออกมาทั้งสี่ด้านที่มุขด้านทิศเหนือ มีร่องรอยหลุมเสาซึ่งนักโบราณคดี เชื่อว่าอาจเป็นเสาบันไดไม้ขึ้นตัวอาคารของโบราณสถานพานหิน ส่วนด้านบนของอาคารพบหลุมเสา ซึ่งสันนิษฐานว่าเป็นเสาของอาคารเครื่องไม้มุงหลังคาและพบแท่งศิลาแลงทรงกลมสลักเป็นรูปเชิงบาตร ขนาดเส้นผ่านศูนย์กลางประมาณ 1 เมตร ทั้งนี้ พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวได้เสด็จประพาสโบราณสถานพานหินแห่งนี้เมื่อปี พ.ศ. 2451 ทรงสันนิษฐานว่าแท่งศิลาแลงทรงกลมบนตัวอาคารนั้น น่าจะเป็นฐานเทวรูป ซึ่งเมื่อได้มีการขุดแต่งทางโบราณคดีในสมัยต่อมาได้พบชิ้นส่วนประติมากรรม พระกรซ้ายทรงสังข์ซึ่งน่าจะเป็นพระกรของพระนารายณ์ตรงกับที่พระองค์สันนิษฐานไว้ จึงเชื่อกันว่าโบราณสถานพานหินแห่งนี้เคยเป็นศาสนสถานหรือเทวสถานในศาสนาฮินดูที่มีอายุเก่าแก่มากอยู่ในราวพุทธศตวรรษที่ 12-14
