दरअसल अष्टफलक पत्थरों का पहाड़ रामनगर किले से करीब 4 किलोमीटर है, गौड़काल में इस पहाड़ के पत्थरों का उपयोग महल निर्माण के लिए किया गया था। यहां पुराने जानकार स्थानीय लोगों का कहना है कि जब इन किलों का निर्माण हुआ था, तो ये पत्थर पहाड़ी से उड़कर यहां आए थे। इनका कहना है कि गौड़ शासनकाल में परिवहन के साधन नहीं थे, भारी पत्थरों को लाने ले जाने में सालों गुजर जाते, जबकि महल का निर्माण महज ढाई दिन में हुआ था। हलांकि इतिहासकार इस बात को सिरे से खारिज करते हैं। इतिहासकारों का कहना है कि पत्थर कहीं बाहर से मंगाए गए थे। जितनी जरूरत थी उनके पत्थर उपयोग किए गए बाकी के पत्थर आज भी काली पहाड़ी में हैं।