एक ही रात में इनती बड़ी संख्या में गांवों को खाली करने के पीछे की कहानी मान-सम्मान से जुड़ी है। जैसलमेर के दीवान सालमसिंह की नजर गांव के मंदिर के पुजारी की बेटी पर थी। उसने लड़की के घर पर संदेशा भेजा कि अगली पूर्णमासी की रात तक या तो लड़की को दे दो या फिर सुबह होते ही वो गांव पर हमला कर देगा आैर उस लड़की को उठाकर ले जाएगा।
कहते हैं कि 84 गांवों के उन लोगों ने अपनी पंचायत में लड़की को नहीं सौंपने का निर्णय लिया। करीब दो सौ साल पहले अपने सम्मान की रक्षा के लिए लोगों ने अपने 84 गांवों को खाली कर दिया आैर रातों रात कहीं चले गए। जाते वक्त वे एक श्राप देकर गए कि इन गांवों में मौजूद घरों में कोर्इ दोबारा बस नहीं सकेगा। उस दिन से कोर्इ भी इस गांव में बस नहीं सका है।
बताया जाता है कि पालीवाल ब्राह्मणों ने जब कुलधरा गांव को बसाया था उस वक्त यहां पर करीब छह सौ घर थे, जो करीब एक सौ बीस किलोमीटर क्षेत्र में फैले हुए थे। गांव में मौजूद घरों का निर्माण इस तरह से किया गया था कि ये भीषण गर्मी में भी ठंडे रहते थे। पालीवाल ब्राह्मण वेद आैर शास्त्रों के ज्ञाता थे।
कुलधरा में आज भी 600 से ज्यादा घरों के अवशेष हैं जो बताते हैं कि स्वाभिमान से बढ़कर उन लोगों के लिए कुछ नहीं था। साथ ही गांव में आज भी एक मंदिर, करीब दर्जन भर कुएं, एक बावड़ी, चार तालाब आैर आधा दर्जन से ज्यादा छतरियाें के अवशेष भी मौजूद हैं। वहीं घरों के अंदर तहखाने भी हैं। पैरानाॅर्मल एक्टिविटीज के जानकार कहते हैं कि उन्होंने कुलधरा में आत्माआें की उपस्थिति दर्ज की है। यही कारण है कि बहुत से लोग इस गांव को ‘हाॅन्टेड विलेज’ के नाम से भी जानते हैं।