यमराज का यह मंदिर देखने में एक सामान्य घर की तरह ही लगता है। मंदिर को लेकर ऐसी मान्यताएं हैं कि भैया दूज के मौके पर यहां स्वयं यमराज अपनी बहन यमुना से मिलने के लिए आते हैं। मान्यताओं के मुताबिक इंसान की मौत के बाद यमराज उनकी आत्माओं को सबसे पहले इसी मंदिर में लेकर आते हैं। इतना ही नहीं इंसान के कर्मों के अनुसार उन्हें इसी मंदिर में सज़ा भी दी जाती है। भरमौर में स्थित यमराज के इस मंदिर के अंदर घुप अंधेरा होता है, जिसकी वजह से कई लोग तो डर के मारे मंदिर के अंदर भी नहीं जाते हैं। ऐसे लोग मंदिर के बाहर से ही प्रार्थना कर वापस लौट जाते हैं।
मंदिर के बारे में कहा जाता है कि यही वह जगह है, जहां यमराज इंसान के अच्छे-बुरे कर्मों पर फैसला सुनाते हैं। मंदिर में एक कमरा है, जहां किसी भी तरह की कोई वस्तु उपलब्ध नहीं है। इस कमरे में केवल यमराज रहते हैं। इस कमरे को चित्रगुप्त का कक्ष कहते हैं, जहां मृत्यु को प्राप्त हुए इंसान की आत्माओं को पकड़कर लाया जाता है। इस मंदिर में चार दरवाज़े हैं, जो दिखाई नहीं देते हैं। ये दरवाज़े सोना, चांदी, तांबा और लोहे के बने हुए हैं। इंसान के कर्मों के अनुसार उन्हें इन्हीं दरवाज़ों से स्वर्ग और नरक में भेजा जाता है।