कलियासोत डैम स्थित श्री विश्वनाथ मंदिर के महंत सुनील सिंह बताते हैं कि यह मंदिर वर्ष 1986 में बांध बना रही दक्षिण भारतीय कंपनी एसआरईसी के मुखिया रेड्डी ने बनवाया था। यह अष्टकोणीय शिवालय भी प्रतिमा विज्ञान पर आधारित है। सभी शिवालयों में जलहरी का मुख उत्तर दिशा में होता है। सिर्फ उज्जैन के महाकाल मंदिर में जलहरी दक्षिणमुखी है, क्योंकि दक्षिण दिशा में यमराज का वास माना जाता है और वहां भगवान शिव ने वहां यमराज पर विजय प्राप्त की थी। डॉ. व्यास यह भी बताते हैं कि विदिशा के पास उदयगिरि की गुफाओं में 8वीं सदी के शिवलिंग प्राप्त हुए थे।
शहर में लालघाटी गुफा को वर्ष 1830 में खोजा गया था। कुछ विद्वान मानते हैं कि वर्ष 1901 में यहां शिवलिंग की स्थापना की गई, जबकि कुछ का मानना है कि वर्ष 1949 में महंत नारायणदास त्यागी ने यहां शिवलिंग की स्थापना कराई। इस मंदिर का वर्ष 1960 में विस्तार कराया गया। वर्ष 1953 में हनुमान मंदिर स्थापित किया गया। यहां शिवलिंग पर अज्ञात स्रोत से पानी हमेशा गिरता रहता है और भीषण गर्मी में भी शिवलिंग के पास पानी रहता है। केरवा डैम स्थित शिव मंदिर में भी पहाड़ों के अज्ञात स्रोत से हर समय पानी आता रहता है। इसी पानी से शिवलिंग का अभिषेक किया जाता है और महंत व श्रद्धालु इसी पानी को पीते हैं।