आकस्मिक निधन से सीट खाली हुई और कांग्रेस ने 1982 के उपचुनाव में यह सीट हार गई। लेकिन, गांधी की किस्मत ने नहीं साथ दिया, बाद में वे उपचुनाव में भाग्य आजमाने जबलपुर आए भी नहीं। अपनी हार का उन्हें हमेशा रंज रहा और मन की टीस निकालते कहा भी था कि बाहरी थे, इसलिए जनता ने स्वीकार नहीं किया। यह अलग बात है कि उनके पूर्ववर्ती शरद यादव दो चुनाव यहां से जीते थे और वे मूलत: होशंगाबाद के निवासी थे। दो साल बाद ही हुए उपचुनाव में मूलत: शहडोल के रहने वाले बाबूराव परांजपे भाजपा के पहले सांसद बने थे। राजमोहन गांधी को लेकर शहर में तरह-तरह के मिथ भी चला करते थे। लोग उनके लम्बे हाथ को लेकर अजानबाहु तक कहते थे। लेकिन, उन्होंने फिर कभी संस्कारधानी की ओर रुख नहीं किया।