यह विवाद 25 अक्टूबर को बिहार के पटना में एक कार्यक्रम के दौरान शुरू हुआ। खरगे भाषण दे रहे थे, तभी भीड़ में से एक व्यक्ति ने कहा कि प्रधानमंत्री नरेंद्र मोदी कहीं नहीं जाएंगे। इस पर खरगे ने जवाब दिया, 'मोदी का बाप भी जाएगा।' उनके इस बयान पर बीजेपी ने आपत्ति जताई और उनसे माफी मांगने की मांग की।