19 मार्च, 2015 को, गुप्ता जम्मू कश्मीर असेंबली के स्पीकर चुने गए, और इस पोस्ट पर बैठने वाले भारतीय जनता पार्टी के पहले लीडर बने। 30 अप्रैल 2018 को, गुप्ता को कैबिनेट में फेरबदल के तहत डिप्टी चीफ मिनिस्टर बनाया गया, उन्होंने निर्मल कुमार सिंह की जगह ली। 19 जून, 2018 को, गुप्ता ने शपथ लेने के 51 दिन बाद डिप्टी चीफ मिनिस्टर के पद से इस्तीफा दे दिया, क्योंकि BJP ने PDP के साथ गठबंधन से अपना नाम वापस ले लिया था। राम माधव, जो उस समय BJP के नेशनल जनरल सेक्रेटरी थे, ने उस प्रेस कॉन्फ्रेंस की अध्यक्षता की जिसमें गठबंधन खत्म करने की घोषणा की गई थी।