मुख्तार अंसारी के दादा इंडियन नेशनल कांग्रेस के अध्यक्ष रह चुके हैं। उनके दादा का नाम भी मुख्तार ही था जिन्होंने देश की आजादी के लिए अहम रोल अदा किया था। इसके लिए उन्हें महावीर चक्र से नवाजा गया था। दादा की तरह मुख्तार के चाचा ने भी देश के लिए अपनी सेवाएं दी थीं। मुख्तार के चाचा हामिद अंसारी देश के उप राष्ट्रपति थे। वहीं, मुख्तार के भाई अफजल अंसारी मौजूदा समय में गाजीपुर से सांसद हैं। उनके नाना का भी नामचीन हस्तियों में नाम शुमार था।
आजादी के आंदोलन के नायक थे दादा मुख्तार अंसारी के परिवार के गौरवशाली इतिहास के कारण मऊ में परिवार की काफी इज्जत है। खानदानी रसूख की जो तारीख इस घराने की है, वैसी शायद ही पूर्वांचल के किसी खानदान की हो। बाहुबली मुख्तार अंसारी के दादा डॉ. मुख्तार अहमद अंसारी स्वतंत्रता संग्राम आंदोलन के दौरान 1926-27 में इंडियन नेशनल कांग्रेस के अध्यक्ष रहे हैं। उनका नाम महात्मा गांधी के करीबियों में शुमार था।
चाचा थे उपराष्ट्रपति मुख्तार अंसारी के पिता सुब्हानउल्लाह अंसारी कम्युनिस्ट पार्टी के नेता थे। अपनी साफ सुथरी छवि की वजह से 1971 में उन्हें नगर पालिका चुनाव में निर्विरोध चुना गया था। अंसारी परिवार की इसी विरासत को आगे बढ़ाया था मुख्तार के चाचा हामिद अंसारी ने। वह भारत के उपराष्ट्रपति थे। उपराष्ट्रपति होने से पहले वह विदेश सेवा में थे। इसके अलावा देश के जाने माने पत्रकार जावेद अंसारी भी रिश्ते में उनके भाई लगते हैं।
नामचीन हस्तियों में शुमार था नाना का नाम मुख्तार के अन्य परिवार के सदस्यों की तरह नाना का भी नाम नामचीन हस्तियों में शुमार था। ब्रिगेडियर मोहम्मद उस्मान, जिन्हें अपनी सेवाओं के लिए महावीर चक्र दिया गया था, वह मुख्तार के नाना थे। 1947 में इन्होंने न सिर्फ भारत की तरफ से नौशेरा की लड़ाई लड़ी थी बल्कि हिंदुस्तान को जीत भी दिलाई थी। हालांकि, इस जंग में वह खुद शहीद हो गए थे।
बेटे ने जीते हैं कई पदक बाहुबली मुख्तार के बेटे अब्बास अंसारी शॉट गन शूटिंग के इंटरनेशनल खिलाड़ी रह चुके हैं। टॉप शूटरों में शुमार अब्बास ने दुनियाभर में कई पदक जीते हैं।