मंडेला का जन्म 18 जुलाई 1918 को केप प्रांत के मवेजो इलाके के मदीबा गांव में हुआ। पिता ने उनका नाम रोहिल्हाला मंडेला रखा, जिसका अर्थ होता है शैतानी करने वाला नटखट बच्चा। पिता गेडला हेनरी मंडेला गांव के प्रधान होने के साथ ही थेंबू जाति के कार्यवाहक राजा के मुख्य सलाहकार भी थे। उनकी मां नोकाफी मेथडिस्ट ईसाई थीं।
बचपन से ही वे अपने पूर्वजों की बहादुरी के किस्से सुनते आ रहे थे। इन किस्सों को सुनकर वे सोचते कि “काश! मैं भी स्वराज की इस लड़ाई में अपना योगदान दे पाता।” 12 वर्ष की उम्र में ही उनके सिर से पिता का साया उठ गया। अब उनकी शिक्षा-दीक्षा राजा के संरक्षण में होने लगी।
क्लार्कबेरी मिशनरी स्कूल में प्राथमिक शिक्षा के लिए उनका नामांकन हुआ, जहां टीचर ने उनका नाम रोहिल्हाला से बदलकर नेल्सन रख दिया, क्योंकि स्कूल का नियम था कि यहां पढ़ने वाले सभी छात्रों का नाम क्रिश्चियन होना चाहिए।
शादी का नाम सुनते ही घर से भागे आगे की पढ़ाई के लिए नेल्सन का दाखिला फोर्ट हेयर यूनिवर्सिटी में कराया गया, जहां उनकी मुलाकात ऑलिवर टेम्बो से हुई। ऑलिवर जीवनभर उनके सबसे करीबी मित्र रहे। दोनों क्रांतिकारी विचारधारा के थे और छात्र आंदोलनों मे हिस्सा लिया करते थे।
आंदोलनकारी गतिविधियों के कारण नेल्सन को कॉलेज से निकाल दिया गया। जब नेल्सन मवेजो लौटे तो थेंबू राजा मेखेकेजवनी उन पर बहुत गुस्सा हुए और कहा- “अगर तुम वापस फोर्ट हेयर पढ़ने नहीं गए तो यहां तुम्हारी शादी करा दी जाएगी।” ये सुनते ही वे घर से भागकर 1941 में जोहांसबर्ग चले गए। जहां उन्हें सोने की खदान में चौकीदार की नौकरी मिल गई। लेकिन यहां पर उन्हें हर रोज प्रताडित होना पड़ता था।
इसलिए नौकरी छोड़ वे एक कानूनी फर्म में लिपिक का कार्य करने लगे। साथ ही साउथ अफ्रीका यूनिवर्सिटी से ग्रेजुएशन भी किया। 1943 में वे फोर्ट हेयर लौट गए। लॉ की पढ़ाई के लिए उन्होंने विटवाटर्सरेंड यूनिवर्सिटी में दाखिला लिया लेकिन पढ़ाई में कमजोर होने के कारण उन्हें कॉलेज छोड़ना पड़ा। बाद में उन्होंने साउथ अफ्रीका यूनिवर्सिटी से लॉ की पढ़ाई पूरी की।