राकेश यादव तीन भाइयों में सबसे बड़े हैं। उनके छोटे भाई चंद्रपाल यादव की बीमारी से मौत हो चुकी है। दूसरे भाई नरेश यादव की हत्या कर दी गई थी। तीनों भाइयों की शादी नहीं हुई थी। परिवार में ऐसी घटनाओं ने उनके जीवन में गहरा खालीपन छोड़ दिया। उनकी एक विवाहित बहन है, लेकिन राकेश कहते हैं कि बुढ़ापे में कोई उनकी देखभाल नहीं करेगा और न ही अंतिम संस्कार या तेरहवीं कराएगा।