खिवराज की जिंदगी में उस वक्त तूफान आया जब एक हादसे में उनके बेटे और पोते, दोनों की मृत्यु हो गई थी। उस हादसे से भी खिवराज का हौसला कम नहीं हुआ। उन्होंने अपने दुखों को हरा कर जीवन को फिर से शुरू किया। जिससे उन्होंने खुद को ही नहीं बल्कि अपने परिवार को भी हौसला दिया। वैसे खिवराज अपना ज्यादातर वक्त अपनी पोती के साथ बिताते हैं। जिसका नाम रखा है ‘योगा’।