पिता का सपना शिवकुमार ने एक वर्ष में ही पूरा कर लिया। और 13 वर्ष की उम्र में ही उन्होंने संतूर बजाना आरंभ किया। इन्होंने अपना पहला कार्यक्रम बंबई में 1955 में किया था। शिवकुमार शर्मा की माता जी श्रीमती उमा दत्त शर्मा स्वयं एक शास्त्रीय गायिका थीं जो बनारस घराने से संबंध रखती थीं।
इन फिल्मों में दिया संगीत
शिवकुमार शर्मा ने कई संगीतकारों जैसे जैकिर हुसैन और हरिप्रसाद चौरसिया के साथ मिलकर काम किया है। उन्होंने हिंदी फिल्मों जैसे 'सिलसिला', लम्हे आदि के लिए संगीत भी बनाया।
उनके कुछ प्रसिद्ध एल्बमों में कॉल ऑफ द वैली, संप्रदाय, एलीमेंट्स: जल, संगीत की पर्वत, मेघ मल्हार, आदि हैं।