इसके बाद महज 13 साल की उम्र में रफी को पहली बार एक संगीत के कार्यक्रम में गाना गाने का मौका मिला, इसमें वे अकेले नहीं थे उनके साथ महान केएल सहगल भी मौजूद थे। अब धीरे-धीरे ही सही लेकिन रफी की गाड़ी चल पड़ी थी और 1948 में रफी ने राजेंद्र कृष्ण द्वारा लिखित ‘सुन सुनो ऐ दुनिया वालों बापूजी की अमर कहानी’ गाया। इस गाने के हिट होने के बाद उन्हें तत्कालीन प्रधानमंत्री जवाहरलाल नेहरू के घर में गाने के लिए आमंत्रित किया गया था। एस.डी बर्मन, शंकर-जयकिशन, लक्ष्मीकांत प्यारेलाल, ओपी नैय्यर और कल्य़ाणजी आनंदजी समेत अपने दौर के लगभग सभी लोकप्रिय संगीतकारों के साथ मोहम्मद रफी ने काम किया।
रफी साहब ने प्रेम, दुख, सुख, देशभक्ति, भजन, बालगीत लगभग हर मिजाज के गीतों को गाया। उन्हें शहंशाह-ए-तरन्नुम भी कहा जाता था। आपकी जानकारी के लिए बता दें कि रफी साहब ने हिंदी के अलावा कई भारतीय भाषाओं में भी गाने गाए हैं। उनके नाम लगभग 26 हजार गीत गाने का रिकॉर्ड हैं।