1945 yılında Galatasaray Lisesi’nden, 1949’da Ankara Üniversitesi Hukuk Fakültesi’nden mezun oldu. Ankara’da kısa bir süre Hayrullah Duygu’dan klarnet dersleri aldı bu dönemden sonra bütünüyle müzik ve müzikoloji ile ilgilenmeye başladı. Aynı dönemde radyo programları hazırladı ve müzik eleştirileri yazdı. 1955 yılında Rockfeller Vakfı'nın bursuyla iki yıl için New York’a giden Mimaroğlu, Columbia Üniversitesi’nde Paul Henry Lang’ın müzikoloji ve Douglas Moore’ın kompozisyon derslerini izledi. 1959 yılında yeniden ABD’ye giderek New York’daki The Record Hunter plak firmasında repertuvar uzmanlığı ve Amerika'nın Sesi radyosunda müzik eleştirmenliği yaptı. 1959 yılında New York'a yerleşen Mimaroğlu, Türkiye ile hep yakın ilişkiler içinde oldu. TRT İstanbul Radyosu ve Ankara Radyosu'nda başlattığı Çağımızın Bestecileri başlıklı programı, New York’tan sürdürmüş ve ayrıca caz programları hazırladı. 1961 yılında Türkiye’de ilk baskısı yapılan Müzik Tarihi kitabının baskıları yenilendi, bunu yeni kitapları izlemiştir. 1990’lı yıllardan başlayarak gazetelerde müzik yazıları ve denemeler de yazdı. 1963 yılından itibaren Columbia Üniversitesi’nde Vladimir Ussaçevski yönetiminde öğrenim gören besteci, elektronik müzikte sanat konusunda mastır derecesi aldı. Bu dönemde Edgard Varése ve Staphan Wolpe ile kompozisyon çalıştı. Daha sonra Columbia Üniversitesi’nde elektronik müzik hakkında ders veren Mimaroğlu, 1968 yılında Fransa radyosunun daveti üzerine çalışmalarını bir müddet Fransa'da sürdürdü. İlhan Mimaroğlu, "öncü müzik" anlayışındadır. Atonalitenin "çağrışımlara uygun düştüğü" görüşündedir. Elektronik yapıtlarını conventional stüdyo ortamına göre yazmakta, elektronsal gereçlerle kısıtlanmaktan kaçınmakta ve tını renklerini öne çıkarmayı yeğlemektedir. Yaratılarının yanı sıra, sayısı yüzleri bulan müzik yazılarıyla katkılar getiren sanatçı, Cumhuriyet ve Yeni Yüzyıl gazetelerinde köşe yazıları yazdı.