In Brüssel, wo Jean Thielemans am 29. April 1922 geboren wurde, spielte er als Kind zunächst Akkordeon im Café seiner Eltern. In den Jahren 1943 und 44 wechselte er zur Gitarre und spielte die Musik der Platten von Django Reinhardt und Stephane Grappelli nach. Doch sein Lieblingsinstrument blieb sein „Toy“, das Spielzeug: die Mundharmonika.
Seine Musikerkollegen rieten Thielemans nicht nur, doch statt Harmonika Gitarre zu lernen, sie schlugen für die Plakatwerbung auch den Namen „Toots“ vor (nach dem damals bekannten Saxophonisten Toots Mondello aus der Band von Benny Goodman). Dabei blieb es ein Leben lang. Bei einem USA-Besuch 1948 hörte ihn der Musikagent Billy Shaw und vermittelte einen Kontakt zu Benny Goodman, der Toots Thielemans dann während einer Europatournee engagierte. Der Bebop gab ihm danach einen kreativen Schub zur Entwicklung seines Stils: Charlie „Bird“ Parker, mit dem er 1951 in Schweden auftrat, für die Mundharmonika, und Charlie Chris-tian für die Gitarre.
Nach der Übersiedlung in die USA 1952 startete Thielemans zu einer Weltkarriere. Bedeutende Partner waren George Shearing, in dessen Quintett er bis 1958 spielte, und Bill Evans. Nicht zu vergessen Quincy Jones, mit dem Toots Thielemans bis zuletzt befreundet war. Sein erstes Album „Man Bites Harmonica“ stellte ihn mit Pepper Adams (bs), Kenny Drew (p), Wilbur Ware (b) und Art Taylor (dr) als Mundharmonikaspieler und Gitarristen im Cool-Jazz-Stil vor. Eine besondere Auszeichnung und Ehre war es für Thielemans, dass Stéphane Grapelli ihn 1962, nach Django Reinhardts Tod, auf den Gitarrenplatz des Hot Club de France berief. In dieser Zeit entstand aus einer Spezialität von ihm, nämlich unisono zum Gitarrenspiel zu pfeifen, der Hit „Bluesette“, eine hübsche Melodie im Dreivierteltakt, die seine „Altersversorgung“ wurde, wie Toots Thielemans einmal gegenüber einem Journalisten meinte. Quincy Jones ermunterte Thielemans dazu, Filmmusik zu schreiben: Es entstand die Musik zu „The Getaway“ und sogar die Titelmelodie für die nach dem „Sputnik-Schock“ entstandene amerikanische Kinder-Bildungssendung „Sesamstraße“.
Ohne schwäbische Handwerkskunst würde es den ganz besonderen, weltweit bekannten Toots-Thielemans-Sound allerdings nicht geben. Thielemans spielte eine chromatische Mundharmonika in C, hergestellt von der Trossinger Firma Matthias Hohner. Mit drei Oktaven, beginnend beim eingestrichenen C, verfügt das Instrument über den Tonumfang einer Querflöte. Nach den Vorschlägen von Toots Thielemans baute Hohner die Modelle „Toots Mellow Tone“ und „Toots Hard Bopper“.
Thielemans starb am 22. August im Alter von 94 Jahren in Brüssel.