Kann eine Künstliche Intelligenz (KI) auf gleichem Niveau mit einem Menschen in kreativen Schöpfungsprozessen zusammenarbeiten? Wie kann eine solche Kooperation aussehen? Mit solch komplexen Fragestellungen beschäftigen sich Wissenschaftler*innen und Musiker*innen der Technischen Hochschule Nürnberg und der Hochschule für Musik Nürnberg in dem interdisziplinären Forschungsprojekt „Spirio Sessions“.
Dabei kooperieren die Fachbereiche der Interdisziplinären Musikforschung und des Maschinellen Lernens, um sich gemeinsam der Entwicklung einer „Künstlichen Kreativität“ anzunähern. Auf der theoretisch-epistemischen Ebene bezieht sich das Projekt auf posthumanistische Ansätze, die diese Mensch-Maschine-Ko-Kreativität als eine übergreifende, mehr-als-menschliche Zusammenarbeit beschreiben. Es geht also nicht darum, menschliches Klavierspiel zu simulieren – auch wenn bestimmte Bausteine und Prozesse des maschinellen Lernens in diese Richtung zu weisen scheinen –, sondern darum, eine relationale Ästhetik zu etablieren, die genuin maschinelle Artefakte fördert und gleichzeitig die menschliche Vorauswahl minimiert.
Im Mittelpunkt steht die Interaktion von menschlichen Musizierenden mit innovativen Musikinstrumenten und Künstlichen Intelligenzen. Das Projekt zielt darauf ab, freie Improvisation zwischen Menschen und Maschinen in verschiedenen technologischen Ausprägungen durch die Entwicklung von Prototypen, die Kombinationen von Softwaremodulen und durch künstlerische Evaluation zu erforschen.
Um dem computergenerierten Material in diesem Mensch-Maschine-Kollaborationsszenario eine physische Präsenz zu verleihen, die mit der anderer traditioneller Musikinstrumente vergleichbar ist, agiert die KI hier in der verkörperten Form des Hybridflügels, anstatt Lautsprecher für die eigentliche klangliche Umsetzung zu verwenden. Dieses „Herzstück“ des gemeinsamen Forschungsprojekts ist der selbstspielende Flügel vom Modell Spirio r – ein analog-digitales Hybrid-Instrument der Firma Steinway & Sons. Von dem Instrument erwarten die Wissenschaftler*innen nicht nur datenbasierte Einblicke in die Interpretation von Musik, sondern erforschen insbesondere auch die Möglichkeiten der Schnittstelle mit einer Künstlichen Intelligenz.
Einige der bisher untersuchten KI-Techniken wurden bereits in anderen Projekten zur computergestützten Musikgenerierung eingesetzt, jedoch oft nicht in interaktiven Szenarien. Daher ist die künstlerische Forschung, die von den teilnehmenden Musikstudierenden durchgeführt wird, eine entscheidende methodische Komponente für die Bewertung der modifizierten Software-Module. Das Improvisations-Setting rund um den Hybridflügel bildet einen konzeptionellen Rahmen, innerhalb dessen ein breites Spektrum technischer Ansätze – regelbasierte KI, statistische Modellierung und auch neuronale Netze – prototypisch erforscht werden. Der bislang erreichte Forschungsstand wurde zuletzt auch im Rahmen eines Beitrags auf der internationalen Fachkonferenz AI Music Creativity 2021 präsentiert.
Die interdisziplinäre Forschungsgruppe besteht neben den drei Projektleitern Prof. Dr. Martin Ullrich, Dr. Sebastian Trump (beide HfM Nürnberg) und Prof. Dr. Korbinian Riedhammer (TH Nürnberg) aus Bachelor- und Masterstudierenden der Studiengänge Informatik, Medieninformatik, Jazz-Saxophon und Musikpädagogik.
„Als Informatikerin mit musikalischem Hintergrund fasziniert es mich besonders, diese beiden, doch sehr verschiedenen Komponenten beziehungsweise Bereiche in unserem Projekt zusammen zu bringen“, so Franziska Braun, die als Studentin in das Projekt einstieg und inzwischen als Wissenschaftliche Mitarbeiterin an der TH Nürnberg arbeitet. „So haben wir auf der einen Seite die auf Logik basierende KI, die in meinem Fall auf Methoden der Statistik zurückgreift, und auf der anderen Seite die dadurch erzeugte musikalische Improvisation, die wiederum etwas Kreatives ist. Das macht den Entwicklungsprozess für mich spannend, weil aus dieser Logik heraus immer wieder etwas ganz Neues – Hörbares – entsteht.“
„Für mich als Musikerin ist dieses Projekt besonders interessant, da ich das erste Mal an einem interdisziplinären Forschungsprojekt teilnehme und es sehr inspirierend und spannend finde, mit einer KI zu spielen und zu improvisieren.“ berichtet Jazz-Saxophon-Studentin Valentina Oefele. „Außerdem ist der Austausch mit den anderen Mitgliedern des Projekts sehr bereichernd, da ich viele Einblicke in die Entwicklung von KIs bekomme und die Forschungsprozesse auf technischer Seite mitbekommen kann und auf musikalischer Seite mit erforschen darf.“
Das Projekt wurde von Beginn an von einer medialen Aufmerksamkeit begleitet, mit der die Projektleiter selbst gar nicht gerechnet hatten, darunter durch Berichterstattungen u. a. in der Süddeutschen Zeitung, dem SWR und dem Deutschlandfunk. „Wir sind selbst überrascht angesichts des öffentlichen Interesses“, sagt Martin Ullrich, „offenbar üben unsere Versuchsaufbauten mit ihrer Verbindung von abstrakter Software, physisch präsentem Flügel und Live-Performance der menschlichen Musiker*innen eine gewisse Faszination aus – und das oft auch auf Menschen, die sich sonst nicht unbedingt mit KI oder mit freier musikalischer Improvisation auseinandersetzen würden.“
Später können so vielleicht bald Fragen wie diese beantwortet werden: Kann der Flügel in einem Jazz-Quartett improvisieren? Gar seine persönliche Note hinzufügen? Und welche Erkenntnisse erlangen wir dadurch über den vermeintlich exklusiv menschlichen Kreativprozess? Das Projektteam erhofft sich dabei von den Ergebnissen auch Erkenntnisse, die sich auf andere Gebiete und Anwendungsszenarien übertragen lassen – wie etwa der Medizin.
Das Gemeinschaftsprojekt steht im Zusammenhang mit der Einrichtung einer eigenen Professur für „Künstliche Kreativität und musikalische Interaktion“ an der Hochschule für Musik, die im Rahmen des 2020 durchgeführten KI-Wettbewerbs des Bayerischen Staatsministeriums für Wissenschaft und Kunst gewonnen werden konnte. Unterstützt und gefördert wird das Projekt dabei von „LEONARDO – Zentrum für Kreativität und Innovation“, einer Kooperation zwischen der Technischen Hochschule Nürnberg Georg Simon Ohm, der Akademie der Bildenden Künste Nürnberg und der Hochschule für Musik Nürnberg. Als interdisziplinärer Raum und Projektplattform arbeitet LEONARDO an der Schnittstelle von Wirtschaft, Wissenschaft und Kunst. Die Zusammenarbeit und der Aufbau des gemeinsamen Zentrums werden ermöglicht durch das Bund-Länder-Programm Innovative Hochschule.