Motion-Tracking in der Musikpädagogik
Das Erlernen eines Instruments erfordert ein präzises Bewegungsverständnis. Bewegungserkennungssysteme sind oft zu teuer oder kompliziert für den Bildungsbereich. Daher setzt die Hochschule auf einen kostengünstigen kamerabasierten Ansatz, der später als Open Educational Resource (OER) bereitgestellt werden soll. Damit könnte die Software künftig unkompliziert in den Unterricht und das Üben zu Hause integriert werden.
Virtuelles Instrumentalspiel
Perkussionsinstrumente können allein durch Handbewegungen gespielt werden. Eine Kamera erfasst diese und überträgt sie auf virtuelle Instrumente, deren Klangflächen und Spielpositionen visualisiert werden. Die Benutzer können zwischen Schwierigkeitsgraden wählen und eigene musikalische Ideen mithilfe eines Loop-Recorders aufzeichnen aber auch vorgegebene musikalische Sequenzen nachspielen.
Gestenbasierte Dirigierfunktionen
Handzeichen, die etwa die Silben der relativen Solmisation (do, re, mi) darstellen, werden erkannt und in passende Töne umgewandelt. Die Software reagiert präzise auf Bewegungen und ermöglicht die Gestaltung freier Tonhöhenverläufe, ähnlich wie ein Theremin. Unterschiedliche Handstellungen variieren die Klangfarbe, auch Improvisation zu bekannten Rocksongs wird angeregt.
Körperhaltung und Schlagtechnik
Auch die Erfassung des gesamten Oberkörpers beim Perkussionsspiel auf akustischen Instrumenten ist möglich, um mit Hilfe angelernter KI-Modelle Fehler im Bewegungsablauf oder beispielsweise in der Schlägelhaltung zu identifizieren. Dies eröffnet auch Möglichkeiten für die Anwendung beim Üben zu Hause, insbesondere für Musikschülerinnen und -schüler im Anfangsunterricht.
Pädagogische Perspektiven
„Music Motion Tools“ zielt auf eine flexible Erweiterung der Musikpädagogik durch Motion-Tracking. RE|LEVEL greift positive Impulse der Distanzlehre auf und ergänzt klassische Lehrmethoden um digitale Inhalte. Damit könnte das Projekt künftig ein innovatives Werkzeug für die Musiklehre bieten, das intuitiv und niederschwellig nutzbar ist.
Weitere Informationen zu RE|LEVEL und seinen Teilprojekten finden sich auf der Website der Hochschule für Musik Nürnberg.
