Dépasser ses limites et amplifier la créativité humaine en utilisant l’IA en musique

La mécanisation de la musique ne date pas d’hier

Si on trouve peu d’artistes pour défendre les variations synthétiques des IA génératives comme Suno ou Udio, certains ont choisi d’expérimenter avec l’intelligence artificielle pour renforcer leur créativité et bouger les frontières de leur art.

L’audace du pianiste et compositeur français, Édouard Ferlet, est un parfait exemple de ce que l’IA peut apporter de meilleur pour les artistes et leurs démarches créatives.

Köln Variations, Edouard Ferlet

En avril dernier, Édouard Ferlet a donné un concert unique au Printemps de Bourges : Köln Variations. A cette occasion, il s’attaque à un monument du jazz : The Köln Concert, l’album de piano le plus vendu au monde, né d’une improvisation live de Keith Jarrett à Cologne en janvier 1975.

L’album de piano le plus vendu au monde est un album improvisé : à l’heure de l’intelligence artificielle, cela donne espoir en l’humanité !

En osant collaborer en duo avec une IA sur le répertoire d’un grand maître du piano, Édouard Ferlet réinvente l’improvisation en concert, et plonge également le spectateur dans un abîme fascinant : l’improvisation libre d’un concert lui même improvisé, sous forme d’un dialogue avec une IA qui semble improviser mais produit des outputs calculés sur les cent dernières notes du pianiste ! Édouard Ferlet est venu décrypter à la Plaine Images ce travail d’avant-garde.

Fort d’une formation classique et jazz ainsi que d’un parcours en informatique musicale, Édouard Ferlet travaille déjà depuis une dizaine d’année sur des dispositif robotiques : avant même l’intégration de l’IA à son travail, celui-ci a développé Pianoïd, un dispositif né pour concilier son amour du piano acoustique avec son intérêt pour la robotique et l’informatique. L’occasion de rappeler que les pianos mécaniques ont connu leur apogée au début du XXème siècle !

Dispositif Pianoïd, Edouart Ferlet (capture d’écran Youtube)

Le dispositif Pianoïd, pensé pendant dix ans par Édouard Ferlet, est constitué de deux pianos acoustiques : un piano à queue sur lequel joue l’artiste, et un piano droit motorisé (Disklavier). Ce dernier est actionné grâce au protocole MIDI, un format de fichier musical standard qui retranscrit les informations cruciales, comme le nom de la note, sa vélocité, sa longueur, sa temporalité, etc.

Initialement, Pianoïd fonctionnait sur la base d’un système algorithmique, et utilisait des effets connus comme les arpégiateurs. Faire jouer des arpèges à un piano acoustique possédait déjà une forme de magie selon Édouard Ferlet, car la mécanique du piano motorisé donnait des variations organiques intéressantes, tout en offrant un spectacle envoûtant. Les possibilités qu’ont apporté l’intelligence artificielle ont déployé de nouvelles formes de création… et intensifié le dialogue avec le piano !

Une nouvelle ère de prospérité pour la création assistée ?

Édouard Ferlet a donc intégré l’intelligence artificielle à son dispositif, pour proposer les Köln Variations au Printemps de Bourges 2025. Pour se faire, il s’est entouré de partenaires scientifiques que sont l’IRCAM et Sony CSL, ainsi que du musicien Benoît Carré.

Son approche se concentre particulièrement sur le traitement du système MIDI plutôt que de l’audio. La R&D des géants de la tech se concentre actuellement plus sur le traitement de l’audio, car ce sont des traitements qui sont profitables : mastering, doublage ou remplacement des voix, etc. Mais c’est à partir du système MIDI qu’on peut par exemple générer une partition, et donc mettre en action un piano motorisé.

Pour comprendre comment fonctionne l’IA, Édouard le compare à un système de texte à trous. L’IA fonctionne sur un modèle de prédiction, qui devine les notes manquantes à partir de corpus de données bien précis qu’il a fallu constituer :

• Un dataset MIDI comprenant un grand nombre de compositions classiques libres de droit
• Un dataset des morceaux de Keith Jarrett convertis de l’audio au MIDI, pour le fine tuning
• Une augmentation de ces données pour que l’IA comprenne qu’un morceau de Keith Jarrett en dos majeur tempo lent, puisse aussi exister en mi bémol tempo rapide par exemple. Ces jeux de données contiennent une pluralité de variantes qui permettent à l’IA de comprendre toutes les manières différentes de jouer un morceau, propres au jazz.
• Un dernier dataset comprenant des morceaux enregistrés par Edouard Ferlet, pour que l’IA modélise sa façon de jouer.

L’entraînement rigoureux et patient de l’IA a permis à Édouard Ferlet d’improviser en dialogue avec le piano des variations autour de l’œuvre de Keith Jarrett.

Dans la pratique ? L’IA est paramétrée pour prédire la suite du jeu humain, en écoutant les cent dernières notes jouées par Édouard. Elle commence à jouer quand il s’arrête, lui inspire une réponse, et ainsi de suite.

Interaction Homme-Machine et virtuosité inversée

Les projets d’interaction Homme-Machine que poursuit Édouard Ferlet depuis une dizaine d’année soulèvent des questions fascinantes lié au geste robotique :

Je fais du piano presque quotidiennement depuis 40 ans, en étant confronté en permanence au problème de la virtuosité. Le travail d’un compositeur, c’est aussi de savoir écrire des choses qui sont jouables ! Avec la machine, je peux désormais composer des choses injouables. Je me demande désormais de quelle manière je vais pouvoir composer pour le piano, des choses que je ne saurai pas jouer.

C’est ce qu’Édouard Ferlet appelle la virtuosité inversée, où quand la machine peut réaliser des mouvements « inimaginables, infaisables, » supplantant les capacités humaines.

Le projet IA des Köln Variations soulève d’autres questions fondamentales autour du geste artistique : la nature du robot est artificielle. Dénué de cœur, d’émotion ou d’état d’âme, l’IA à une manière de jouer aux antipodes de celle du pianiste. Dans son dialogue musical avec le piano, Édouard Ferlet a donc expérimenté de jouer “comme le robot”, de manière insensible et froide. Cet exercice lui a permis de toucher à l’essence même de l’écriture musicale et de la note MIDI, et a enrichi sa pratique.

Enfin, de l’aveu d’Édouard Ferlet, le projet des “IA variations” est encore à l’état d’ébauche. Pour le moment, les propositions de l’IA sont loin d’être concluantes. Les Köln Variation ne comportent que peu de minutes réelles d’IA, et sont surtout une démonstration artistique des possibilités de cette collaboration interactive.

L’IA est pour Édouard un « miroir déformant », dont le principal intérêt réside dans la réflexion qu’elle provoque : “elle permet à l’artiste de le faire bouger dans ses frontières”.

La portée pédagogique révolutionnaire de l’IA

Au-delà de l’aspect artistique, les expérimentations IA sur le système Pianoïd ouvre un champ des possibles inattendu dans le domaine de la pédagogie : l’IA est un formidable outil de synthèse, qui travaille proprement de la matière brute.

Dans l’histoire de l’art, l’apprentissage commence par l’imitation. Édouard imagine pour le futur un “ChatGPT du piano”, qui pourrait répondre à des requêtes spécifiques, comme jouer une pièce dans le style de Bach, ou travailler une gamme particulière. Cette intelligence artificielle deviendrait un outil neutre et impartial, qui s’adapterait finement à la progression ou aux préférences musicales de l’élève. Des sujets que nous avons déjà adressés à EuraCreative avec des projets incubés sur le thème de l’apprentissage musicale boosté à l’IA !

L’IA pourrait servir également aux compositeurs, en automatisant des tâches répétitives, comme la création de partitions. L’équation pour répondre précisément à ses besoins est de savoir analyser le signal MIDI d’un fichier audio. Plus fort encore, on pourrait imaginer une IA qui analyserait une vidéo des mains du pianiste pour identifier les notes jouées par la main gauche et la main droite, simplifiant ainsi la notation. Un vaste champ des possibles s’ouvre pour les compositeurs !

La normalisation des rapports entre entreprises IA génératives et majors

Et du côté de l’industrie musicale ? Les choses ont drastiquement changé depuis quelques semaines. Il y a un an et demi, Universal Music Group faisait partie des majors qui poursuivaient la startup de musique générative Udio en justice. Dans un retournement de situation (que certains ont vu venir), les deux belligérants ont finalement signé un accord ! Drôle d’épilogue ? Cette action en justice a désormais tout l’air d’un coup de pression stratégique pour UMG (Udio ne cachant pas qu’il entraînait son modèle génératif sur un corpus de morceaux protégés par des droits d’auteurs), et se transforme en aubaine commerciale. Conscient de la poussée irrésistible de l’IA dans la création de contenus, la major tente de recadrer son usage dans un cadre légal et rémunérateur.

Cette aubaine commerciale reste tout de même à confirmer. Une question inconfortable se pose à ce sujet : qui, au juste, a réclamé de la musique générée par IA ? Les artistes ? Les fans ? Les labels ? Il semble bien que cette proposition de valeur s’est matérialisée spontanément, sans aucun marché adressable de consommateurs. Si les plateformes Udio et Suno ont diverti des millions d’internautes, elles n’ont pour le moment créé aucune valeur économique digne d’intérêt. Le principe de ces IA musicales est de créer des morceaux à partir des régularités les plus saillantes de milliards de données d’apprentissage, c’est-à-dire des morceaux existants créés et produits par des humains. Les morceaux générés, si mélodieux et “plausibles” qu’ils soient, sont vides de substance artistique.

C’est donc un pari sur l’avenir de la consommation musicale que fait UMG, mais ce virage stratégique est intéressant à plus d’un titre :

• La major établit un précédent qui pourrait faire date dans l’histoire de l’industrie, en prouvant la nécessité des licences pour les IA génératives. En acceptant le deal, Udio réfute l’argument du fair use, qu’ils brandissaient eux-même dans le cadre du litige. Désormais, la startup se positionne comme une plateforme IA entraînée de manière responsable, et UMG peut utiliser ce virage comme la validation de la nécessité à demander l’autorisation aux ayants-droits.
• Elle entend également contrôler la création, puisque les morceaux créés resteront dans la plateforme, et seront limités aux artistes qui auront donné leur consentement (le fameux opt-in).
• Grâce à ce consentement, UMG veut aussi garantir la rémunération des artistes et auteurs-compositeurs : ils seront payés pour les données d’entraînement et pour les résultats générés en IA.

Et la concurrence emboîte le pas ! La major Warner et la startup d’IA générative musicale Suno viennent également de signer un « arrangement juridique ». Celui-ci met donc fin au procès intenté par Warner pour infraction aux droits d’auteurs. De même qu’entre UMG et Udio, l’arrangement propose aux artistes Warner volontaires de proposer leurs voix et compositions comme matériaux pour les services IA de Suno. La startup reste tout de même en conflit judiciaire avec Sony Music, et n’a toujours pas signé d’accord avec UMG.

Encore de grandes frictions autour de la propriété intellectuelle

A contre courant de la normalisation des rapports entre major et startups IA, la plainte contre OpenAI (ChatGPT) de l’organisme de gestion des droits d’auteur allemand, la GEMA, tend à nuancer l’armistice… La plainte a abouti sur une décision de justice qui fera sans doute jurisprudence, puisque le tribunal de Munich a estimé que le géant américain avait porté atteinte « aux droits d’exploitation protégés par le droit d’auteur ». OpenAI s’est dit en désaccord avec cette décision et étudie « les prochaines démarches possibles ».

Actuellement, la loi permet aux fournisseurs de services d’IA générative d’utiliser des œuvres protégées pour leurs opérations data mining, à condition d’y avoir accédé légalement et que l’auteur n’ait pas exercé son droit d’opposition (opt-out). La société de gestion des droits d’auteur française, la SACEM, a donc opté rapidement pour un opt-out par défaut de ces sociétaires, les protégeant juridiquement contre l’utilisation de leurs créations Toute fouille de données sur les œuvres des sociétaires devra nécessiter leur autorisation préalable.

Tout le paradoxe de ces mesures, c’est que les organismes de gestion ne peuvent pas, en l’état, prouver que les services IA n’ont pas respecté cette clause, les jeux de données restant confidentiels.

Et vous, quel est votre regard sur cette mutation majeure ?