Midi vers Vidéo et Vidéo vers midi

Youtube est un formidable outil pour présenter des tutos sous toutes ses formes. Des musiciens ont d’abord filmé leurs mains en train de jouer d’un instrument pour faire un peu de pédagogie. Comment jouer telle et telle chanson. D’autres avec un égo démesuré ne filment que leur visage et c’est la musique qui est en fond sonore.

D’autres, plus timides, utilisent le logiciel Synthesia pour créer des vidéos musicales soit disant pédagogiques et servant de tutos. Les vidéos sur Youtube pouvant être diffusées à vitesse lente, il est possible de mieux appréhender ce nouveau tétrix musical.

Qu’est-ce que Synthésia ? C’est un logiciel payant qui transforme les informations Midi qui lui sont injectées pour produire un visuel dans lequel les notes sont symbolisées par des carrés ou des rectangles de couleur qui descendent vers les touches d’un piano virtuel.



De très nombreuses vidéos à base de SYNTHESIA sont déposées tous les jours dans Youtube. Pas une chanson n’est ignorée. Tous les derniers tubes à la mode sont systématiquement passés à la moulinette synthésia.

Des petits bidouilleurs ont imaginé transformer de l’audio en Midi et passer ensuite ce Midi dans Synthésia. Cela donne des – choses – un peu improbable.

Le logiciel payant Synthésia circule aujourd’hui librement car il y a toujours des petits malins qui craquent tout. Et plus il y a de Synthésia gratuits et plus il y a de vidéo Synthésia.

Alors s’il est possible de faire passer une partition en Midi et ce Midi en synthésia pour produire un clip vidéo Youtube ; il devait bien être possible de faire le circuit inverse.

Dans cette hypothèse, deux cheminements possibles. Le premier consiste à capter l’audio du clip Synthésia- Youtube pour obtenir un Mp3. Et passer ce Mp3 dans des moulinettes pour produire du Midi. Le Mp3 est polyphonique, mais ne concerne qu’un seul instrument, c’est donc du domaine du possible. Ce n’est pas possible pour du polyphonique multitimbral (plusieurs instruments et de la voix). La difficulté est de réussir à capter l’audio depuis la source Youtube et pas le signal audio qui transite dans la carte son de l’ordinateur. Et encore moins l’audio qui passerait par la carte son et qui serait capté depuis le microphone. Là aussi, il existe des logiciels payants et gratuits. Song Surgeon Donwloader 3 est un produit payant.



On voit bien, sur cette capture d’écran, que lorsque d’une vidéo est déposée dans Youtube, celle si est immédiatement transformée en plusieurs formats pour pouvoir être visualisée sur tous les matériels. PC MAC Smartphone, en ADSL avec la fibre, avec un modem. Ce qui à de l’incidence sur la taille et la qualité.

En logiciel gratuit, il y Freemake. Une fois le Mp3 capté, il faut pouvoir maintenant le traiter.

Le site www.bearaudiotool.com/ transforme directement le Mp3 en Midi. Cela fonctionne très bien, si encore une fois, le Mp3 est de bonne qualité et qu’il provient d’une vidéo Synthésia.

Il est ensuite possible de transformer le Midi en Mp3 (on se mord la queue) ou en partition en ouvrant le Midi avec un éditeur comme MuseScore ou Finale ou d’autres.

Il est possible aussi d’analyser le Mp3 non plus EN LIGNE mais cette fois sur son matériel avec le logiciel Anthemscore.

Toutes les notes de musiques sont référencées par leur fréquence qui leur est propre. Un Sib3 sonne à la fréquence de 233 Hz.

Le logiciel Lunaverus transforme l’audio Mp3 en spectre vidéo en 3 dimensions et va rechercher dans ce spectre les fréquences des notes et après analyse produit un fichier Midi qui est automatiquement injecté dans un éditeur de partitions qui aura été ajouté dans les préférences.

Avec les Mp3 des vidéos Synthésia le résultat est assez bon, même très bon, puisque encore une fois l’analyse porte sur un instrument Seul. L’autre façon de « détourner » le contenu des vidéos Synthésia c’est de penser image par image. Un Russe, passionné de programmation sous Python, a développé un logiciel qui va découper frame par frame (image par image) la vidéo Youtube –synthésia et comme les notes sont représentées par des éléments en couleur souvent clair pour les touches blanches du piano et foncée pour les touches noires. C’est déjà un élément détectable. De plus chaque note est plus ou moins allongée dans son défilement vers le bas. D’un point, cela peut devenir un carré, puis un rectangle. Cela donne la longueur de la note de la X-croche à la Ronde et au delà. Des barres horizontales défilent également pour symboliser les mesures.

Vidéo2Midi, cela fait déjà 2 ans que ce programmeur avance tout doucement dans son raisonnement et les résultats semblent être très encourageants.



Un autre développement est en cours https://github.com/alborrajo/sheetesia#readme sur la même idée d’analyser les images une à une au lieu de capter l’audio, mais pour l’instant pas plus d’informations.



Voilà où en sont mes observations pour l’instant. Ca bouge bien sur la toile. Tous les jours de nouvelles idées à qui piquera le plus de contenu en Midi des vidéos.



Du Mp3 à la partition, c’est encore pour l’instant un rêve qui un jour sera du domaine du possible. AudioScore, Widi et d’autres poursuivent leurs recherches pour passer du Mono au Poly et Multitimbral, avec tout un orchestre accompagnant un chanteur.

À lire également :

Tous les articles