Un projet de numérisation collaborative de partitions musicales
Financé par l'Agence nationale de la recherche
Reconnaissance optique de partitions numérisées
Des partitions images ...
Les bibliothèques patrimoniales proposent un accès aux partitions
sous forme d'image, comme le montre par exemple
cette partition de Camille Saint-Saëns accessible dans Gallica. 
... vers les partitions éditables
La reconnaissance optique va extraire, par des méthodes d'analyse
s'appuyant sur l'IA, la structure et le contenu de cette image. On
obtient un objet interprété, la partition éditable.
Nos résultats
Le projet a développé une méthode innovante de reconnaissance optique, appliquée à des partitions proposées par la BnF et la la fondation Royaumont
Correction collaborative des partitions
Un problème difficile
Comme tous les processus s'appuyant sur une intelligence artificielle, les résultats doivent être soumis à validation. Les éléments en rouge ci-dessous sont fautifs.
La phase collaborative
CollabScore a développé des interfaces qui soumettent les résulats "bruts" à une communauté d'utilisateurs pour validation et correction .
Nos résultats
Nos résultats montrent une qualité élevée de reconnaissance sur les corpus traités. Une évaluation à grande échelle est en préparation.
- Nous utilisons la plateforme collaborative Callico de la société Teklia
- Connexion au site collaboratif (compte disponible sur demande)
Ecoute synchronisée de sources multimodales
Une partition éditable, pourquoi?
Disposer d'une partition "éditable" permet de proposer une interaction basée sur le contenu. On peut effectuer des recherches, des comparaisons ou des analyses
Synchronisation de sources
CollabScore a mis au point des méthodes de synchronisation de sources pour permettant d'associer la notation musicale à des sources textuelles, audio ou vidéo.
Nos résultats
Nos méthodes permettent une écoute de la partition avec surlignage synchronisé sur l'image, ainsi que la synchronisation avec des sources audio ou vidéo
Partenaires
Le Cnam
Le laboratoire Cédric du Conservatoire national des arts et métiers (Cnam) est concepteur et coordinateur du projet. Il intervient en recherche sur les méthodologies de crowdsourcing et comme maître d’œuvre pour la réalisation des composants logiciels.
La BnF
La bibliothèque numérique Gallica de la BnF contient d’importantes collections de partitions-image et gère l’environnement collaboratif, en lien avec le Cnam. Elle assure la communication auprès des communautés ciblées, le recrutement des volontaires, le suivi et l’animation de la campagne, l’évaluation des résultats
Univ. Rennes
L'équipe Shadoc de l’IRISA focalise sa thématique de recherche sur l’interprétation de documents numériques et l’interaction homme-document. Elle a créé et développé la méthode générique multi-résolution DMOS-PI pour la reconnaissance optique, incluant des mécanismes de vision perceptive et une formalisation des interactions utilisateurs.
Sorbonne Université/Irémus
L’IReMus est le laboratoire de musicologie de Sorbonne Université. L’IReMus collabore avec l’IRISA sur les aspects méthodologiques et musicologiques de la numérisation et contribue à la transcription, correction, et réconciliation des partitions en un encodage symbolique.
Royaumont
La la fondation Royaumont gère deux importantes bibliothèques musicales : la bibliothèque François Lang, constituée d’environ 3000 manuscrits et imprimés musicaux allant du XVe au XXe siècle et 5000 volumes, et la Médiathèque Musicale Mahler (Paris), centrée sur la fin du XIXe et le XXe siècle.
Univ. Lille/Algomus
L’équipe Algomus de l’Université de Lille (laboratoire CRIStAL) développe Dezrann, une plateforme libre pour écouter, étudier et annoter la musique sur le web, utilisée pour la recherche et la pédagogie. Dezrann est utilisé comme support pour les tâches de numérisation.