A project devoted to the digitization of music scores
Financé par l'Agence nationale de la recherche
Optical recognition of music scores
From score images ...
Digital music libraries offer access to scores in
image format, as shown for example by
this score by Camille Saint-Saëns found in Gallica.
... to editable scores
Optical character recognition will extract,
using AI-powered analysis methods, the
structure and content of this image. This
yields an interpreted object, the editable partition.
Our results
The project developed an innovative optical character recognition method, applied to scores provided by the BnF and the Royaumont Foundation.
Collaborative validation and correction
A difficult problem
As with all processes relying on artificial intelligence, the results must be validated. The elements highlighted in red below are faulty.
The collaborative phase
CollabScore has developed interfaces that submit "raw" results to a community of users for validation and correction.
Our results
Our results show a high quality of recognition on the processed corpora.
- We use the platform collaborative Callico of the company Teklia
- Connexion au site collaboratif (compte disponible sur demande)
Synchronizing multimedia sources
An editable score, why?
Having an editable partition allows for content-based interaction. Searches, comparisons, and analyses can be performed.
Sources synchronization
CollabScore has developed synchronization methods for sources to allow musical notation to be associated with text, audio or video sources.
Our results
Our methods allow for listening to the score with highlighting synchronized to the image, as well as synchronization with audio or video sources.
Partnership
Le Cnam
Le laboratoire Cédric du Conservatoire national des arts et métiers (Cnam) est concepteur et coordinateur du projet. Il intervient en recherche sur les méthodologies de crowdsourcing et comme maître d’œuvre pour la réalisation des composants logiciels.
La BnF
La bibliothèque numérique Gallica de la BnF contient d’importantes collections de partitions-image et gère l’environnement collaboratif, en lien avec le Cnam. Elle assure la communication auprès des communautés ciblées, le recrutement des volontaires, le suivi et l’animation de la campagne, l’évaluation des résultats
Univ. Rennes
L'équipe Shadoc de l’IRISA focalise sa thématique de recherche sur l’interprétation de documents numériques et l’interaction homme-document. Elle a créé et développé la méthode générique multi-résolution DMOS-PI pour la reconnaissance optique, incluant des mécanismes de vision perceptive et une formalisation des interactions utilisateurs.
Sorbonne Université/Irémus
L’IReMus est le laboratoire de musicologie de Sorbonne Université. L’IReMus collabore avec l’IRISA sur les aspects méthodologiques et musicologiques de la numérisation et contribue à la transcription, correction, et réconciliation des partitions en un encodage symbolique.
Royaumont
La la fondation Royaumont gère deux importantes bibliothèques musicales : la bibliothèque François Lang, constituée d’environ 3000 manuscrits et imprimés musicaux allant du XVe au XXe siècle et 5000 volumes, et la Médiathèque Musicale Mahler (Paris), centrée sur la fin du XIXe et le XXe siècle.
Univ. Lille/Algomus
L’équipe Algomus de l’Université de Lille (laboratoire CRIStAL) développe Dezrann, une plateforme libre pour écouter, étudier et annoter la musique sur le web, utilisée pour la recherche et la pédagogie. Dezrann est utilisé comme support pour les tâches de numérisation.