Recherches

La majeure partie de mon activité de recherche se situe dans le domaine de l'informatique musicale, et plus précisément en modélisation informatique du son musical.

La recherche fondamentale est constituée par la modélisation spectrale. Je m'intéresse notamment aux méthodes d'analyse précise basées sur la transformée de Fourier. J'ai proposé une nouvelle méthode basée sur les dérivées du signal sonore, qui a conduit à la démonstration de l'équivalence des méthodes basées sur la phase du spectre. J'ai également étudié la synthèse rapide: oscillateurs logiciels, modèle psychoacoustique (Master de Mathieu Lagrange), utilisation de méthodes non-linéaires (Master de Matthias Robine), générateurs polynomiaux (thèse de Matthias Robine). Tout ceci s'est fait dans le cadre de la modélisation sinusoïdale (thèse de Mathieu Lagrange), avec ses extensions aux cas non-stationnaire, hiérarchique (thèse de Martin Raspaud), voire hybride – déterministe + stochastique (Master de Guillaume Meurisse).

Ces recherches se sont généralisées au travers de l'analyse de scènes auditives (audition par ordinateur), et la séparation de sources sonores en tirant parti par exemple de la structure harmonique (Master de Dominique Fourer) ou de la localisation spatiale. Cette approche spatiale ("son 3D") perceptive a été très poussée (thèse de Joan Mouba), avec notamment la proposition d'un modèle simplifié d'HRTF (Head-Related Transfer Functions) utile pour la localisation comme la spatialisation, prenant en compte l'azimut et la distance (et prochainement l'élévation) de chaque source sonore. Ceci permet une boucle de rétroaction: un spatialisateur qui écoute le son produit et ajuste ses paramètres de spatialisation en fonction de l'erreur constatée.

Mais les résultats en séparation de sources se sont eux révélés insuffisants pour une exploitation musicale. Or il est possible d'augmenter la qualité des résultats en injectant de l'information. Je suis ainsi à l'origine d'un nouveau thème de recherche: la résolution informée de problèmes inverses, où une information partielle sur la solution permet de contrôler la qualité du résultat (thèse de Dominique Fourer). L'informatique musicale est un domaine d'application privilégié, car cette information supplémentaire est accessible en collaborant avec les compositeurs. Ainsi, nous nous sommes attaqués à la séparation de sources sonores (dé-mixage), mais aussi à l'inversion des autres traitements de la chaîne de production: la "dé-composition musicale", ou rétro-ingénierie audio-numérique (thèse de Stanislaw Gorlow). Nous avons ainsi rendu possible l'écoute active de la musique fixée sur support, c'est-à-dire la possibilité pour l'auditeur de modifier la musique pendant sa diffusion (interaction), à la manière d'un chef d'orchestre ou d'un Disc Jockey. J'ai coordonné nationalement le projet DReaM sur ce sujet.

*son (application à la musique)

Je développe également une activité en informatique graphique, et plus précisément en analyse d'images archéologiques. J'étudie notamment une méthode de recalage d'images dans le domaine spectral (transformée de Fourier-Mellin), et son extension en 3D, en passant de l'image au modèle de l'objet par des techniques de photogrammétrie (de type "shape from shading"). Le projet IBISA est une application de ces techniques de vision par ordinateur à la reconnaissance d'objets archéologiques (et notamment des monnaies antiques, étant moi-même expert numismate).

*image (application à l'archéologie)

J'ai aussi à coeur de faire le lien entre les deux domaines (son et image), comme le montre par exemple l'utilisation de techniques d'analyse d'images pour la localisation sonore (transformée de Fourier-Hough).

*image + son

Ma recherche est donc pluridisciplinaire, avec des aspects de traitement des sons (principalement) et des images, des représentations mathématiques et des considérations psycho-physiques. Mais mon approche reste avant tout celle d'un informaticien, préoccupé par les algorithmes, les structures de données et la complexité. Je m'intéresse ainsi à la modélisation informatique des sons et des images, notamment pour l'audition et la vision par ordinateur à des fins d'interaction, avec des applications respectivement en musique et en archéologie.