La majeure partie de mon activité de recherche se situe dans le domaine de l'informatique musicale, et plus précisément en modélisation informatique du son musical.
La recherche fondamentale est constituée par la modélisation spectrale. Je m'intéresse notamment aux méthodes d'analyse précise basées sur la transformée de Fourier. J'ai proposé une nouvelle méthode basée sur les dérivées du signal sonore, qui a conduit à la démonstration de l'équivalence des méthodes basées sur la phase du spectre. J'ai également étudié la synthèse rapide: oscillateurs logiciels, modèle psychoacoustique, utilisation de méthodes non-linéaires, générateurs polynomiaux. Tout ceci s'est fait dans le cadre de la modélisation sinusoïdale, avec ses extensions aux cas non-stationnaire, hiérarchique, voire hybride – déterministe + stochastique.
Ces recherches se sont généralisées au travers de l'analyse de scènes auditives (audition par ordinateur), et la séparation de sources sonores en tirant parti par exemple de la structure harmonique ou de la localisation spatiale. Cette approche spatiale ("son 3D") perceptive a été très poussée, avec notamment la proposition d'un modèle simplifié d'HRTF (Head-Related Transfer Functions) utile pour la localisation comme la spatialisation, prenant en compte l'azimut, la distance et l'élévation de chaque source sonore. Ceci permet une boucle de rétroaction: un spatialisateur qui écoute le son produit et ajuste ses paramètres de spatialisation en fonction de l'erreur constatée.
Mais les résultats en séparation de sources se sont eux révélés insuffisants pour une exploitation musicale. Or il est possible d'augmenter la qualité des résultats en injectant de l'information. Je suis ainsi à l'origine d'un nouveau thème de recherche: la résolution informée de problèmes inverses, où une information partielle sur la solution permet de contrôler la qualité du résultat. L'informatique musicale est un domaine d'application privilégié, car cette information supplémentaire est accessible en collaborant avec les compositeurs. Ainsi, nous nous sommes attaqués à la séparation de sources sonores (dé-mixage), mais aussi à l'inversion des autres traitements de la chaîne de production: la "dé-composition musicale", ou rétro-ingénierie audio-numérique. Nous avons ainsi rendu possible l'écoute active de la musique fixée sur support, c'est-à-dire la possibilité pour l'auditeur de modifier la musique pendant sa diffusion (interaction), à la manière d'un chef d’orchestre ou d'un Disc Jockey. J'ai coordonné nationalement le projet DReaM sur ce sujet.
Je développe également une activité en informatique graphique, et plus précisément en analyse d'images archéologiques. J'ai notamment étudié une méthode de recalage d'images dans le domaine spectral (transformée de Fourier-Mellin), et son extension en 3D, en passant de l'image au modèle de l'objet par des techniques de photogrammétrie (de type "shape from shading"). Le projet IBISA est une application de ces techniques de vision par ordinateur à la reconnaissance d'objets archéologiques (et notamment des monnaies antiques, étant moi-même expert numismate).
J'ai aussi à coeur de faire le lien entre les deux domaines (son et image), comme le montre par exemple l'utilisation de techniques d'analyse d'images pour la localisation sonore (transformée de Fourier-Hough), ou le transfert des principes de la célèbre méthode Shazam du son à l'image.
Ma recherche est donc pluridisciplinaire, avec des aspects de traitement des sons (principalement) et des images, des représentations mathématiques et des considérations psycho-physiques. Mais mon approche reste avant tout celle d'un informaticien, préoccupé par les algorithmes, les structures de données et la complexité. Je m'intéresse ainsi à la modélisation informatique des sons et des images, notamment pour l'audition et la vision par ordinateur à des fins d'interaction, avec des applications respectivement en musique et en archéologie.