🇫🇷 Français
🇬🇧 English

Thèse 2022-2025 – Approches de Traitement Automatique du Langage Naturel dans le domaine musical : adaptabilité, performance et limites

  • Thèse 2022-2025 en traitement automatique du langage naturel et en informatique musicale
  • Lieu: Lille (CRIStAL, CNRS, Inria, Université de Lille, à Villeneuve d’Ascq), avec l’équipe Magnet
  • Encadrants et contacts:
  • Candidatures ouvertes jusqu’au 30 mars 2022 (CV et lettre de motivation, par mail)
  • Annonce et liens: http://www.algomus.fr/jobs
  • L’équipe d’informatique musicale Algomus, du laboratoire CRIStAL (UMR CNRS 9189, Université de Lille), élabore des algorithmes pour assister l’analyse et à la composition de partitions musicales.
  • L’équipe Magnet (Inria, CRIStAL, Université de Lille) effectue des recherches dans le domaine de l’apprentissage automatique, notamment le Traitement Automatique du Langage Naturel (NLP).*

Contexte

Depuis une dizaine d’années, les réseaux de neurones profonds font l’objet de nombreuses recherches dans le domaine du traitement automatique du langage naturel (Natural Language Processing). Ces recherches ont de multiples applications allant de l’analyse de corpus à la génération automatique de contenu.

La nature temporelle de la musique encourage et facilite sa représentation sous la forme de séquences d’éléments à différentes échelles, généralement des accords ou des notes, comparables à des séquences de mots. Cette séquentialité, ainsi que l’assimilation courante de la musique à une sorte de langage, ont motivé l’utilisation d’outils originalement conçus pour des tâches de NLP pour le traitement automatique de données musicales (Music Information Retrieval) pour des tâches variées incluant l’analyse et la génération automatique de musique.

Objectifs

L’objectif central de cette thèse est d’évaluer l’adaptabilité, la performance et la pertinence de techniques de NLP lorsqu’elles sont appliquées sur des données musicales. On se concentrera en particulier sur l’application en musique de trois principes essentiels du NLP :

  • le principe d’attention mutuelle (self-attention)
  • la segmentation (tokenization)
  • l’apprentissage par transfert (transfert learning)

Ces principes seront étudiés à travers l’entraînement et l’évaluation de modèles musicaux inspirés par des modèles majeurs de NLP incluant l’auto-encodeur BERT ou le modèle auto-regressif GPT. Une réflexion sera menée sur les limites de l’application de modèles de langage naturel sur des données musicales, d’un point de vue technique comme d’un point de vue épistémologique, et sur les perspectives de modèles originaux spécifiquement adaptés à la modélisation de données musicales.

Profil recherché

  • Master d’informatique ou équivalent, apprentissage automatique, traitement automatique du langage naturel
  • Connaissances et pratique musicales souhaitées.

Références

  • [1] Vaswani, Ashish, et al. “Attention is all you need.” Advances in neural information processing systems. 2017.
  • [2] Huang, Cheng-Zhi Anna, et al. “Music transformer.”
  • [3] Devlin, Jacob, et al. “Bert: Pre-training of deep bidirectional transformers for language understanding.”
  • [4] Wang, Ziyu, and Gus Xia. “Musebert: pre-training of music representation for music understanding and controllable generation.”