Post-Doctorant Optimisation Bayésienne pour l'Élagage et le Fine-Tuning des Grands Modèles de Langage H/F - INRIA

A propos d'Inria

Inria est l'institut national de recherche dédié aux sciences et technologies du numérique. Il emploie 2600 personnes. Ses 215 équipes-projets agiles, en général communes avec des partenaires académiques, impliquent plus de 3900 scientifiques pour relever les défis du numérique, souvent à l'interface d'autres disciplines. L'institut fait appel à de nombreux talents dans plus d'une quarantaine de métiers différents. 900 personnels d'appui à la recherche et à l'innovation contribuent à faire émerger et grandir des projets scientifiques ou entrepreneuriaux qui impactent le monde. Inria travaille avec de nombreuses entreprises et a accompagné la création de plus de 200 start-up. L'institut s'eorce ainsi de répondre aux enjeux de la transformation numérique de la science, de la société et de l'économie.

Post-Doctorant F/H Optimisation bayésienne pour l'élagage et le fine-tuning des grands modèles de langage

Type de contrat : CDD

Niveau de diplôme exigé : Thèse ou équivalent

Autre diplôme apprécié : Phd or equivalent

Fonction : Post-Doctorant

Niveau d'expérience souhaité : Jeune diplômé

A propos du centre ou de la direction fonctionnelle

Créé en 2008, le centre Inria de l'Université de Lille emploie 360 personnes, dont 305 scientifiques répartis dans 16 équipes de recherche. Reconnu pour son implication forte dans le développement socio-économique de la région Hauts-De-France, le centre Inria de l'Université de Lille entretient des relations étroites avec les grandes entreprises et les PME. En favorisant les synergies entre les chercheurs et l'industrie, Inria contribue au transfert de compétences et d'expertise dans le domaine des technologies numériques, et donne accès au meilleur de la recherche européenne et internationale au profit de l'innovation et des entreprises, en particulier dans la région.

Depuis plus de 10 ans, le centre Inria de l'Université de Lille est au coeur de l'écosystème universitaire et scientifique lillois, ainsi qu'au coeur de la Frenchtech, avec un showroom technologique situé avenue de Bretagne à Lille, sur le site d'excellence économique EuraTechnologies dédié aux technologies de l'information et de la communication (TIC).

Contexte et atouts du poste

La montée en échelle rapide des grands modèles de langage (LLMs) a créé un goulot d'étranglement computationnel fondamental : l'élagage (pruning) et le fine-tuning nécessitent des optimisations sur des problèmes coûteux et de haute dimension. Les algorithmes d'optimisation existants peinent à explorer efficacement ces espaces de recherche.

Ce projet propose un nouveau paradigme : l'optimisation fractale, une stratégie de recherche multi-résolution et auto-similaire inspirée de la géométrie fractale, permettant une exploration structurée des espaces de paramètres à différentes échelles.

Mission confiée

Ce projet postdoctoral vise à :
- Développer des algorithmes d'optimisation bayésienne fractale à grande échelle
- Intégrer des dynamiques de recherche fractale dans l'optimisation bayésienne (BO)
- Développer des modèles de substitution fractals pour les fonctions d'acquisition
- Améliorer le compromis exploration-exploitation dans des problèmes BO de grande dimension

- Appliquer ces méthodes à l'élagage et au fine-tuning des LLMs
- Utiliser l'optimisation bayésienne fractale pour la parcimonisation structurée (pruning) des réseaux de transformeurs
- Optimiser des stratégies de fine-tuning efficaces en nombre de paramètres (par ex. adaptations de type LoRA)
- Réduire les coûts de calcul tout en préservant les performances sur les tâches aval

- Permettre une implémentation parallèle
- Adapter les algorithmes d'optimisation fractale à des architectures parallèles
- Concevoir des variantes asynchrones et efficaces en communication pour GPUs

Principales activités

L'approche combine développement théorique, conception algorithmique et ingénierie système :
- Noyau d'optimisation fractale : introduction d'opérateurs d'optimisation récursifs alternant entre exploration globale grossière et raffinement local fin, formant une hiérarchie fractale des étapes de recherche
- Extension bayésienne : intégration des dynamiques fractales dans des modèles de substitution (processus gaussiens ou ensembles profonds), permettant une optimisation multi-échelle tenant compte de l'incertitude
- Intégration aux LLMs : application aux architectures de transformeurs pour l'élagage structuré (têtes d'attention, blocs MLP) et le fine-tuning efficace en paramètres
- Déploiement parallèle : implémentation via des frameworks distribués (MPI + communication Kokkos), optimisée pour des systèmes parallèle avec synchronisation asynchrone des paramètres

Compétences

Compétences techniques et niveau requis : machine learning, IA, calcul parallèle, optimisation Bayésienne

Langues : anglais

Avantages

- Restauration subventionnée
- Transports publics remboursés partiellement
- Congés: 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)
- Possibilité de télétravail et aménagement du temps de travail
- Équipements professionnels à disposition (visioconférence, prêts de matériels informatiques, etc.)
- Prestations sociales, culturelles et sportives (Association de gestion des oeuvres sociales d'Inria)
- Accès à la formation professionnelle
- Sécurité sociale

Rémunération

Salaire brut mensuel: 2788 €