La DGFiP met en place une plateforme à l’échelle pour ses cas d’usages d’intelligence artificielle, notamment générative, dans le but de : •favoriser, centraliser & standardiser l’accès à ces technologies pour tous les agents de la DGFiP •faciliter les traitements de données nécessitant des modèles de machine learning, notamment des LLM •servir les applications & cas d’usages IA de la DGFiP Nous sommes à la recherche d'un ingénieur expérimenté pour renforcer notre équipe IA. Cette personne sera responsable de l'outil de pilotage de notre plateforme LLM /modèles de fondation, chargé de : - quantifier les performances et les optimisations des modèles LLM/modèles de fondation, - proposer un outils général afin de juger la qualité de ces modèles sur des cas d'usage internes, -mesurer les performances énergétiques et le débit (en termes de tokens) liés à la mise à l’échelle de nos modèles LLM/modèles de fondation. Au quotidien, elle travaillera en étroite collaboration avec les data scientists et les développeurs de la plateforme. Le candidat idéal possède une solide expérience technique dans l’utilisation d’infrastructures IA/ML et une bonne compréhension des défis liés au comparaisons des modèles IA, en particulier les LLMs/modèles de fondation. Missions et activités du MLOps / LLMOps : •Conception et mise en œuvre de benchmarks internes : Développer, maintenir et automatiser des outils de benchmark génériques pour évaluer les performances des modèles LLM/modèles de fondation sur des cas d'usage internes, en collaboration avec les équipes Data Scientists. •Déployer, surveiller, maintenir des LLM dans un environnement d’exploration pour les Data Scientists •Collaborer étroitement dans une équipe pluridisciplinaire avec des data scientists et machine learning engineer pour optimiser les performances des modèles •Assurer une intégration fluide des LLM/modèles de fondation dans diverses applications & services de la DGFiP •Mettre en œuvre des pratiques MLOps pour garantir la reproductibilité, la scalabilité et la maintenance des modèles • Mesurer, analyser et optimiser les performances énergétiques des modèles LLM /modèles de fondation, proposant des solutions pour réduire l'empreinte carbone tout en maintenant de hautes performances • Effectuer une veille régulière sur les dernières avancées technologiques liées aux LLM/modèles de fondation