Une plateforme d'évaluation automatique

Un jeu de questions ne suffit pas : il faut aussi un moyen simple de le soumettre à un système d'IA et de noter ses réponses. Faire noter les réponses par des expertes et experts ne peut se faire qu'une fois, et les faire noter par un autre modèle de langage coûte cher et n'est pas reproductible.

Ce que nous allons produire

Un outil qui envoie les questions du benchmark à un système fondé sur un modèle de langage, seul ou couplé à une base documentaire (RAG, MCP, etc.), puis qui note les réponses de façon automatique, reproductible et peu coûteuse.

Deux usages sont visés :

• une entreprise ou une équipe de recherche qui dit s'appuyer sur les recommandations de la SFAR peut passer le test et en publier le résultat ;
• les médecins peuvent faire une première évaluation de l'outil qu'elles/ils utilisent, sans rien installer.

Le point de départ est le code du benchmark antibioprophylaxie. Tout le code sera publié en open source, et repose sur des briques libres pour que les résultats restent comparables.

Qui peut contribuer ?

• Des scientifiques, développeur.euses web, ingénieur.es de la donnée, pour construire l'outil et y brancher différents systèmes.
• Des médecins, pour dire ce qu'est une bonne ou une mauvaise réponse et ce qu'elles/ils attendent d'un tel test.

Déroulé

• Jour 1 : définition des cas d'usage et des règles de notation, mise en place des outils sur LibreDataHub.
• Jour 2 : évaluation de plusieurs systèmes sur le jeu de questions, restitution collective.

Données utilisées

Les recommandations de la SFAR au format texte, le benchmark antibioprophylaxie existant et les questions rédigées pendant le datathon. Aucune donnée de patient.