Un benchmark ouvert sur trois recommandations de la SFAR

De plus en plus d'outils d'intelligence artificielle affirment s'appuyer sur les recommandations de la SFAR. Pour vérifier qu'ils répondent bien ce que disent les textes, il faut un test standardisé, public et réutilisable. Un premier jeu de 171 questions existe sur l'antibioprophylaxie : il faut l'élargir.

Ce que nous allons produire

Un jeu de questions de référence sur trois recommandations :

• l'antibioprophylaxie en chirurgie et médecine interventionnelle ;
• la prise en charge thérapeutique des infections intra-abdominales de l'adulte ;
• la gestion des anticoagulants pour une procédure invasive programmée.

Les questions iront de la plus simple (« quelle molécule ? ») à la vignette clinique complexe. Chacune portera des informations complémentaires : sa difficulté, la gravité d'une erreur, le passage de la recommandation qui justifie la réponse.

Une partie du jeu restera cachée, pour que l'évaluation ne puisse pas être apprise par cœur par les modèles. Le reste sera publié en données ouvertes.

Le projet comprend aussi un outil simple de rédaction, pour que les clinicien.ne.s écrivent des questions sans manipuler de fichiers techniques.

Le point de départ est le benchmark antibioprophylaxie. Une réflexion sur le format du jeu de question/réponse peut être nécessaire, notamment sur la formalisation des métadonnées (au format json par exemple).

Qui peut contribuer ?

• Des médecins anesthésistes-réanimateur.rice.s, pour rédiger et relire les questions. Aucune compétence technique n'est demandée.
• Des scientifiques, développeur.euses web, ingénieur.es de la donnée, pour définir le format des questions et construire l'outil de rédaction.

Déroulé

• Jour 1 : rédaction des questions en petits groupes, un par recommandation.
• Jour 2 : relecture croisée, mise au format commun, premières évaluations.

Données utilisées

Les recommandations de la SFAR au format texte et le benchmark antibioprophylaxie existant. Aucune donnée de patient.