Un jeu de 171 questions, avec leurs réponses attendues, tirées de la recommandation de la SFAR sur l'antibioprophylaxie en chirurgie et médecine interventionnelle. Il a été présenté au congrès de la SFAR en 2026 et sert de point de départ au datathon.
Contenu
- 138 questions ouvertes, du type « quelle molécule pour telle intervention ? ».
- 33 questions à choix multiples.
- Pour chaque question, la réponse attendue d'après la recommandation.
Ce qu'il a déjà montré
Interrogés sans accès au texte de la recommandation, les grands modèles de langage se trompent environ une fois sur quatre. Leur fournir le bon contexte, par exemple par une recherche documentaire (RAG), réduit ce taux d'erreur.
À quoi sert ce jeu de données ?
- À évaluer n'importe quel système fondé sur un modèle de langage, seul ou couplé à une base documentaire.
- À servir de modèle pour les questions qui seront rédigées pendant le datathon sur les deux autres recommandations (infections intra-abdominales, anticoagulation).
Accès
Le corpus sera disponible, prêt à l'emploi, sur LibreDataHub pendant l'événement. Il ne contient aucune donnée de patient.
Le jeu de questions et le code qui l'exécute sont publics : github.com/tomboulier/antibioprophylaxie-LLM-benchmark
Points d'attention
Les réponses attendues suivent une version antérieure de la recommandation. Leur mise à jour vers la version de 2026, qui ajoute la pédiatrie et modifie les alternatives en cas d'allergie, fera également partie des objectifs du datathon.