Un RAG sur les recommandations de la SFAR
Les recommandations de la SFAR constituent une source documentaire importante pour répondre aux questions médicales dans le domaine de l'anesthésie-réanimation.
Un système de RAG (Retrieval-Augmented Generation) doit être capable de retrouver les passages les plus pertinents, de prendre en compte le contexte d'une question et de fournir au modèle les bonnes informations au bon moment. La qualité du résultat dépend donc autant de la recherche documentaire que du modèle de langage qui génère la réponse.
Les documents de la SFAR disposent par ailleurs de métadonnées qui peuvent permettre d'améliorer cette recherche : thématique, date, type de document ou autres informations décrivant les recommandations. L'enjeu est de déterminer comment exploiter au mieux ces informations pour construire un RAG performant et reproductible.
Ce que nous allons produire
Un prototype de RAG spécialisé sur les recommandations de la SFAR, capable de retrouver les informations pertinentes dans le corpus documentaire et de les fournir à un modèle de langage pour répondre aux questions.
Nous chercherons notamment à expérimenter différentes stratégies :
- de découpage et d'indexation des documents ;
- d'utilisation des métadonnées pour filtrer ou orienter la recherche ;
- de recherche sémantique et éventuellement hybride ;
- de reranking des passages retrouvés ;
- de construction du contexte transmis au modèle de langage.
L'objectif est de construire un démonstrateur et comparer différentes approches sur un même jeu de questions.
Le code et les configurations nécessaires seront publiés en open source afin de rendre les expérimentations reproductibles et de permettre à d'autres équipes de réutiliser le travail.
Qui peut contribuer ?
- Des développeur.euses et ingénieur.es de la donnée, pour expérimenter différentes stratégies de RAG et pour construire le pipeline d'ingestion, d'indexation et de recherche et de reranking sur la plateforme LibreDataHub.
- Des médecins, pour construire ou valider les questions de test et évaluer la pertinence des documents retrouvés.
Déroulé
- Jour 1 : exploration du corpus SFAR et de ses métadonnées, définition des cas d'usage et mise en place d'un premier pipeline RAG.
- Jour 2 : expérimentation et comparaison de différentes stratégies de recherche, évaluation sur un jeu de questions et restitution collective.
Données utilisées
Les recommandations de la SFAR et leurs métadonnées, ainsi que des questions permettant d'évaluer la capacité du système à retrouver les informations pertinentes.
Aucune donnée de patient.