194 Impact of assessing organ transplant failure rates on individual team performance

Abstract

Listen

Translate article

<h3>Background and Objectives</h3> In 2005, the French Biomedicine Agency set up a programme in which graft failure rates of individual teams were compared to the national failure rate after adjusting for disease severity. Since 2006, annual results are regularly communicated to the teams and then published on the Agency Web site. The identity of the teams is made public. An analysis of the causes of failure has been performed with the teams with a failure rate that is significantly different from the national average, and the impact of this assessment on failure rate has been studied. Our objective is to present the results obtained 3 years after publication of the first set of results, with a focus on the teams which showed the greatest deviations. <h3>Programme</h3> We determined the failure rate at 1 year, adjusted to disease severity at the time of the graft using the Cox model. The team9s adjusted failure rate was compared to the national average in a funnel plot which provides a confidence interval around the national average according to the number of grafts performed. <h3>Results</h3> Analysis of the first results has shown that graft failure rate at 1 year has much decreased since 2007 in the teams with the highest adjusted failure rates whereas the national failure rate has remained stable. <h3>Discussion</h3> The Agency9s programme is not strictly speaking a quality improvement programme since it analyses outcomes only but its end purpose is the same. It is built on the audit principle. The first Agency assessment enables the teams to acquire an objective view of their indicator levels over a reference period. The teams then carry out a diagnostic self-assessment to pinpoint dysfunctional areas and implement corrective actions without any intervention from the Agency. Despite the problems the teams may face as a consequence of results being made public, it would seem that transparency is a high incentive for implementing corrective actions. <h3>Contexte et objectifs</h3> L9Agence de la biomédecine a mis en place en 2005 un programme d’évaluation des résultats des greffes d9organes par équipe de greffe qui consiste à comparer les taux d9échec de greffes des équipes au taux d9échec observé au niveau national, après ajustement sur la sévérité des malades. Chaque année, depuis 2006, les résultats sont communiqués aux équipes de greffe puis publiés sur le site de l9Agence avec l9identification des équipes. Un travail d9analyse complémentaire des causes d’échec a été réalisé avec les équipes ayant des taux d’échec significativement différents de la moyenne nationale. Dans un deuxième temps, l9impact de ce programme d’évaluation sur l’évolution des résultats des greffes dans les équipes a été étudié. L9objectif de ce travail est de présenter l’évolution des résultats des greffes 3 ans après la première publication des résultats, en particulier dans les équipes qui avaient des résultats significativement différents de la moyenne nationale, par rapport à l’évolution des résultats au niveau national. <h3>Programme</h3> La méthodologie consiste à estimer le taux d’échec à un an ajusté sur la sévérité des malades au moment de la greffe avec un modèle de Cox. Le taux ajusté des équipes est comparé à la moyenne nationale par la méthodologie du « funnel plot » qui permet de construire un intervalle de confiance autour de la moyenne nationale en fonction du nombre de greffes réalisées. <h3>Résultats</h3> L9analyse des premiers résultats montre que les taux d’échec de la greffe à un an ont beaucoup diminué, à partir de 2007, dans les équipes qui avaient les taux d’échec ajustés les plus élevés, alors que le taux d’échec est resté stable au niveau national. <h3>Discussion</h3> Bien que ce programme ne soit pas à proprement parler un programme d9amélioration de la qualité des soins, puisqu9il étudie les résultats, l9objectif est le même. Il est construit sur le principe des audits médicaux, où le premier bilan permet aux équipes d9objectiver le niveau des indicateurs sur la période de référence, une période d9analyse réalisée par les équipes elles-mêmes doit conduire au diagnostic des dysfonctionnements et à la mise en place des actions correctrices, sans intervention de l9Agence. Malgré les difficultés que peuvent rencontrer les équipes liées à la publication des résultats, il semble que la transparence soit malgré tout une forte incitation à mettre en place des actions correctrices.