Kern
In deze stap wordt de indicator getest in de praktijk en wordt bepaald of de indicator voldoet aan de vooraf gestelde eisen. Op basis van deze testfase kan de indicator verder worden gespecificeerd en definitief worden gemaakt.
Stap 6: Testen indicator
In deze fase wordt de PROM omgezet naar een indicator, zodat de gemeten uitkomsten makkelijker geïnterpreteerd kunnen worden. De invulling van deze fase hangt sterk af van het gekozen doel, de doelgroep en de setting uit stap 1.
Omschrijving
Bij het testen van de indicator wordt in een kleine setting gekeken of de vooraf gestelde eisen voor vergelijkbaarheid e
n onderscheidend vermogen kloppen en haalbaar zijn. Als de uitkomsten van zorgverleners op een betrouwbare manier met elkaar vergeleken kunnen worden en of de gevonden verschillen relevant zijn.
Voor het vaststellen van relevante verschillen in uitkomsten, moet eerst onderzocht worden of verschillen tussen zorgverleners echt aanwezig zijn, of veroorzaakt worden door toeval. Dat wordt gedaan door middel van statistische toetsing (statistisch significant). Hiervoor zijn voldoende metingen nodig. Vuistregel is dat er minimaal 30 patiënten per instelling gemeten moeten zijn om een verschil te kunnen toetsen, waarbij 30 instellingen meedoen aan de metingen.
Indien er statistisch significante verschillen gevonden worden, betekent dat nog niet dat die verschillen ook relevant zijn. Als er heel veel metingen zijn gedaan kan een klein verschil al statistisch significant zijn, maar mogelijk nog niet relevant zijn voor de kwaliteit. Er is nog weinig kennis beschikbaar over wanneer verschillen tussen zorgverleners relevant zijn en dus iets zeggen over hun kwaliteit. Het testen van de indicator in de praktijk is dus belangrijk om die kennis op te bouwen en op basis daarvan de indicator definitief te maken. Op basis van het testen van de indicator in de praktijk kan deze verder worden gespecificeerd en definitief gemaakt. Bijvoorbeeld door een norm op te stellen op basis van de gevonden relevante verschillen in de praktijktest.
Als uit de test blijkt dat de indicator niet voldoet, kan overwogen worden om deze te herdefiniëren (stap 5), een andere PROM te selecteren (stap 3), een PROM door te ontwikkelen of een nieuwe PROM te ontwikkelen (stap 3).
Relevante tools
Relevante tools
-
CBO-handleiding Indicatorontwikkeling: hoewel niet specifiek gericht op de ontwikkeling van indicatoren op basis van PROMs, biedt deze handleiding een stappenplan en voorbeelden die hiervoor ook gebruikt kunnen worden.
-
Indicatortool: hoewel niet specifiek gericht op de ontwikkeling van indicatoren op basis van PROMs, biedt de Indicatortool methodologische criteria voor de ontwikkeling van betrouwbare kwaliteitsindicatoren in de zorg. De Indicatortool neemt partijen in de zorg mee in afwegingen en keuzes die gemaakt dienen te worden tijdens de ontwikkeling en verbetering van indicatoren.
-
Patiëntenfederatie Nederland handleiding patiëntparticipatie bij PROMs (pdf, 1.200 kB): geeft een beschrijving van de wijze waarop een concept indicator gedefinieerd kan worden en de rol van patiëntvertegenwoordigers en patiëntorganisaties in deze fase. Op pagina 22 van deze handleiding wordt beschreven hoe een indicator ontwikkeld wordt.
-
NIVEL / Zorginstituut Nederland handreiking voor het meten van kwaliteit van zorg met PROMs: biedt een overzicht van de criteria 'vergelijkbaarheid' en 'onderscheidend vermogen' en beschrijft welke eisen en aandachtspunten hieruit voortvloeien voor de opzet van de dataverzameling (stap 7). Hoofdstuk 6 van deze handreiking gaat over het definiëren van een indicator.
-
Wetenschappelijk artikel Framework and indicator testing protocol for developing and piloting quality indicators for the UK Quality and Outcomes Framework: dit artikel van Campbell en anderen beschrijft een framework voor het ontwikkelen en testen van indicatoren.
-
Wetenschappelijk artikel Clinical indicators: development and applications: dit artikel van Wollersheim en anderen beschrijft waar een goede indicator aan moet voldoen en bevat stappen voor de ontwikkeling en toepassing van indicatoren.
-
NIVEL / Zorginstituut Tool Analyses voor het vergelijken van patiëntervaringen tussen zorgaanbieders: deze tool biedt kennis over hoe data geanalyseerd kan worden om zorgaanbieders te vergelijken (doel c).