Evaluatie methoden

Verlopen

Wij bespreken zes evaluatie methoden voor de implementatie van Safewards in unit, klinieken of instellingen. Geen van allen zijn helemaal perfect en allen kennen bepaalde lastige aspecten.  Het is mogelijk om meerdere evaluatie methoden te evalueren maar dit kan ook juist lastig of onpraktisch worden. Dit ook sterk afhankelijk van de beschikbare middelen.

Als een gedegen evaluatie wordt overwogen is het zeer de moeite waard om dit gepubliceerd te krijgen, ongeacht het feit of de resultaten positief of negatief zijn. Het is heel erg belangrijk dat we evidentie gaan stapelen als ondersteuning voor toekomstige besluiten en acties rond het Safewards gebruik.

Geen evaluatie

Veel, zoniet de meeste evidence based interventies worden geïmplementeerd zonder verdere evaluatie. Een RCT (Randomised Controlled Trial) geld als de gouden standaard voor wetenschappelijke bewijsvoering. Op basis van RCT resultaten zijn er in de psychiatrie vroege interventie teams, clozapine, crisis interventie teams en andere benaderingen geïmplementeerd. Indien het onderzoek gedegen is uitgevoerd, peer reviewed en gepubliceerd is dan is lokale dataverzameling voor het aantonen van evidentie in principe niet strikt noodzakelijk. Eerder onderzoek liet al zien dat Safewards werkt. Als units dit implementeren zullen zij waarschijnlijk vergelijkbare resultaten laten zien.

Het voordeel van de deze benadering kan zijn: geen extra werk, geen formulieren om in te vullen, geen data analyse nodig. Alle inspanningen kunnen worden gericht op het actuele klinische werk met patiënten om Safewards op grote schaal op een gedegen manier uit te voeren.

Zwakte van deze benadering: er zal geen feedback opties kunnen worden benut om de voortgang van het implementatie proces te kunnen evalueren, niet op team, ziekenhuis of instelling niveau.Aangezien feedback is vaak nodig om anderen te motiveren in het implementatie proces kan het ontbreken hiervan het enthousiasme temperen en zullen ambivalente collega’s minder snel te betrekken zijn in het proces.

Benutten bestaande officiële incident rapporten.

Probeer bijvoorbeeld een evaluatie periode vast te stellen en de een evaluatie periode na de implementatie van het Safewards, deze twee perioden moeten even lang duren. Kijk vervolgens naar het aantal officiële incident melding in de twee perioden en check of de incidenten omlaag zijn gegaan na de Safewards implementatie. Het ordenen van diverse conflict situatie (agressie, ongeoorloofd vertrek, zelfbeschadiging en drug en alcohol intoxicatie) kunnen nuttig zijn voor vergelijkingen. Dit geld ook voor ordenen van de verschillende typen dwang (nood medicatie, fysieke holding, separatie, verscherpte observatie). Deze kunnen worden meegenomen om de dwangcijfers te vergelijken voor en na de start van Safewards. Een voorwaarde is wel dat in beide perioden betrouwbare gegevens beschikbaar zijn.

Om dit alles op een betekenisvolle manier uit te voeren is aandacht voor de volgende twee aspecten.

Rapportage van mogelijke bias en missende gegevens:

Hulpverleners hanteren vaak  verschillende drempels die om een officiële incident melding te doen. Bijvoorbeeld sommige units zijn meer geneigd om verbale agressie te melden en andere units minder. Daarom adviseren wij om vooral de ernstige incidenten (fysieke agressie, aanval op voorwerpen, ongeoorloofde afwezigheid en zelfbeschadiging). Als er betrouwbare dwang registraties beschikbaar zijn dan kunnen deze ook worden betrokken in de analyse.

Onderscheid toevallige fluctuatie en reële effecten van Safewards interventies

Gelukkig zijn er tal van conflict situaties en drang benaderingen die niet dermate ernstig zijn dat ze officieel worden gemeld. De frequentie van dit soort zaken kunnen bovendien fluctueren. Dit kan betekenen dat in een korte periode binnen een kleine setting sommige stijgingen van incident cijfers voor en na de Safewards interventies toevallig kunnen zijn en zijn hierdoor niet representatief voor het echte effect. Om een extreem voorbeeld te nemen: als men één unit neemt in één week voor en één week na de interventies dan is het mogelijk dat we slechts één incident hebben voor en géén enkele na de interventie. Dan is het meer aannemelijk dat het hier een normale risico kans betreft dan het effect van Safewards. Net zoals er géén incident gebeurd voor en wel één na de interventie dan zou men kunnen zeggen dat Safewards niet werkt. Er zijn nogal veel klinische evaluaties die in dit opzicht misleidend zijn, het is in feite een verspilling van energie en kan makkelijke leiden tot verkeerde conclusies.

Om dit soort problemen te voorkomen is het voor units apart van belang dat er aanzienlijke lange periode data wordt verzameld voordat er enige conclusies kunnen worden getrokken. Ons advies is om minstens zes maanden tot een jaar voor en na Safewards te gebruiken als onderzoeksperiode. Er kan een betrouwbaarder beeld ontstaan als de analyse kan worden gedaan over meerdere units (bijvoorbeeld een hele kliniek of de gehele instelling). Op deze wijze kan misschien drie maanden voor en drie maanden na de interventies worden overwogen als onderzoeksperiode. We moeten ons wel realiseren dat indien de gegevens van de instelling worden geïncludeerd in de analyse dat het dan ook lastiger wordt om gerichte data feedback te geven aan aparte units, het effect op één bepaalde unit kan namelijk dan relatief onzichtbaar blijven. De exacte benodigde onderzoekperiode hangt af van de in de baseline periode verzamelde data van incident meldingen en dwang registraties. We adviseren in dit opzicht om steun te zoeken van iemand met statistische expertise en advies in te winnen over precieze onderzoeksperiode die nodig is op bepaald niveau (unit, kliniek of de hele instelling).

Een onderzoeksopzet kan nog sterker worden door Safewards op sommige units wél en niet te implementeren en de veranderingen in incident meldingen en dwangtoepassing cijfers te vergelijken tussen de twee groepen vergelijkbare units. Als de cijfers omlaag gaan in de Safewards units en niet in de controle units dan is er een groter bewijs van effectiviteit van de interventies. Echter deze benadering vraagt om complexere statistische kennis en hiervoor is wel assistentie van een expert nodig om te bepalen hoeveel units moeten gaan deelnemen in het onderzoek, gedurende welke onderzoeksperiode, dat er geen andere interventies aanwezig zijn die de resultaten vertekenen en andere schadelijke aspecten die hadden kunnen worden voorkomen. Dit soort onderzoek gaat mogelijk het niveau van interne klinische audits overstijgen en zal in veel gevallen zal er dan een onderzoeksvoorstel moeten worden voorgelegd aan een medisch ethische toetsing commissie.

Dit kan anders zijn als dit onderzoeksdesign een planmatig en integraal onderdeel uitmaakt van het instelling breed uitrollen van Safewards als een routine benadering op de units. 

Kracht van deze benadering: geen extra dataverzameling noodzakelijk, indien wordt voldaan aan de betrouwbaarheid eisen en de methodologische overwegingen die hierboven zijn benoemd in acht worden genomen is dit een tamelijk robuuste evaluatie. Vooral voor een instelling brede evaluatie is dit een redelijke optie.

Zwakte van deze benadering: er is statistische expertise nodig, zowel in de voorbereiding als bij de keuze van de statistische tests die nodig zijn om de uitkomsten te analyseren. Het genereren van uitkomst op unit niveau behoeft een lange onderzoeksperiode en heeft als nadeel dat snelle feedback over de resultaten niet mogelijk is, dit kan ten koste gaan van de inzet en motivatie van het team op de unit.

Andere bestaande data bronnen op basis van voor- en nameting

Het is mogelijk dat de instelling routinematig andere informatie verzameld over de units. Bijvoorbeeld sommige instellingen verzamelen herhaaldelijk patiënt tevredenheid vragenlijst. Het is mogelijk om deze voor en na- de interventies te analyseren. Ook hier zijn de grote aantallen belangrijk voor gevolgtrekking over mogelijke verbeteringen na implementatie. In dit opzichte is het exacte aantal patiënt tevredenheid vraaglijsten voor- en na de interventie afhankelijk van statistische eigenschappen van deze vragenlijst. Een vuistregel hier is dat er minimaal 30 vragenlijsten voor en na interventie nodig zijn om zinvol te kunnen vergelijken. Wij raden aan om voor het krijgen van een precies idee over het aantal vragenlijsten advies te vragen aan een statistische expert.

Ditzelfde geld voor officiële incident meldingen, het verzamelen van dit soort gegevens is krachtiger als dit op een instelling brede manier wordt gedaan door de hoger aantallen meldingen die kunnen worden getoetst.

Kracht van deze benadering: geen extra dataverzameling nodig.

Zwakte van deze benadering: statistisch advies noodzakelijk over de steekproefomvang. Sommige beschikbare uitkomsten zullen minder bruikbaar zijn, dit hangt af hoe dicht deze zijn bij de primaire Safewards uitkomsten: escalaties en dwang. In dat geval zullen de uitkomsten als minder sterk en robuust worden gezien.

Gebruiken bestaande officiële incident meldingen in een tijd reeks

De methode van dataverzameling zoals hierboven beschreven kan ook worden gebruikt via officiële incident meldingen. In plaats van alléén de frequentie van de incidenten voor-en na de interventie te analyseren kan ook tijd tussen de incidenten (aantal dagen) een uitkomst variabele zijn. Als het aantal dagen tussen incidenten steeds groter wordt na de Safewards implementatie kan dit betekenen dat de interventies werken.

Deze methode is afkomstig van het mathematische model “Statistical Process Control” en wordt wijdverspreid gebruikt in de industrie voor kwaliteit controle proces evaluatie. Recentelijk heeft deze methode ook intrede gemaakt in gezondheidszorg instellingen zoals in de USA binnen het “Institute of Healthcare Improvement”. Het wordt ook gebruikt in kwaliteit bewaking processen rond MRSA bestrijding, chirurgische calamiteiten etc. Deze methode maakt het mogelijk om T-toetsen te construeren van de tijd en de gegevens van een unit, dit kan staffunctionarissen helpen bij het redelijk snel incidenten in kaart te brengen en een indicatie te geven of behaalde verbeteringen gaande zijn of niet. Het kan ook een indicatie geven of deze verbeteringen ook statistisch significant zijn.

Het creëren van dit soort overzichten vraagt om redelijk veel statistische expertise. De formules hiervoor kunnen worden gevonden in het handboek “Statistical Process Control’ die redelijk eenvoudig via een of andere equivalent te vinden is. Bepaalde informatie zou ook beschikbaar kunnen zijn op de IHI website en in het hieronder vermelde artikel. Helaas kunnen we wegens copyright redenen geen kopieën van het handboek beschikbaar maken.

Benneyan, J. C., Llloyd, R. C. & Plsek, P. E. (2003) Statistical process control as a tool for research and healthcare improvement. Quality and Safety in Health Care 12: 458-464 Kracht van deze benadering: deze overzichten maken relatief snel feedback naar units mogelijk en zijn om deze reden nuttig om de verander motivatie hoog te houden en vooral de units te erkennen in hun pogingen om de Safewards interventies te implementeren.

Zwakte van deze benadering: bij deze aanpak staat min of meer de assumptie centraal dat escalatie incidenten en dwang voor de implementatie een constant evenredig zijn. Echter snelle veranderingen zijn nu eenmaal inherent in acute opname units en ook in termen van lokale beleidsveranderingen en protocollen en dat deze zaken vaak een link hebben naar dwangcijfers. (zie ook de Safewards model beschrijving), dit soort assumpties kunnen soms discutabel zijn. Daarom is voorzichtigheid geboden bij het interpreteren van de deze overzichten. Deze overzichten zijn soms frustrerend gecompliceerd om te construeren en vragen om training en assistentie. Hulpverleners op de unit hebben ook instructies nodig om te werken met deze overzichten en deze in te vullen en moeten inzicht gaan krijgen wat veranderingen betekenen. Geheel tegen de intuïtie van de meeste hulpverleners zien we bij dit soort charts dat de stijgende lijn in dagen tussen de incidenten betekend dat er meer dagen zitten tussen de incidenten en daarom dus succes representeren.

Safewards interventie proces metingen

Dit is een andere manier om indirect de uitkomsten van de Safewards interventies te objectiveren. In plaats van het direct meten van de uitkomsten in termen van escalaties en dwang wordt bij deze methode de graad van implementatie geobjectiveerd. Met andere woorden, er wordt vooral getracht om te meten hoeveel de hulpverleners op de units doen met de 10 Safewards interventies. Als er bewijs is dat veel doen ermee dan zou men kunnen aannemen dat dit een gunstige uitkomst is.

Gedurende ons onderzoek hebben we gebruik gemaakt van de “Organisation Fidelity Checklist”, men kan overwegen om deze ook te gebruiken. De checklist includeert ook alle zaken die kunnen worden gezien als bewijs voor het gebruik van de Safewards interventies. Deze aspecten kunnen ook worden aangevuld met eigen items (ideeën). Het gebruik van deze checklist kan alléén echt werken als een neutraal persoon van buiten de unit deze lijst op regelmatig afneemt. In het verlengde hiervan is er iemand nodig die de gegevens in een database kan invoeren en de gegevens ook kan samenvatten.

Sterkte van deze benadering: geen baseline of voormeting data nodig, deze proces metingen kunnen direct beginnen als de unit start met de Safewards interventies. Zwakte van deze benadering:dit is een nogal indirecte meting, bovendien kunnen niet alle Safewards interventies op dezelfde manier systematisch bekeken worden. Er zal dan iemand moeten beschikbaar moeten zijn die veel tijd beschikbaar heeft om regelmatig checklists in te vullen, dit in te voeren in een dataset, het vervolgens samenvatten en dit regelmatig terugrapporteren.

Zorgvuldige beschrijving van de Safewards interventies in de praktijk:

Dit is andere variant van evaluatie dan de proces metingen zoals hierboven beschreven. Echter in plaats van onafhankelijke onderzoeker op de unit die een checklist afneemt rond zichtbare evidentie van Safewards implementatie aspecten zal de onderzoeker hier afhankelijk zijn van kwalitatieve informatie over het succesvolle gebruik van de Safewards interventies. Met andere woorden dit is een gestructureerde en systematische dataverzameling van feedback van de hulpverleners op de unit. Zij worden gevraagd om eens per week het gebruik van hun interventies te beschrijven op een formulier. Hierbij worden ze gevraagd om specifieke voorbeelden te geven en hoe de interventies hen hielp of mogelijk juist hinderde. Deze reacties worden centraal verzameld en deze later uit te typen (we raden aan om geschreven commentaren later uit te typen, echter e-mail gebruik is voor sommigen ook een prima optie). De verzamelde feedback wordt centraal samengevat in een maandelijks rapport en teruggekoppeld naar de units en andere relevante groepen in de instelling. Sterkte van deze benadering: geen baseline data nodig. Het onderzoeksproces kan direct bij de start van Safewards beginnen. Aangezien de data kwalitatief is van aard kan het krachtig en overtuigend inzicht geven in de Safewards interventies in actie en het kan ook snel aanwijzingen vinden voor zorgelijk aspecten hiervan.

Zwakte van deze benadering: het is sterk afhankelijk van de tijd die hulpverleners hebben om de feedback te verstrekken en dit voldoende detailleert te doen. Er is bovendien kans op bias in de feedback, hulpverleners die positief en enthousiast zijn over Safewards en meer genegen zijn tot het geven van feedback, terwijl negatieve aspecten of het uitblijven van succes mogelijk minder snel worden gerapporteerd. Verder zijn er overkoepelde middelen nodig voor het typen, analyseren en rapporteren van de bevindingen.

Verzamelen van extra incident data met instrumenten

Er zijn een aantal betrouwbare en valide onderzoekinstrumenten beschikbaar om escalatie incidenten en dwangtoepassingen te objectiveren.Gedurende de Safewards RCT en meerdere andere studies hebben wij de PCC (Patient-Staff Conflict Checklist). Deze simpele checklist wordt aan het einde van de dienst ingevuld. De training is simpel en kan gedaan worden door het grondig lezen van het PCC handboek.

Voor een zinvolle evaluatie op een unit is een periode van drie maanden dataverzameling met de PCC voor de Safewards start en drie maanden erna nodig.

Het PCC invul-percentage moet minimaal 66% zijn of meer gedurende beide perioden. De verzamelde PCC data moet dan worden ingevoerd in de computer en statistisch worden geanalyseerd om veranderingen te identificeren.

Kracht van deze benadering: het gebruik van een onderzoeksinstrument maken de resultaten van dit soort analysen veel plausibeler en overtuigend.

Zwakte van deze benadering: er is extra dataverzameling nodig, meer papierwerk dat weerstand kan oproepen bij hulpverleners. Zodra de data is verzameld moet dit worden ingevoerd in een computer en iemand met statistische expertise is dan nodig om de analyse te doen en de resultaten weer te geven. Zonder vergelijking met andere units die niet de Safewards interventies gebruiken kan betekenen dat veranderingen mogelijk ook debet zijn aan lokale veranderingen door de tijd heen.