Poniżej przedstawiamy sześć metod oceny realizacji SafeWards w Państwa oddziałach, szpitalach i ośrodkach. Żadna z nich nie jest idealna, każda ma wady i sprawia trudności pod jakimś względem. Można użyć więcej niż jednej z tych metod oceny, ale może to być uciążliwe i niepraktyczne w zależności od dostępnych Państwu środków.

Jeśli przeprowadzicie Państwo dokładną ocenę, serdecznie zachęcamy do jej publikacji, niezależnie od tego, czy wyniki będą pozytywne czy negatywne. Zbieranie dowodów jest dla nas wszystkich niezmiernie ważne, abyśmy mogli podejmować decyzje i działania w dalszej przyszłości.

Nieprzeprowadzanie oceny

Wiele, jeśli nie większość interwencji opartych na badaniach jest realizowanych bez prowadzenia dalszej oceny. Randomizowane, kontrolowane próby (RTC- Randomised Controlled Trial) zapewniają dowody dla zgodne ze „złotym standardem”. Na podstawie tych prób w psychiatrii wprowadzono zespoły wczesnego reagowania, kolzapinę, zespoły interwencji kryzysowych, itp. Po przeprowadzeniu badań, które zostały prawidłowo zrealizowane, zrecenzowane przez innych badaczy i opublikowane, dalsze zbieranie danych nie jest konieczne. SafeWards są efektywne. Jeśli zostaną wprowadzone, ogólne rezultaty będą podobne.

Zalety: Nie jest wymagana dodatkowa praca, nie ma formularzy do wypełniania, nie jest konieczna analiza danych ani sporządzanie raportów. Wszystkie wysiłki mogą być skoncentrowane na właściwej, klinicznej pracy z pacjentami i przeprowadzaniu interwencji w masowy ale i dokładny sposób.

Wady: Nie będzie żadnych informacji zwrotnych na temat postępu na jakimkolwiek poziomie, zarówno dla pracowników, jaki i zarządu jednostki. Jako że informacje zwrotne są często pożądane ze względu na motywację przy wdrażaniu interwencji, możliwości na entuzjastyczną realizację jak również przekonanie niezdecydowanej jeszcze części zespołu mogą być mniejsze.

Ilość oficjalnych raportów na temat incydentów

Należy ustalić okres czasu przed i po wprowadzeniu SafeWards. Te dwa okresy powinny trwać dokładnie tyle samo. Następnie należy porównać liczbę oficjalnych raportów na temat incydentów, aby sprawdzić czy ich ilość zmniejszyła się po zrealizowaniu SafeWards. Różne rodzaje zdarzeń (agresja, ucieczki, samookaleczenia, przyjmowanie alkoholu/narkotyków) można zebrać razem aby przy porównaniu określić ilość sytuacji konfliktowych. Podobnie różne typy zastosowanego przymusu (sedacja, przytrzymanie, izolacja, stała wzmożona obserwacja), mogą wspólnie określić ilość podjętych działań przed i po – jeśli istnieją wiarygodne informacje na temat tych wydarzeń.

W celu pozyskania istotnych danych ta ocena musi zostać przeprowadzona ze szczególną dbałości, ponieważ istnieją dwa główne problemy, które trzeba przezwyciężyć:

Stronniczość raportów i brakujące dane. Istnieją różne progi sporządzania raportów. W niektórych oddziałach incydenty są raportowane częściej, być może dlatego, że pracownicy chętniej zgłaszają, na przykład, sytuacje werbalnej przemocy, niż w innych miejscach. Z tego powodu sugerujemy branie pod uwagę w ocenie poważniejszych wydarzeń, które wymagają dokładniejszego i wiarygodniejszego opisania (przemoc fizyczna, niszczenie mienia, udana ucieczka nadzorowanego pacjenta, samookaleczenia), a wykluczenie tych mniej poważnych (odmowy przyjmowania leków, kradzieże, przemoc werbalną, próby ucieczki) Jeśli istnieją wiarygodne dane dotyczące izolacji i/lub przytrzymania mogą one być użyte w osobnej ocenie.

Rozróżnienie między przypadkową fluktuacją a faktycznym efektem interwencji SafeWards. Na szczęście konflikty i stosowanie przymusu, które są dostatecznie ważne, aby podlegać raportowaniu są stosunkowo rzadkie. Ich częstość również przypadkowo fluktuuje na jakimś poziomie. Oznacza to, że przy wyborze krótkiego okresu czasu i małej jednostki opieki, niektóre wzrosty i spadki w ilości występujących incydentów przed i po interwencjach SafeWards będą przypadkowe. Nie będą przedstawiać prawdziwego efektu. Dla lepszego zilustrowania tego przykładu, jeśli weźmiemy pod uwagę jeden oddział i okres jednego tygodnia przed i jednego tygodnia po realizacji interwencji SafeWards, możemy uzyskać wynik wystąpienia jednego incydentu w okresie przed oraz brak incydentów w okresie po. Zacznie bardziej prawdopodobne, że ten wynik jest dziełem przypadku niż realizacji interwencji SafeWards. Podobnie, brak incydentu w okresie przed i wystąpienie jednego w okresie po, nie oznaczałoby, że SafeWards nie działają. Wiele klinicznych audytów jest z tego powodu mylących i stanowią przykład na marnotrawienie wysiłków, jak również namnożą fałszywe konkluzje.

W celu przezwyciężenia tej trudności, dla oddziałów indywidualnych wymagany jest bardzo długi okres czasu zanim zostaną wyciągnięte jakiekolwiek wnioski. Zalecamy średni okres sześciu miesięcy a najlepiej jednego roku dla pojedynczego oddziału. To oznacza zebranie danych z okresu jednego roku przed realizacją SafeWards oraz dane z okresu jednego roku po ich wprowadzeniu. Lepszy obraz daje dokonanie analizy i wyciągnięcie wniosków na poziomie wielu oddziałów (na przykład całego szpitala lub ośrodka). Wtedy można użyć krótszych okresów czasu, być może trzech miesięcy przed i trzech miesięcy po realizacji interwencji. Jednakże jeśli analizuje się wyniki na poziomie szpitala, nie można zapewnić informacji zwrotnych na poziomie oddziału – w efekcie rezultaty poszczególnych oddziałów będą niewidoczne.

Wymagania dotyczące dokładnego okresu czasu zależą od podstawowej ilości konfliktów i stosowanego przymusu wobec pacjentów, my możemy jedynie radzić, aby poszukać wsparcia kogoś z doświadczeniem i wiedzą w zakresie statystyki, aby zalecił dokładny okres czasu, który jest wymagany do oceny w konkretnej jednostce opieki (oddział, szpital, ośrodek).

Ten projekt oceny może być ulepszony przez realizowanie SafeWards w jednym oddziale a w innym nie oraz porównywanie zmian w ilości konfliktów i stosowania przymusu w obu miejscach. Wtedy, jeśli w oddziale realizującym interwencje wskaźniki się zmniejszą, a w drugim nie, możliwe będzie wyciągnięcie wniosków dotyczących efektywności. Jednakże: (I) to wymaga większego doświadczenia w zakresie statystyki i konieczna będzie pomoc w podjęciu decyzji ile oddziałów będzie branych pod uwagę i przez jak długi okres czasu oraz (II) pacjenci nie biorący udziału w realizacji interwencji będą stratni i odniosą szkody, których można uniknąć. Taki model oceny prawdopodobnie wykroczy poza kliniczny audyt i będzie wymagać zgody komisji bioetycznej. O ile, oczywiście, ten projekt nie jest częścią planowanego kolejnego wprowadzania SafeWards do ośrodka.

Zalety: Nie wymaga dodatkowego zbierania danych, a w odniesieniu do wyżej wymienionych problemów z badaną grupą i wiarygodnością, ocena będzie umiarkowanie solidna. Dla wyników na poziomie szpitala jest to prawdopodobnie rozsądne rozwiązanie.

Wady: Wymagane jest planowanie i doradztwo z zakresu statystyki. Konieczna może być również pomoc w analizowaniu wyników i użyciu testów. Uzyskiwanie wyników dla oddziału wymaga długiego okresu czasu i przez to metoda może nie być satysfakcjonująca dla zapewnienia szybkich informacji zwrotnych w celu zagwarantowania entuzjazmu i zaangażowania.

Inne istniejące dane jako źródło wyników „przed i po”

Możliwe, że ośrodek gromadzi inne informacje w sposób statystyczny dla oddziałów. Na przykład, niektóre ośrodki okresowo powtarzają badania dotyczące satysfakcji pacjentów hospitalizowanych. Tych danych można użyć do analizy okresów przed i po realizacji interwencji.

Ponownie istotne są liczby. W celu wykonania obliczeń dotyczących ulepszeń na poszczególnych oddziałach wymagane są duże liczby. Dokładna ilość kwestionariuszy satysfakcji pacjentów w okresie przed i po zależy od właściwości statystycznych użytych kwestionariuszy. Absolutnym minimum to przynajmniej 30 kwestionariuszy wypełnionych w okresie przed, do porównaniu z przynajmniej 30 kwestionariuszami z okresu po realizacji interwencji. Sugerujemy konsultację w zakresie statystyki, aby ustalić dokładną liczbę wymaganych kwestionariuszy.

Tak jak z oficjalnymi raportami z incydentów, ta metoda będzie bardziej wiarygodna na poziomie ośrodka, z powodu ilości wypełnionych kwestionariuszy.

Zalety: Zbieranie dodatkowych danych nie jest konieczne.

Wady: Może być wymagana pomoc w zakresie statystyki i analizy danych. Każdy wniosek z wyników będzie nieprecyzyjny i będzie zależeć od tego jak zebrane już dane związane są z podstawowymi założeniami SafeWards, konfliktami i przymusem stosowanym wobec pacjentów. Niezależnie od wyników oceny nie będzie ona solidnym ani silnym dowodem.

Użycie istniejących oficjalnych raportów incydentów i czas pomiędzy nimi

Ta metoda wykorzystuje dane dotyczące oficjalnych raportów incydentów przed i po realizacji SafeWards, podobnie jak opisana wcześniej metoda. Jednak zamiast analizy częstości występowania incydentów w zdefiniowanych okresach, to czas (ilość dni) między zdarzeniami jest wynikową zmienną. Jeśli ilość dni między incydentami wydłuża się, to interwencje SafeWards przynoszą efekt.

Jest to metoda statystyczna nazywana „Statystyczną Kontrolą Procesu” i jest szeroko używana w przemyśle w procesie kontroli jakości. Ostatnio została wprowadzona również do standardów opieki zdrowotnej przez Institute od Healthcare Improvement (IHI) w Stanach Zjednoczonych i jest używany w procesie kontrolowania jakości opieki w przypadkach zakażeń MARS, wypadków chirurgicznych, itp. Użycie tej metody umożliwia stworzenie wykresów czasu dla poszczególnych oddziałów, które pozwolą pracownikom (lub służbom nadzorującym raporty incydentów) na śledzenie i dość szybkie określenie, czy zmiany na lepsze faktycznie zachodzą oraz da wskazówki, czy mają one znacznie statystyczne.

Tworzenie takich wykresów wymaga doświadczenia matematycznego. Wzory można znaleźć w książkach dotyczących statystycznej kontroli procesu, które można z łatwością znaleźć na stronach Amazon lub innych sklepów internetowych. Niektóre informacje są również dostępne na stronie internetowej IHI i w poniższej publikacji. Niestety z powodu praw autorskich nie możemy udostępnić jej fragmentu.

Benneyan, J. C., Llloyd, R. C. & Plsek, P. E. (2003) Statistical process control as a tool for research and healthcare improvement. Quality and Safety in Health Care 12: 458-464

Zalety: Wykresy dostarczają stosunkowo szybko informacje zwrotne dla oddziału, przez co mogą być bardzo pomocne w zwiększaniu motywacji do zmiany i nagradzania tych, którzy dołożyli wysiłku by realizować interwencje SafeWards.

Wady: Opiera się na założeniu, że przypadki konfliktu i stosowania przymusu w okresie „przed” zachodziły w stałych odstępach czasu. Jednakże jako że zmiany zachodzące na ostrych oddziałach psychiatrycznych i szpitalach dzieją się zawsze w odniesieniu do personelu i policji, a ich liczba jest związana z wynikami konfliktu i stosowania przymusu (patrz model SafeWards), to założenie nie jest do końca prawdziwe. W związku z tym jest wymagana jest pewna ostrożność w interpretacji tych wykresów. Wykresy są frustrująco skomplikowane do stworzenia, dlatego może być potrzebna pomoc lub szkolenie w ich sporządzaniu. Personel oddziału będzie potrzebować instrukcji, w jaki sposób wykresy będą uzupełniane i co oznaczają zmiany, jak podpowiada intuicja – unosząca się linia oznacza więcej dni pomiędzy zdarzeniami, to natomiast oznacza sukces.

Ocena przebiegu interwencji SafeWards

Jest to kolejna możliwość pośredniej oceny skutków interwencji SafeWards. Zamiast bezpośredniego pomiaru rezultatów pod względem występowania konfliktów i stosowania przymusu, w tej metodzie oceniany jest stopień realizacji interwencji w ramach SafeWards. Innymi słowy, podejmowana jest próba zmierzenia, jak pracownicy oddziału faktycznie wykonują interwencje. Jeśli istnieje dowód, że realizują je w pełni, można spodziewać się pozytywnych skutków. W przeciwnym razie, można założyć że efekty będą gorsze lub nawet nieistotne.

W trakcie badań wykorzystywaliśmy tę LISTĘ KONTROLNĄ. Można użyć dokładnie tej lub zaadaptować ją wedle uznania. Powyższa lista zawiera wszystkie elementy, które można uznać za dowód realizowania interwencji SafeWards. Można również wzbogacić ją o własne obserwacje. Lista kontrolna opiera się na założeniu, że realna ocena jest możliwa tylko, jeśli jest wypełniana przez pracownika spoza ocenianego oddziału. Oprócz tego, potrzebna jest osoba, która wprowadzi i zsumuje zdobyte informacje.

Zalety: Nie jest konieczna baza danych, ani informacji „przed”, ta ocena może zostać wprowadzona tuż po rozpoczęciu realizacji interwencji z zakresu SafeWards.

Wady: Jest to pomiar pośredni, nie wszystkie interwencje mogą zostać zaobserwowane i zapisane w ten sposób. Ktoś musi poświęcić czas na uzupełnianie list kontrolnych oraz wprowadzanie i sumowanie danych do raportów.

Dokładne opisywanie interwencji SafeWards w praktyce

Jest to kolejny wariant procesu pomiaru opisanego powyżej. Jednakże zamiast wprowadzania niezależnego obserwatora, który uzupełnia listę kontrolną widocznych oznak wdrożenia interwencji, ta metoda polega na ocenie jakościowej udanych realizacji interwencji w oddziale przez samych pracowników. Innymi słowy, jest to systematyczne i ustrukturyzowane zbieranie informacji zwrotnych od pracowników oddziału.

Pracownicy oddziału raz w tygodniu są proszeni o wypełnienie formularza opisującego użycie interwencji lub to, jak interwencje wpłynęły na ich praktykę. Są proszeni o podanie dokładnych przykładów, jak interwencje pomogły lub utrudniły im wykonywanie pracy. Formularze są zbierane i wpisywane (zalecamy aby były spisane ręcznie, biorąc pod uwagę szybkość pisania komputerowego większości pracowników, mogą też być pisane mailowo, jeśli nie stanowi to problemu logistycznego). Te informacje zwrotne są następnie zbierane i sumowane w comiesięcznym raporcie, który jest odsyłany z powrotem do oddziału oraz zarządu ośrodka.

Zalety: Nie jest wymagana baza danych, ani informacje „przed”, ten proces oceny może być rozpoczęty tuż po wprowadzeniu interwencji SafeWards. Ponieważ ocena jest jakościowa, może dać bardzo wiarygodną i przekonywującą relację działania interwencji oraz dostarczyć podstaw do jakichkolwiek niepokojów.

Wady: Opiera się na założeniu, że pracownicy oddziału mają czas na tworzenie informacji zwrotnych i robienie tego w bardzo szczegółowy sposób. Informacje mogą być stronnicze, gdyż bardziej entuzjastyczni i nastawieni pozytywnie pracownicy chętniej dzielą się pozytywnymi informacjami, podczas gdy negatywne zdarzenia i braki sukcesu są niechętnie raportowane. Konieczna jest jednostka do wprowadzania informacji, analizowania i tworzenia raportów.

Zbieranie dodatkowych danych dotyczących incydentów przy użyciu narzędzi badawczych

Istnieje wiele wiarygodnych i rzetelnych narzędzi do pomiaru konfliktów i stosowania przymusu. W trakcie badań nad Bezpiecznymi Oddziałami i wielu innych poprzednich badaniach, używaliśmy kwestionariusza PCC (Patient – Staff Conflict Checklist). Ta prosta lista kontrolna jest wypełniana na koniec każdej zmiany, zajmuje tylko kilka minut i określa ilość sytuacji konfliktowych i zastosowanego przymusu wobec pacjentów w ciągu jednego dyżuru. Szkolenie jest proste i polega jedynie na przeczytaniu INSTRUKCJI.

W celu użycia tej metody oceny, oddział musi zgromadzić za pomocą kwestionariusza PCC dane z trzech miesięcy przed rozpoczęciem realizacji interwencji, a następnie przynajmniej trzech miesięcy kiedy interwencje SafeWards były w zastosowaniu.

Współczynnik zwrotów PCC musi wynosić średnio 66% lub więcej w trakcie obu tych okresów czasu. Wtedy dane mogą zostać wprowadzone do komputera i przeanalizowane statystycznie, aby mogły pokazać jakiekolwiek zmiany.

Zalety: Użycie narzędzi badawczych czyni wyniki tego typu analizy znacznie bardziej wiarygodnymi i przekonywującymi.

Wady: Wymagane jest gromadzenie dodatkowych informacji, a pracownikom oddziału oddelegowywana jest dodatkowa ilość pracy i papierów do wypełnienia. Kiedy dane zostają zebrane, konieczne jest ich wprowadzenie, przeanalizowanie i przedstawienie wyników przez kogoś posiadającego wiedzę z zakresu statystyki. Bez porównania z innymi oddziałami nie stosującymi interwencji SafeWards jakakolwiek widoczna zmiana może wynikać z innych, lokalnych zmian zachodzących na przestrzeni czasu.