Przeznaczenie i ograniczenia produktu

Niniejszy dokument precyzuje ramy operacyjne, przeznaczenie oraz ograniczenia oprogramowania Emothy. Został opracowany na podstawie założeń projektowych systemu, wymagań prawnych (RODO, AI Act) oraz koncepcji Embedded Ethics w obszarze medycznej sztucznej inteligencji.

  1. Przeznaczenie systemu (Intended Use) Emothy to zaawansowane oprogramowanie analityczne, którego głównym przeznaczeniem jest automatyzacja procesu tworzenia dokumentacji klinicznej dla specjalistów zdrowia psychicznego. System realizuje to poprzez:
  2. Użytkownicy systemu (Intended Users) System został zaprojektowany z myślą o specjalistach zdrowia psychicznego. Profesjonalistach posiadających odpowiednie kwalifikacje. Do docelowych użytkowników należą:
  3. Grupa docelowa (Pacjenci) Narzędzie służy do analizy sesji prowadzonych z szeroką grupą pacjentów: Przekrój wiekowy i stan psychiczny: System analizuje sesje zarówno z dorosłymi, jak i z dziećmi, niezależnie od poziomu nasilenia ich problemów czy stanu psychicznego. Decyzyjność ekspercka: Emothy nie ocenia zdolności pacjenta do udziału w terapii. Wyłączna ocena stanu pacjenta – w tym podjęcie decyzji o kontynuowaniu psychoterapii, skierowaniu do psychiatry lub skierowaniu do szpitala psychiatrycznego (np. na oddział zamknięty) – spoczywa na wykwalifikowanym specjaliście (użytkowniku systemu).
  4. Przeciwwskazania i ograniczenia techniczne Ze względu na specyfikę technologii AI oraz obecny etap regulacyjny, system posiada następujące ograniczenia: Status regulacyjny (Brak certyfikacji MDR): Na obecnym etapie rozwoju Emothy nie jest wyrobem medycznym w rozumieniu dyrektyw lub rozporządzeń (MDR). Pełni wyłącznie rolę oprogramowania analityczno-administracyjnego, choć docelowo jego rozwój zmierza w stronę certyfikacji medycznej. Podatność na błędy (Halucynacje AI): Zastosowane modele sztucznej inteligencji mogą niekiedy generować wyniki nieścisłe, pomijać niuanse emocjonalne lub tworzyć tzw. „halucynacje” (informacje niezgodne z rzeczywistym przebiegiem nagrania). Jakość danych wejściowych: Skuteczność transkrypcji i analizy jest ściśle uzależniona od jakości dźwięku wgranego pliku (szumy tła, nakładanie się głosów). Brak interwencji w sytuacjach kryzysowych: System nie służy do monitorowania w czasie rzeczywistym pacjentów w stanie zagrożenia życia ani do zarządzania kryzysowego.
  5. Zakres odpowiedzialności użytkownika Podejście Embedded Ethics nakłada na użytkowników systemu konkretne obowiązki. Korzystanie z Aplikacji nie zdejmuje ze specjalisty odpowiedzialności zawodowej: Bezwzględna weryfikacja: Użytkownik jest zobowiązany do weryfikacji i autoryzacji każdego wygenerowanego transkryptu oraz notatki przed włączeniem ich do dokumentacji medycznej pacjenta. Autonomia decyzyjna: Ostateczne decyzje diagnostyczne, planowanie leczenia i interwencje terapeutyczne należą wyłącznie do człowieka. Niedopuszczalne jest bezkrytyczne poleganie na wynikach AI (tzw. automation bias). Prywatność i zgoda: Obowiązkiem użytkownika jest uzyskanie od pacjenta świadomej zgody na nagrywanie sesji oraz poinformowanie go o fakcie wykorzystania narzędzi sztucznej inteligencji do analizy danych (transparentność wymagana przez RODO i AI Act).
  6. Wyraźne zastrzeżenia (Czego system NIE robi) Funkcja Status w Emothy Diagnozowanie pacjenta System NIE stawia diagnoz medycznych ani psychiatrycznych. Nie kwalifikuje do leczenia. Zastępstwo terapeuty System NIE prowadzi terapii, NIE udziela porad ani NIE zastępuje relacji terapeutycznej. Sugerowanie farmakoterapii System NIE analizuje wskazań do stosowania leków ani NIE generuje recept. Wykorzystanie danych pacjentów do trenowania AI System NIE wykorzystuje treści pacjentów (transkryptów, audio) do trenowania ogólnych modeli językowych dostawców zewnętrznych.

Czytaj więcej: emothy.eu