V novém příspěvku na svém blogu kalifornská firma OpenAI hovoří o tom, že „přibližně 0,15 % uživatelů aktivních v daném týdnu vede konverzace, které obsahují explicitní náznaky potenciálního sebevražedného plánu nebo úmyslu“. Vzhledem k tomu, že nedávno firma oznámila, že ji týdně využívá asi 800 milionů uživatelů, pak je to více než milion uživatelů, kteří se ChatGPT svěřují se sebevražednými myšlenkami.
Firma dále uvedla, že registruje také 0,05 % zpráv obsahující explicitní nebo implicitní náznaky sebevražedných myšlenek nebo úmyslů.
Tyto informace společnost uvádí proto, že připravila úpravu chování svého chatbota při citlivých rozhovorech. „Spolupracovali jsme s více než 170 odborníky na duševní zdraví, abychom pomohli ChatGPT spolehlivěji rozpoznávat známky úzkosti, reagovat s citem a nasměrovat lidi k reálné pomoci,“ uvádí firma na svém blogu. Podle ní se jí tím podařilo o 65 až 80 % snížit počet odpovědí, které neodpovídali chování, které OpenAI vyžaduje. Firma tak reaguje na požadavky o větší zodpovědnosti za chování chatbota.
V tak velkém množství uživatelů se statisticky vždy najdou lidé, kteří mají nějaké psychické problémy. Podle firmy zhruba 0,07 procenta týdenních uživatelů vykazuje známky duševních onemocnění, včetně psychotických či manických stavů typických pro bipolární poruchu.
Reakce přichází poté, co rodina z Kalifornie zažalovala společnost OpenAI kvůli smrti svého šestnáctiletého syna Adama Rainea. Tvrdí, že chatbot ChatGPT podpořil jeho sebevražedné myšlenky a dokonce mu poskytl podrobnosti o způsobech, jak si vzít život.
Tragédie v Kalifornii. Rodina viní umělou inteligenci ze smrti syna |
Firma na to reagovala tím, že ChatGPT je navržen tak, aby uživatele směřoval k vyhledání odborné pomoci, například prostřednictvím krizové linky 988 ve Spojených státech. Zároveň uznala, že nastaly chvíle, kdy jejich systémy v citlivých situacích nereagovaly tak, jak bylo zamýšleno.
Postupně přidala zpřísnění zásad používání svých služeb, odkazy na kontaktní linky pomoci pro uživatele, kteří vyhledávají informace o sebevraždě a do aplikace ChatGPT také přibyla rodičovská kontrola.
Nejen OpenAI nyní také vyšetřuje americká Federální obchodní komise (FTC) v rámci zkoumání toho, jak společnosti, které vytvářejí chatboty měří, testují a monitorují potenciálně negativní dopady této technologie na děti a dospívající.
„Vyšetřování FTC se snaží zjistit, jaké kroky případně podnikly společnosti k posouzení bezpečnosti svých chatbotů fungujících jako společníci, aby omezily používání produktů dětmi a teenagery a tím pádem i potenciální negativní účinky na ně. A jaké kroky uskutečnily k informování uživatelů a rodičů o rizicích spojených s těmito produkty,“ popisuje šetření FTC.
Obecně se stále více hovoří o tom, že chatboti pohánění umělou inteligencí mohou zhoršovat duševní zdraví a narušovat mezilidské vztahy. Občas také mohou částečně nahrazovat vztahy mezi lidmi a omezovat pocit osamělosti i tam, kde to není žádoucí. Je to dáno i tím, že trénink velkých jazykových modelů se odráží ve schopnosti reagovat na emoce a komunikovat s lidmi podle toho.
