V pátek spoluzakladatel Koko Rob Morris oznámil v Twitter, že jeho společnost provedla experiment s cílem poskytnout poradenství v oblasti duševního zdraví psané umělou inteligencí 4 XNUMX lidem bez předchozího upozornění, uvádí The Verge. Kritici označili experiment za hluboce neetický, protože Koko nezískala informovaný souhlas od lidí, kteří o radu požádali. Koko je nezisková platforma pro duševní zdraví, která spojuje dospívající a dospělé, kteří potřebují péči o duševní zdraví, s dobrovolníky prostřednictvím aplikací pro zasílání zpráv, jako je např. Telegram a Discord.
Na Discordu se uživatelé přihlašují na server Koko Cares a posílají přímé zprávy robotovi Koko, který klade řadu otázek s možností výběru (např. „Jaká je vaše nejtemnější myšlenka, kterou o tom máte?“). Poté anonymně sdílí obavy dané osoby zaznamenané jako několik vět textu s někým na serveru, který může anonymně odpovědět svou vlastní krátkou zprávou.
https://twitter.com/RobertRMorris/status/1611450197707464706?ref_src=twsrc%5Etfw%7Ctwcamp%5Etweetembed%7Ctwterm%5E1611450197707464706%7Ctwgr%5Ea36b67a72ef02f3601dfae160441f1250a68dc2a%7Ctwcon%5Es1_c10&ref_url=https%3A%2F%2Farstechnica.com%2Finformation-technology%2F2023%2F01%2Fcontoversy-erupts-over-non-consensual-ai-mental-health-experiment%2F
V experimentu s umělou inteligencí (AI) zahrnujícím asi 30 3 zpráv, řekl Morris, měli dobrovolníci pomáhající ostatním možnost použít odpověď automaticky generovanou velkým jazykovým modelem OpenAI GPT-3 namísto jejího psaní. Nezávisle (GPT-XNUMX je technologie, která stojí za nedávno populární chatbot ChatGPT). Morris ve svém tweetu poznamenává, že lidé chválili odpovědi generované umělou inteligencí, dokud se nedozvěděli, že je napsala umělá inteligence, což naznačuje klíčový nedostatek informovaného souhlasu alespoň v jedné fázi experimentu:
„Zprávy vytvořené umělou inteligencí (a kontrolované lidmi) byly hodnoceny výrazně lépe než zprávy napsané samotnými lidmi. Doba odezvy snížena o 50 % na méně než minutu. A přesto… tuto funkci jsme z naší platformy docela rychle odstranili. Proč? Jakmile lidé zjistili, že zprávy byly generované strojově, přestalo to fungovat. Simulovaná sympatie se zdá podivná, prázdná.“
V úvodu serveru administrátoři píší: „Koko vás spojí se skutečnými lidmi, kteří vám opravdu rozumí. Ne terapeuti, ne poradci, jen lidé jako vy." Brzy poté, co Morris zveřejnil zprávu, obdržel mnoho odpovědí, které kritizovaly experiment jako neetický, citovaly obavy z nedostatku informovaného souhlasu a zpochybňovaly, zda experiment schválila Institutional Review Board (IRB). Ve Spojených státech je nezákonné provádět výzkum na lidských subjektech bez právně účinného informovaného souhlasu, pokud IRB neurčí, že souhlas lze vzdát.
V reakci na tweet Morris uvedl, že experiment byl „vyňat“ z požadavků na informovaný souhlas, protože neměl v plánu zveřejnit výsledky, což vyvolalo přehlídku pobouření.
Myšlenka použití umělé inteligence jako terapeuta není zdaleka nová, ale to, co odlišuje Kokoův experiment od typických terapeutických přístupů AI, je to, že pacienti mají tendenci vědět, že nemluví s živým člověkem. V případě Koko platforma zahrnovala hybridní přístup, kdy lidský zprostředkovatel mohl zprávu před odesláním zkontrolovat, namísto přímého formátu chatu. Bez informovaného souhlasu však kritici tvrdí, že Koko porušila etická pravidla určená k ochraně zranitelných lidí před škodlivými nebo krutými výzkumnými praktikami.
Jako bývalý člen a předseda IRB jste prováděl výzkum lidí na zranitelné populaci bez souhlasu nebo výjimky IRB (nemůžete rozhodovat). Možná MGH IRB profíkcess je tak pomalé, protože se zabývá věcmi jako je tato. Nevyžádaná rada: právník nahoru
— Daniel Shoskes (@dshoskes) Ledna 7, 2023
V pondělí Morris zveřejnil příspěvek, v němž reagoval na kontroverzi a vysvětloval Kokovu cestu ke GPT-3 a AI obecně: „Kritiku, obavy a otázky ohledně této práce přijímám s empatií a otevřeností. Jsme odhodláni zajistit, aby jakékoli použití umělé inteligence bylo citlivé, s hlubokým zájmem o soukromí, transparentnost a zmírnění rizik. Naše klinická poradní rada se schází, aby projednala pokyny pro budoucí práci, včetně schválení IRB.“
Můžete pomoci Ukrajině v boji proti ruským vetřelcům. Nejlepším způsobem, jak toho dosáhnout, je darovat finanční prostředky ozbrojeným silám Ukrajiny prostřednictvím Zachraňte život nebo přes oficiální stránku NBÚ.
Přečtěte si také: