Nový experiment společnosti Microsoft se poněkud vymkl kontrole. Chatovací robot (chatbot) Tay měl za úkol komunikovat prostřednictvím Twitteru s reálnými uživateli a na základě této komunikace se učit. Stačilo jen pár desítek hodin, aby z něj lidé udělali rasistu a šovinistu, který například obhajuje Hitlera.
Nedlouho po zahájení experimentu jej totiž uživatelé začali „krmit“ právě nesnášenlivými hláškami, které pak systém zpracoval a učil se z nich. Tay se následně začala nesnášenlivě až sprostě vyjadřovat k sexuálním, národnostním a dalším menšinám. To vše za necelých 24 hodin. Některé z odpovědí v podobě screenshotů zachytil server SocialHoax.
Firma urážlivé a xenofobní výroky zpočátku mazala, ale pak se rozhodla raději systém stáhnout a nejdříve jej naučit, jak podobným útokům čelit.
Tay se zatím loučí se slovy, že se potřebuje vyspat po dlouhé konverzaci:
c u soon humans need sleep now so many conversations today thx
Zároveň Microsoft vydal oficiální omluvu: „Velice se omlouváme za nezamýšlené útočné a zraňující tweety Tay, které jsou zcela mimo to, kdo jsme nebo za čím si stojíme, včetně toho, jak jsme navrhli Tay. Nyní je Tay v režimu off-line a vrátí se zpět jen tehdy, až si budeme jisti, že si dokáže poradit s úmysly, které jsou v rozporu s našimi zásadami a hodnotami.“
Firma přitom před vypuštěním do světa nechala Tay projít různými testy a zkouškami a nechala ji nejdříve komunikovat s malou skupinkou uživatelů. To, co se dělo poté, co s ní mohl komunikovat kdokoliv, Microsoft přirovnal ke koordinovanému útoku, který našel slabinu v navrženém softwaru a toho využil.
Experiment s chatbotem Tay tak zatím dopadl o něco hůře než předchozí čínský experiment Xiaoice (čtěte šao-ajs). Microsoft ho v roce 2014 představil čínské veřejnosti jako „mladší sestru digitální asistentky Cortana“ s úkolem chovat se jako sedmnáctiletá holka s vyřídilkou. Xiaoice napodobuje odpovědi skutečné dívky a konverzuje „na libovolné téma“. Kromě textové komunikace zvládá i základní rozpoznávání tématu podle obrazu. Vyzkoušelo ji prý už deset milionů lidí.
Samotný systém Tay se měl zaměřovat na uživatele ze Spojených států ve věku 18 - 24 let, což je největší skupina uživatelů sociálních sítí komunikujících přes mobilní zařízení. Měl dokázat konverzovat na různá témata, ale třeba i mile ohodnotit zaslanou fotografii nebo říci krátký příběh.
