Na celosvětovém internetu se slovo Google stalo synonymem pro vyhledávání. S loňským příchodem přehledů od AI se však původní vnímání vyhledávání jako zobrazení série odkazů na relevantní webové stránky změnilo.
Nynější souhrn údajů do textového výstupu, který se zobrazí vždy nahoře, je na první pohled efektivní cestou, jak se dobrat kýžené odpovědi. Je však třeba dát si pozor, jako je to ostatně vždy, když využíváme AI.
AI se zlepšuje, ale…
Deník The NewYork Times zopakoval po několika měsících svůj test, který se zaměřuje právě na přehledy od AI. Podle této analýzy, kterou provádí společně se startupem Oumi zabývajícím se umělou inteligencí, zvládly AI přehledy Google v únoru správně zodpovědět testovací dotazy zaměřené na faktickou správnost v 91 % případů, což představuje nárůst oproti 85 % v testu provedeném v říjnu.
Na druhou stranu při více než pěti bilionech položených dotazů Googlu ročně znamená devítiprocentní chybovost zobrazení stovek tisíc nesprávných odpovědí každou minutu.
Podle deníku společnost Oumi otestovala systém na 4 326 vyhledáváních. Použila přitom benchmark SimpleQA od OpeanAI. Zjistila, že přehledy generované umělou inteligencí byly přesné v 85 % případů u Gemini 2 a v 91 % případů po aktualizaci na Gemini 3.
Vyzkoušejte kouzelnou formulku, která ukáže Google bez AI a dalšího balastu |
Většina odhalených chyb přitom nebyla přímo lživá tvrzení. V některých případech přehledy vynechaly důležité souvislosti, příliš zjednodušovaly složitá témata a nebo uváděla částečně správné informace jako přesné.
I když se schopnosti AI v tomto ohledu zlepšují, objevil se možná trochu překvapivý problém. Tím je práce se zdroji. Oumi zjistila, že více než polovina správných odpovědí z února odkazovala na zdroje, které nemusely skutečnosti takto uvádět.
Nevěřte jí. Výzkum ukazuje, že si AI vymýšlí i tam, kde se to možná nečeká |
A to je samozřejmě problém v okamžiku, kdy si chcete odpověď od AI ověřit. Což byste podle našeho názoru měli dělat minimálně u důležitých věcí, vždy. V konečném důsledku tak v říjnu nebylo 37 % správných odpovědí podloženo a v únoru se tento podíl zvýšil na 56 %.
Společnost Google na tento test reagovala s tím, že studie používala chybný benchmark a neodrážela to, co lidé ve skutečnosti vyhledávají.
