„Cílem projektu je vývoj systému kombinujícího hlasovou biometrii a identifikaci umělého hlasu. Projekt reaguje na aktuální hrozbu, kdy se s rozvojem systému na modifikaci a syntézu hlasu množí útoky na systémy a osoby pomocí umělé inteligence a cílené úpravy hlasového výstupu text-to-speech (technologie umožňující strojově generovat mluvené slovo na základě psaného textu pozn. red.) na konkrétní hlas,“ stojí ve smlouvě.
Mluvčí ministerstva vnitra Adam Rözler však upozornil, že daný projekt se nacházejí v aktivní fázi řešení, přesněji v úplném počátku. „Z důvodu zachování důvěrnosti a ochrany know-how řešitelských týmů můžeme poskytnout pouze stručnou anotaci cíle projektu,“ upozornil.
Bezpečnostní informační služba varuje před zneužitím umělé inteligence |
Cílem projektu je podle jeho slov vývoj systému kombinujícího hlasovou biometrii a identifikaci umělého hlasu. „Projekt reaguje na aktuální hrozbu, kdy se s rozvojem systémů na modifikaci a syntézu hlasu množí útoky na systémy a osoby pomocí umělé inteligence a cílené úpravy hlasového výstupu text-to-speech na konkrétní hlas,“ uvedl mluvčí resortu.
Rovněž také uvedl, že projekt přispěje k odhalování pokusů o páchání kriminality. Aktivity projektu jsou zaměřeny na tři oblasti: „Zvýšení odolnosti hlasových biometrických systémů vůči útokům typu deepfakes spoofing, vytvoření nástrojů umožňující boj proti škodlivému použití hlasových deepfakes (například formou integrace již existujících přístupů detekce) a vyhodnocení schopnosti lidí rozpoznat hlasové deepfakes a nalezení způsobů, jak zvýšit bezpečnostní povědomí cílových uživatelů o této problematice,“ dodal Rőzler.
Problém je rychlost
Výzkumníci z Fakulty informačních technologií VUT a současně řešitelé nástroje prostřednictvím mluvčího Petra Kubíčka pro iDNES.cz uvedli, že projekt bude realizován v letech 2024 až 2026.
„Nástroje a systémy pro rozpoznání deepfakes porovnávají jednotlivé technické charakteristiky ať už v obrazové (video, obrázek) nebo audio části (hlas) a zjednodušeně řečeno hledají lokální anomálie a odchylky od standardu,“ uvedli výzkumníci.
Široké veřejnosti podle nich pomůže takzvaný AI Act, který přinese povinnost označit automaticky generovaný obsah. „Otázkou bude rychlost adopce a shoda jednotlivých hráčů na trhu na takovémto přístupu. U hlasové stopy bude situace složitější, protože není jednoduché umístit do audio stopy invazivní zásah typu ‚watermark‘,“ vysvětlili dále.
Loni zmizela z účtů víc než miliarda. Kyberšmejdi útočí s umělou inteligencí |
Současný problém je podle nich také rychlost vzniku nových modelů a systémů pro generování obrazu, videa a hlasu, na který je nutné reagovat výzkumem nových postupů a nástrojů.
Výzkumníci také uvedli, že dílčí komponenty pro boj s umělou inteligencí již existují. Otázkou je však podle nich distribuce a jednoduchá prezentace výsledků obecné veřejnosti.
„Zde vidíme úlohu firem. Náš výzkum reaguje na vysokou rychlost vzniku nových nástrojů pro generování podvrhů. Lze očekávat navýšení výskytu generovaných informací (obrazů, videí, audií) na internetu a tedy i nárůst podvrhů,“ upozornili dále pracovníci z VUT.
Pro oko a ucho přirozenější
Široká veřejnost potřebuje nejen technologie, ale získat i povědomí a opatrnost při rozpoznávání podvodů s AI, stejně jako znalosti, jak postupovat. Vedle výzkumu a technologií bude mít tedy velký dopad i obecná osvěta, kterou již provádí různé instituce jako policie, Česká bankovní asociace nebo Česká asociace umělé inteligence.
„I naše výzkumné skupiny upozorňují na téma na různých osvětových akcích a osobních setkáních,“ doplnili výzkumníci s tím, že obecně je jejich snahou reagovat na sociální hrozbu, kterou deep-fakes, zpřístupnění technologií a nezodpovědné použití technologií přináší.
Umělá inteligence je rozjetý kolos bez volantu a brzd, varuje kybernetik |
„Vedle vývoje nástrojů a technologií vidíme nutnost pracovat na metodice testování i vyhodnocení schopnosti lidí rozpoznat deepfakes,“ podotkli.
Nástroje a prototypy tedy již pro boj s AI existují a know-how a kompetentní lidi v Česku podle výzkumníků máme. „Opět je zde více o situaci, kdy rozvoj strojového učení a umělé inteligence přináší i nástroje pro generaci podvrhů, které zpřesňují výstupy tím, že jsou pro lidské oko a lidské ucho přirozenější. Na situaci reagujeme zaměřením výzkumných prací,“ dodali pracovníci z VUT.
BIS varovala již loni
Loni v říjnu Bezpečnostní informační služba (BIS) ve výroční zprávě za rok 2022 varovala právě před zneužíváním při vytváření „syntetických médií“, které mohou zpochybňovat reálné události.
„V roce 2022 začaly být veřejnosti dostupné nástroje založené na umělé inteligenci, které vytvářejí syntetický obsah ve všech multimediálních formách, tedy syntetické video (deepfake), fotografie, audio (hlasy osob) a text,“ varovala loni BIS.
Falešná kapitulace Zelenského je start, deepfakes změní svět, říká odborník |
Kontrarozvědka také ve zprávě připustila, že upravené multimediální soubory a nástroje umělé inteligence mají své místo v zábavě nebo vzdělávání, ale na druhou stranu upozornila, že mohou být zneužity při páchání zločinů a šíření dezinformací.
„Ruská invaze na Ukrajinu pak přinesla i první využití syntetického média ve válce – deepfake videa prezidenta Zelenského – jehož případný negativní dopad byl eliminován velmi rychlou protiakcí,“ uvedla dále BIS ve výroční zprávě za rok 2022.
BIS dále varovala před tím, že rozvoj syntetických médií umožní zpochybnit reálné události, prohlášení nebo skutečné důkazy jako uměle vytvořené. Jejich odhalování bude podle kontrarozvědky stále složitější i proto, že nástroje a postupy na odhalení takových podvodů jsou omezené.
