Nový obrazový snímač vás rozpozná od psa a pozná, že nemáte roušku

  9:00
Nový čip IMX500 je první, který kombinuje obrazový snímač se signálovým procesorem, obrazovým procesorem a rychlou pamětí. Přímo v něm tak může běžet zpracování snímaného obrazu pomocí modelů umělé inteligence, a to nevídanou rychlostí – vyhodnotit dokáže 30 snímků za sekundu a díky tomu pozná, co zrovna vidí.
První obrazový snímač s AI zpracováním obrazu. Nalevo samotný čip IMX500, nalevo jeho „package“ podoba IMX501

První obrazový snímač s AI zpracováním obrazu. Nalevo samotný čip IMX500, nalevo jeho „package“ podoba IMX501 | foto: Sony, koláž Technet.czProfimedia.cz

Společnost Sony dnes představuje první čip, který do obrazového snímače integruje procesory pro zpracování obrazu pomocí umělé inteligence. Na jeho výstupu tak není jen obrazový signál, ale i metadata odpovídající použitému modelu – například informace, že v záběru je pes na louce, snímaný člověk je mladá žena, lidé v záběru nemají roušky a ochranné brýle, že je v daném prostoru překročen maximální počet návštěvníků nebo že se v továrně do vyhrazeného koridoru dostala překážka. 

Takovéto věci zatím buď zpracovávala další výkonná elektronika v zařízení, ve kterém byl obrazový snímač namontován, nebo cloudový systém, na který byla data z kamery posílána.

Výstup z čipu obsahuje metadata – například popisující obsah obrázku.

Výhodou integrace přímo v čipu je především rychlost – díky společné integraci snímače, procesorů a paměti probíhá analýza obrazu velmi rychle. Podle výrobce zvládne systém vytvořit inference pro 30 snímků za sekundu a v MobileNet V1 dosáhl výsledku 3,1 ms. To vše s údajně s velmi příznivou spotřebou energie. Její přesnější hodnotu, stejně jako bližší informace o výkonu procesorů, nám zástupci firmy neprozradili. Víme ale, že čip má rozlišení 12,3 Mpix, takže na výstupu nabídne 4K obraz, pro AI zpracovní jde ale nižší, FullHD, rozlišení. 

Mimo rekordní rychlosti zpracování může být tato integrace i důležitým bezpečnostním prvkem. Systém může být totiž nastaven tak, že čip žádná obrazová data ven neposílá – pouze metadatový výstup z AI modelu. K záběrům a fotografiím by se tak jen obtížně mohla dostat neautorizovaná třetí strana, protože tato data vůbec neopustí čip a po zpracování obrazovým procesorem jsou z vnitřní paměti zahozena.

Struktura čipu IMX500

Čipy budou v nabídce ve dvou variantách – samotný čip a takzvaný „package“ – tedy včetně podpůrných obvodů a standardizované sběrnice. Vzorky první varianty již míří k integračním partnerům, za cenu 10 000 JPY bez daně (2 364 Kč), druhá varianta by měla přijít o měsíc později za cenu dvojnásobnou. 

Příklady použití

Společnost Sony bude čip nabízet jednak s vlastními AI modely, na jejichž „katalogu“ se již pracuje, jednak svým zákazníkům pomůže s integrací jejich vlastních modelů podle jejich vlastní potřeby a požadavků.

Příklady použití

Na otázku, zda se tyto čipy v dohledné době dostanou i do spotřební elektroniky, nám zástupci společnosti během komorní webexové tiskové konference neodpověděli. V kameře pro PlayStation nebo třeba v chytrých telefonech by mohly přinést řadu dnes jen obtížně realizovatelných aplikací.

Začátek nové éry?

Sony je předním výrobcem obrazových čipů, jen na poli chytrých telefonů má dle dostupných údajů lehce přes polovinu trhu. Podle zástupců společnosti nyní nastává zlom, kdy obrazové snímače nebudou především zdrojem obrazu pro jeho opětovné zhlédnutí, ale zejména zdrojem dat. Například autonomní systémy a různé roboty tak budou moci kombinovat ohromné datové zázemí cloudových „backendů“ s vizuálními daty získanými v reálném čase.

  • Nejčtenější

Kam pro filmy bez Ulož.to? Přinášíme další várku streamovacích služeb do TV

v diskusi je 125 příspěvků

26. března 2024

S vhodnou aplikací na vás mohou v televizoru na stisk tlačítka čekat tisíce filmů, seriálů nebo...

Z jaderné triády zbyly Britům už jen ponorky. A ty musejí posílit

v diskusi je 76 příspěvků

27. března 2024

Jadernou triádu tvoří strategické bombardéry s jadernými zbraněmi, mezikontinentální balistické...

{NADPIS reklamního článku dlouhý přes dva řádky}

{POPISEK reklamního článku, také dlouhý přes dva a možná dokonce až tři řádky, končící na tři tečky...}

Hlučínsko patří nám. Před 100 lety byl podepsán definitivní protokol o hranici

v diskusi je 44 příspěvků

28. března 2024

Před 100 lety definitivně skončily tahanice o československo-německé hranice. 28. března 1924 byl...

Rusko zastavilo odlet na ISS s první Běloruskou, letět měla i Američanka

v diskusi je 50 příspěvků

21. března 2024  10:23,  aktualizováno  14:26

Ve čtvrtek 21. března se necelých deset minut před půl třetí odpoledne měla vydat na Mezinárodní...

{NADPIS reklamního článku dlouhý přes dva řádky}

{POPISEK reklamního článku, také dlouhý přes dva a možná dokonce až tři řádky, končící na tři tečky...}

Američané odepsali modul, který je vrátil po půl století na Měsíc

v diskusi je 21 příspěvků

28. března 2024,  aktualizováno  11:41

Od začátku letošního roku je na Měsíci a kolem něj poměrně rušno. Vedle řady sond, které zamířily...

Za vyhynutím dinosaurům mohla být i doba temna

v diskusi nejsou příspěvky

29. března 2024

Dopad planetky je nyní většinou odborníků považován za hlavní příčinu vyhynutí zhruba 73 až 76 %...

Podívejte se na Boeing C-17 Globemaster, který do Česka přivezl nové vrtulníky

v diskusi jsou 2 příspěvky

29. března 2024

V sobotu 23. března dosedl v Praze nákladní letoun USAF, který vezl obzvlášť cenný náklad. Z...

Dočasná raketa se po téměř 70 letech loučí. Bude startovat naposledy

v diskusi jsou 4 příspěvky

28. března 2024  15:36,  aktualizováno  19:54

Tento čtvrtek stojí na startovací rampě mysu Canaveral poslední potomek raket Thor, nosič Delta IV...

Američané odepsali modul, který je vrátil po půl století na Měsíc

v diskusi je 21 příspěvků

28. března 2024,  aktualizováno  11:41

Od začátku letošního roku je na Měsíci a kolem něj poměrně rušno. Vedle řady sond, které zamířily...

PAMÁTKY TÁBOR, s.r.o.
Přípravář staveb/rozpočtář

PAMÁTKY TÁBOR, s.r.o.
Jihočeský kraj
nabízený plat: 40 000 - 50 000 Kč

Smoljak nechtěl Sobotu v Jáchymovi. Zničil jsi nám film, řekl mu

Příběh naivního vesnického mladíka Františka, který získá v Praze díky kondiciogramu nejen pracovní místo, ale i...

Rejžo, jdu do naha! Balzerová vzpomínala na nahou scénu v Zlatých úhořích

Eliška Balzerová (74) v 7 pádech Honzy Dědka přiznala, že dodnes neví, ve který den se narodila. Kromě toho, že...

Pliveme vám do piva. Centrum Málagy zaplavily nenávistné vzkazy turistům

Mezi turisticky oblíbené destinace se dlouhá léta řadí i španělská Málaga. Přístavní město na jihu země láká na...

Velikonoce 2024: Na Velký pátek bude otevřeno, v pondělí obchody zavřou

Otevírací doba v obchodech se řídí zákonem, který nařizuje, že obchody s plochou nad 200 čtverečních metrů musí mít...

Kam pro filmy bez Ulož.to? Přinášíme další várku streamovacích služeb do TV

S vhodnou aplikací na vás mohou v televizoru na stisk tlačítka čekat tisíce filmů, seriálů nebo divadelních...