Systém rozpoznává postoj sledováním sedmnácti části těla, například loktů, ramen, očí nebo boků. Z jejich pozic vytvoří pomocí skeletonizace pohyblivý kosterní model, podle kterého poté rozpozná postoj. Pak začne zobrazovat fotografie, na kterých mají lidé stejný, či velmi podobný postoj jako vy. Ty pochází z databáze 80 000 fotografií, aplikace z kamery žádné fotky neukládá a nikam neodesílá, rozpoznávání probíhá přímo v prohlížeči.
A to je i ta největší zajímavost celého systému. Skeletonizaci a rozpoznávání postojů známe například z herní konzole Microsoft XBox s ovladačem Kinect, ale tam za ní stojí specializovaný výkonný hardware. Zde je jediným zdrojem dat obraz z kamery a vše zařídí knihovna v prohlížeči, zatížení procesoru Core i5 sedmé generace v notebooku se přitom pohybovalo kolem patnácti procent.
Move Mirror je spíše legrácka, jejímž hlavním úkolem je podle tvůrců zvýšit povědomí o systémech strojového učení mezi kodéry a kutily. Využívá knihovny PoseNet (open source systém pro odhadování postojů) a TensorFlow.js (strojové učení v rámci webového prohlížeče).
S Mirror Move si můžete pohrát zde, podrobné povídání o přípravě experimentu si můžete přečíst na blogu Medium.com (čtení zhruba na 20 minut, v angličtině).
