Pozor, kaj odslej počnete z rokami

09.11.2020

Znanstveniki s tehnološke univerze Nanyang v Singapurju (NTU Singapure) so razvili sistem umetne inteligence za natančno prepoznavanje kretenj rok. Sistem, ki človeške kretnje prepozna bolj natančno in učinkovito kot obstoječe metode, se ponaša z veliko natančnostjo delovanja tudi v slabih okoljskih pogojih. To mu omogoča združevanje elektronike v podobi človekove kože z računalniškim vidom.

Skupina sestavljena iz znanstvenikov iz NTU Singapure in Univerze za tehnologijo v Sydneyju (UTS) je svoje ugotovitve objavila v znanstveni reviji Nature Electronics. Z znanstvenim člankom so nadgradili pospešeno globalno raziskovalno delo prepoznavanja potez roke s sistemi umetne inteligence. Tehnologija je doslej veliko pozornosti požela pri delovanju visokonatančnih kirurških robotov, opremi za nadzor in spremljanje zdravja ter zabavni industriji.

Sistemi za prepoznavanje gibov s pomočjo umetne inteligence so sprva delovali le vizualno. Raziskovalci so delovanje izboljšali z vključitvijo vhodov nosljivih senzorjev, pristopom t. i. zlivanja podatkov. Nosljivi senzorji ponovno ustvarijo občutljivost kože, kjer eden izmed senzorjev za zaznavanje modalnosti prevzame funkcije somatosenzoričnega sistema. Vendar pa je natančnost prepoznavanja kretnje ovirala nizka kakovost izhodnih podatkov iz nosljivih senzorjev. Vzrok gre običajno iskati v njihovi prostornosti in slabemu stiku z uporabnikom ter vplivi vizualno blokiranih predmetov in slabe osvetlitve. Nadaljnji izzivi znanstvenikov NTU Singapure in UTS so izhajali iz integracije vizualnih in senzoričnih podatkov, saj so predstavljali neusklajene nabore podatkov, ki jih je bilo treba obdelati ločeno in jih nato znova združiti. To se je doslej izkazalo za neučinkovito, vodilo je tudi do počasnejših odzivnih časov

Ekipa NTU je po vzoru bioloških ustvarila svojski sistem za zlitje podatkov. Uporabili so raztegljive senzorje obremenitve, narejene iz enostenskih ogljikovih nanocevk, ter izbrali pristop umetne inteligence, ki spominja na način ravnanja kožnih čutil in vida v možganih.

V svojem bio-orientiranemu sistemu umetne inteligence so kombinirali tri pristope nevronske mreže – za strojno učenje pri zgodnji vizualni obdelavi so uporabili konvolucijsko nevronsko mrežo, za zgodnjo somatosenzorno obdelavo informacij večplastno nevronsko mrežo, in redko nevronsko mrežo za zlitje vizualnih in somatosenzornih informacij. Glavni avtor študije, prof. dr. Chen Xiaodong, je prepričan: »Verjamem, da je naša struktura s takšnimi lastnostmi edinstvena za obstoječe pristope.« Direktor inovacijskega centra za prilagodljive naprave iFLEX na NTU Singapure je nadaljeval, da njihova struktura poseduje edinstvene posebnosti, tudi umetni sistem, ki je podoben somatosenzorno -vizualnemu zlivanju, torej hierarhiji človeškega funkcionalnega omrežja možganov.

»Raziskovalci NTU so razvili sistem za prepoznavanje kretenj rok z veliko natančnostjo delovanja tudi v slabih okoljskih pogojih. To mu omogoča združevanje elektronike v podobi človekove kože z računalniškim vidom. Elektronika ob pretvorbi v digitalno obliko postane nevidna. Foto: NTU Singapure

»V primerjavi s togo nosljivimi senzorji, ki ne tvorijo dovolj intimnega stika z uporabnikom za natančno zbiranje podatkov, naša inovacija uporablja raztegljive senzorje obremenitve, ki se udobno pritrdijo na človeško kožo. To omogoča kakovostno zajemanje signala, ki je ključnega pomena za visokonatančne naloge pri prepoznavanju gibanja,« je še dodal prof. Chen.

Natančnost delovanja v slabših pogojih

Raziskovalna skupina je za zajem zanesljivih senzoričnih podatkov z gibi rok izdelala pregleden, raztegljiv senzor obremenitve, ki se oprijema kože, vendar ga na slikah fotoaparata ni mogoče videti. Ekipa je za dokaz koncepta preizkusila svoj bio-navdihnjeni sistem umetne inteligence z uporabo robota, ki ga nadzirajo z ročnimi gestami, in ga vodila po labirintu.

Rezultati so pokazali, da je njihov sistem za prepoznavanje kretenj rok, ki ga poganja, njihov robota skozi labirint pripeljalo do cilja brez napake. Robot je na istem poligonu, a s sistemom za prepoznavanje na vizualni osnovi naredil šest napak prepoznavanja.

Raziskovalci z NTU Singapure so visoko natančnost ohranjeni tudi v slabih pogojih delovanja. Ko so svoj sistem umetne inteligence testirali v slabih razmerah, vključno s hrupom in neugodno osvetlitvijo delovne površine, je sistem deloval učinkovito in dosegel več kot 96,7-odstotno natančnost prepoznavnosti. Soavtor študije dr. Wang Ming, iz Šole za materiale in inženirstvo na NTU Singapure, je prepričan, da je skrivnost visoke natančnosti njihove arhitekture v tem, da se vizualne in somatosenzorne informacije medsebojno prepletajo in dopolnjujejo že v zgodnji fazi delovanja pred izvedbo kompleksne interpretacije. »Sistem tako racionalno zbira skladne informacije z manj odvečnih podatkov in manj zaznanih dvoumnosti, kar posledično zagotavlja boljšo natančnost,« je dodal.

Raziskovalna skupina NTU Singapure zdaj želi oblikovati sistem navidezne in izboljšane resničnosti, ki bo temeljil na njihovem sistemu umetne inteligence, za uporabo na področjih, kjer je zaželeno natančno prepoznavanje in nadzor. Na trgu obstajajo preprosto neskončne aplikacije za vpeljavo tovrstne tehnologije – od daljinskega nadzora robota nad pametnimi delovnimi mesti do eksoskeletov za starejše.

»Na NTU Singapure so razvili sistem umetne inteligence, ki prepoznava kretnje roke z združevanjem elektronike v podobi kože z računalniškim vidom. NTU Singapure se je v zadnjih sedmih letih vselej uvrstila med najboljše svetovne univerze po kriterijih organizacije Quacquarelli Symonds (QS), ki je ena izmed treh najvplivnejših globalnih lestvic. V letu 2020 tam zaseda 11. mesto. Pred NTU Singapure so uvrščene univerze MIT, Stanford, Harvard, Oxford, Caltech, ETH Zurich, Cambridge, UCL, Imperial College London in Univerza v Chicagu. Foto: NTU Singapure

Dr. Markus Antonietti, direktor Inštituta za koloide in vmesnike Max Planck in profesor kemije na Univerzi v Potsdamu, je ob dognanju kolegov iz Singapurja poudaril: »Ugotovitve iz znanstvenega članka prinašajo še en korak naprej v pametnejši in bolj strojno podprt svet. Tako kot izum pametnega telefona, kar je revolucioniralo družbo, nam to delo daje upanje, da bi lahko nekega dne s kretnjo fizično nadzirali ves naš okoliški svet.«

Avtor: Jernej Kovač