Kjo unazë inteligjente përkthen gjuhën e shenjave në kohë reale

Një risi novator nga Universiteti Cornell është vendosur të transformojë komunikimin për komunitetin e shurdhër dhe me vështirësi në dëgjim. SpellRing , një unazë e printuar me 3D me AI , është e aftë të përkthejë gjuhën e shenjave (ASL) në tekst të lexueshëm në kohë reale, duke synuar të thyejë barrierat që shpesh e bëjnë të vështirë komunikimin për ata që përdorin gjuhën e shenjave.

Zhvilluar nga Hyunchul Lim, një student i doktoraturës në shkencat e informacionit në Universitetin Cornell , dhe ekipi i tij kërkimor në Laboratorin SciFi , SpellRing është një unazë e veshur, e krijuar për të njohur drejtshkrimin e gishtave në ASL . Drejtshkrimi me gishta përdoret në ASL për të shqiptuar fjalë që nuk kanë një ekuivalent të drejtpërdrejtë të shenjës, siç janë emrat e duhur ose termat teknikë.

Unaza, e cila përshtatet në gishtin e madh , përdor teknologjinë mikro-sonare dhe një xhiroskop në miniaturë për të gjurmuar lëvizjet e gishtërinjve, duke i kthyer ato në shkronja të shfaqura në një ekran. Është i vogël dhe i lehtë, duke e bërë atë ergonomik dhe komod për t’u mbajtur.

Unaza funksionon duke lëshuar valë zanore të padëgjueshme që gjurmojnë lëvizjet e dorës dhe gishtit të përdoruesit. Këto valë zanore kapen nga xhiroskopi dhe analizohen duke përdorur një algoritëm të mësimit të thellë për të parashikuar shkronjat e shkruara me gishta ASL .

Ky algoritëm përpunon imazhet e sonarit në kohë reale, duke i përkthyer lëvizjet e gishtave në shkronja që shfaqen në një pajisje ose ekran të lidhur.

Një nga avantazhet kryesore të pajisjes është saktësia e saj. SpellRing ka demonstruar një shkallë mbresëlënëse saktësie prej 82% deri në 92% , në varësi të kompleksitetit të fjalëve drejtshkrimore me gishta.

Kjo e bën atë një mjet efektiv për komunikimin në kohë reale, veçanërisht në situatat kur përdoruesi duhet të shqiptojë emra, terma teknikë ose fjalë që nuk kanë një ekuivalent të drejtpërdrejtë të shenjës në ASL.

Për të përmirësuar funksionalitetin e unazës, ekipi e testoi atë me 20 përdorues ASL , si me përvojë ashtu edhe fillestarë, të cilët kryenin drejtshkrim të vazhdueshëm me gishta. Mbi 20,000 fjalë u testuan gjatë këtij vlerësimi, duke u siguruar që saktësia dhe performanca e pajisjes ishin vlerësuar me rigorozitet.

Edhe pse SpellRing mund të përkthejë me saktësi drejtshkrimin e gishtave në tekst, ai ka kufizime. Aktualisht, pajisja kap vetëm drejtshkrimin shkronjë për shkronjë të përdorur në ASL dhe nuk mund të interpretojë gamën e plotë të shprehjeve dhe lëvizjeve që janë pjesë e gjuhës.

ASL përfshin jo vetëm drejtshkrimin e gishtave, por edhe shprehjet e fytyrës , lëvizjet e trupit dhe gjestet e kokës —elemente që SpellRing nuk i ka ende parasysh.

Ndërsa SpellRing përfaqëson një hap të rëndësishëm përpara në përkthimin e gjuhës së shenjave, ekipi pranon se ka më shumë punë për të bërë. Studiuesit tashmë po shikojnë potencialin për përsëritjet e ardhshme të pajisjes, të tilla si syzet inteligjente të pajisura me teknologjinë mikro-sonare .

Këto syze mund të kapin shprehjet e fytyrës, lëvizjet e pjesës së sipërme të trupit dhe gjestet e kokës, duke lejuar përkthim më të plotë të ASL. Për më tepër, ekipi planifikon të përmirësojë më tej algoritmin e AI për të gjurmuar fjalë të tëra të nënshkruara dhe madje edhe fjali të plota në të ardhmen, duke hapur rrugën për një komunikim më të fortë dhe të saktë në kohë reale në ASL.

Zhvillimi i SpellRing është një hap pozitiv drejt gjithëpërfshirjes dhe aksesit më të madh për komunitetin e shurdhër dhe me vështirësi në dëgjim .

Duke ofruar një mënyrë të matur dhe efektive për të përkthyer fjalët e shkruara me gishta në tekst të lexueshëm, kjo pajisje ka potencialin për ta bërë komunikimin e përditshëm më të qetë dhe gjithëpërfshirës.

Mund të ndihmojë në kapërcimin e hendekut midis përdoruesve të gjuhës së shenjave dhe botës më të gjerë, duke ofruar një mënyrë të re për të komunikuar me individë që nuk janë të njohur me ASL.

SpellRing mund të revolucionarizojë mënyrën se si ndërveprojmë me altoparlantët ASL . Integrimi i teknologjive të ardhshme, si sistemi mikro-sonar në syzet inteligjente , mund të lejojë një përkthim plotësisht të plotë të ASL , duke e bërë pajisjen më gjithëpërfshirëse dhe të gjithanshme.