Sanntids håndsporing
Tegnspråk brukes av millioner av mennesker over hele verden. Forskere har jobbet med å bygge teknologier som kan forstå bevegelsene og automatisk konvertere dem til menneskelig forståelig språk. Imidlertid har slike prosjekter ikke fått stor suksess når det gjelder nøyaktighet.
Google har nylig utviklet en algoritme som kan brukes til håndsporing i sanntid. Det intelligente systemet utnytter maskinlæring for å lage et kart over hånden. Kartet er opprettet ved hjelp av et kamera eller en smarttelefon. Vi kan ikke benekte det faktum at de fleste systemene ikke klarer å fange opp hurtige håndbevegelser nøyaktig. Google har spesifikt adressert dette problemet i denne undersøkelsen. Interessant, de har begrenset mengden data som tidligere ble behandlet av algoritmene.
Hvordan fungerer håndsporing i sanntid?
De fleste av de eksisterende prosjektene oversetter tegnspråk ved å oppdage størrelsen og plasseringen til den komplette hånden. Med denne forskningen. forskerne har eliminert behovet for å håndtere rektangulære former i forskjellige størrelser. Googles system gjenkjenner bare håndflaten som er firkantet. For det andre gjøres en egen analyseprosess for fingrene.
Hånd bevegelser
Forskerne brukte rundt 30.000 håndbilder for å trene maskinlæringsalgoritmen. Disse bildene ble tatt under forskjellige lysforhold og positur. Systemet oppdager deretter gesten ved å gjøre en sammenligning mellom håndposen og en liste over kjente enheter som en ball eller lykke. Google beskriver gestgjenkjenning i en blogg innlegg .
Deretter kartlegger vi fingertilstandene til et sett med forhåndsdefinerte bevegelser. Denne enkle, men effektive teknikken lar oss estimere grunnleggende statiske bevegelser med rimelig kvalitet. Den eksisterende rørledningen støtter tellebevegelser fra flere kulturer, f.eks. Amerikanske, europeiske og kinesiske og forskjellige håndskilt, inkludert “Thumb up”, lukket knyttneve, “OK”, “Rock” og “Spiderman”.
Den endelige algoritmen for håndsporing gir toppmoderne resultater når det gjelder hastighet og nøyaktighet. Algoritmen bruker MediaPipe framework til å kjøre. Denne teknikken virker som en stor fremgang innen tegnspråkdomenet. Selv om det fremdeles er mye rom for forbedringer. for å skape en bedre forståelse av tegnspråket. Alle kan utvide dette arbeidet til å bruke ansiktsuttrykk og begge hender for å oppnå bedre resultater.
Selv om det ikke er noe ord fra Google, er det en mulighet for at Google kan forbedre denne håndsporingsteknologien i sanntid for å bruke den i sine produkter. I mellomtiden, hvis du vil leke med koden, er det det offentlig tilgjengelig på GitHub .
Merker Google
