Ben je geïnteresseerd in de wereld van wetenschap & technologie en wil je hier graag meer over lezen? Word dan lid van KIJK!
Met behulp van een smartphone-app vertalen deze handschoenen gebarentaal in real time.
Voor dove mensen is gebarentaal natuurlijk een uitkomst. Helaas hebben ze wel een tolk nodig om te communiceren met mensen die deze gebarentaal niet onder de knie hebben. Als het aan onderzoekers van de University of California – Los Angeles ligt, verandert dit snel. Ze hebben een systeem ontwikkeld waarmee gebarentaal wordt omgezet in taal.
Lees ook:
Hightech handschoenen
Het systeem bestaat uit een paar handschoenen die zijn uitgerust met dunne, rekbare sensors die de gehele lengte van de vijf vingers bestrijken. De sensors, gemaakt van elektrisch geleidende garen, monitoren de beweging van de handen.
Deze bewegingen zet het systeem om in elektrische signalen die op hun beurt naar een printplaat op de pols worden gezonden. Dit plaatje, dat zo’n 2,5 centimeter groot is, stuurt de signalen draadloos door naar een smartphone. Een speciale app die gebruikmaakt van kunstmatige intelligentie vertaalt ze tenslotte in gesproken woorden.
De onderzoekers testten de handschoenen bij vier dove mensen die Amerikaanse gebarentaal gebruiken om te communiceren. Deze proefpersonen herhaalden hun handgebaren vijftien keer. Het systeem herkende uiteindelijk 660 tekens, inclusief elke letter van het alfabet en de nummers 0 tot en met 9. Deze gebaren herkent het in minder dan een seconde.
Polsplaatje
De handschoenen werken op dit moment enkel met Amerikaanse gebarentaal, maar de makers willen uitbreiden naar meerdere talen. Ook geven ze in hun paper in Nature Electronics toe niet blij te zijn met de tussenkomst van de app. Het liefst zien ze dat het plaatje op de pols de gesproken tekst laat horen. Altijd ruimte voor verbetering.
Bronnen: Nature Electronics, UCLA via EurekAlert!
Beeld: Jun Chen Lab/UCLA