Hvorfor tegnspråkhansker ikke hjelper døve

Bærbare teknologier som hevder å oversette ASL overser forviklingene i språket, så vel som behovene til underskrivere.

En mann løfter hånden, som er dekket av en hanske og ledninger

Jose Hernandez-Rebollar demonstrerer sin AcceleGlove, som hevdet å 'oversette' tegnspråk til skriftlige og muntlige former.(Stephen J. Boitano / AP)

Sammen med jetpakker og hoverboards er en maskin for å oversette fra et hvilket som helst språk til et hvilket som helst annet så tiltalende som en fantasi at folk er villige til å overse klønete prototyper så lenge de kan beholde troen på at fremtiden lovet av science fiction har, kl. sist, ankom. En spesielt klønete underart av den universelle språkoversetteren har en ganske dyster historie: tegnspråkhansken, som utgir seg for å oversette tegnspråk i sanntid til tekst eller tale mens brukeren gester. For mennesker i døvemiljøet, og lingvister, er tegnspråkhansken forankret i den hørende verdenens opptatthet, ikke behovene til døve underskrivere.



Den grunnleggende ideen stammer fra 1980-tallet, da forskere begynte å utforske hvordan mennesker kunne samhandle med datamaskiner ved hjelp av bevegelser. I 1983 oppfant en Bell Labs-ingeniør ved navn Gary Grimes en hanske for dataregistrering ved å bruke de 26 manuelle bevegelsene til American Manual Alphabet, brukt av høyttalere av amerikansk tegnspråk. Men den første hansken hadde til hensikt å gjøre interaksjoner mellom døve og ikke-døve lettere ble annonsert i 1988 av Stanford University-forskerne James Kramer og Larry Leifer. Det ble kalt snakkehanske, og hele systemet kostet 3500 dollar – ikke inkludert prisen på CyberGlove seg selv.

Den første tegnspråkhansken som ble kjent kom ut i 2001. En high school-elev fra Colorado, Ryan Patterson, monterte en golfhanske i skinn med 10 sensorer som overvåket fingerposisjonen, og videresendte fingerstavingen til en datamaskin som gjengav dem som tekst på en skjerm. Patterson fikk betydelig oppmerksomhet for sin oversetterhanske, inkludert hovedprisen på Intel International Science and Engineering Fair i 2001 og et stipend på $100 000. I 2002 ble det offentlige kontoret til National Institute on Deafness and Other Communicative Disorders utslettet om Patterson, som sniker inn påminnelsen først på slutten: Hansken oversetter ikke noe utover individuelle bokstaver, absolutt ikke hele spekteret av tegn som brukes i amerikansk tegnspråk, og fungerer bare med det amerikanske manuelle alfabetet.

I løpet av årene har lignende design – med tilsvarende hoopla – dukket opp over hele verden, men ingen har noen gang levert et produkt til markedet. EN gruppe ukrainere vant førstepremie og $25 000 i 2012 Microsoft Imagine Cup, en studentteknologikonkurranse, for hanskeprosjektet deres. I 2014, Cornell-studenter designet en hanske som hjelper mennesker med hørselshemninger ved å identifisere og oversette brukerens tegn til muntlig engelsk. Og i 2015 var det ett hanskeprosjekt annonsert av to forskere ved Mexicos National Polytechnic Institute, og en annen av den saudiske designeren og mediekunstneren Hadeel Ayoub, hvis BrightSignGlove oversetter tegnspråk til tale i sanntid ved hjelp av en datahanske.

Det siste prosjektet er fra juli 2017, da et team ved University of California, San Diego, publiserte en papir inn PLOS One som beskriver en hanske som gjenkjenner gester. Prosjektet ble ledet av Darren Lipomi, en kjemiker som forsker på de mekaniske egenskapene til innovative materialer, som strekkbare polymerbaserte solceller og hudlignende sensorer. 12. juli, UCSDs nyhetskontor forfremmet Lipomis publikasjon med en historie som forkynner, rimelig smart hanske oversetter det amerikanske tegnspråkalfabetet og kontrollerer virtuelle objekter. Dagen etter, nettbutikken Medgadget hakket alfabetet ut av overskriften, og rapporter om en hanske som oversetter tegnspråk igjen spredte seg vidt og bredt, og ble plukket opp av Ny vitenskapsmann , Tidene i Storbritannia, og andre utsalgssteder . Medgadget hadde ikke helt skylden – Lipomi hadde gitt tittelen sin artikkel The Language of Glove og skrevet at enheten oversatte alfabetet til tekst, ikke konvertert, noe som ville vært mer nøyaktig.

De sjekket tydeligvis ikke med døvesamfunnet.

Språkforskere fikk med seg prosjektet. Carol Padden, dekan for samfunnsvitenskap ved UCSD og en fremtredende tegnspråklig lingvist som også er døv, ga en kritikk av tegnspråkhanskekonseptet til Lipomis dekan ved ingeniørskolen. Kritikken hun ga ham hadde blitt skrevet av to ASL-instruktører og en lingvist og godkjent av 19 andre. Den ble skrevet som svar ikke på Lipomis papir, men på et beryktet tegnspråk-hanskeprosjekt fra året før. I 2016 vant to studenter fra University of Washington, Thomas Pryor og Navid Azodi, Lemelson-MIT Student Prize for et par hansker som gjenkjente rudimentære ASL-tegn. Prosjektet deres, kalt SignAloud, ble dekket av NPR , Oppdage , travelhet , og andre utsalgssteder, men ble også besvart av høylytte klager i Blogg innlegg av lingvistene Angus Grieve-Smith og Katrina Faust .

I utgangspunktet ønsket jeg ikke å forholde meg til [SignAloud, UW-prosjektet] fordi dette har vært et gjentatt fenomen eller mote, sier Lance Forshay, som leder ASL-programmet ved UW. Jeg ble overrasket og følte meg på en eller annen måte forrådt fordi de åpenbart ikke sjekket med døvesamfunnet eller til og med sjekket med lærere i ASL-programmet for å forsikre meg om at de representerer språket vårt på riktig måte. Men etter at SignAloud fikk nasjonal og internasjonal medieoppmerksomhet, slo Forshay seg sammen med Kristi Winter og Emily Bender, fra avdelingen hans, for å skrive et brev. De samlet innspill til brevet fra døvemiljøet og døvekultureksperter.

Deres seks-siders brev, som Padden ga med til dekanen, peker på hvordan SignAloud-hanskene – og alle tegnspråkoversettelseshanskene som er oppfunnet så langt – misforstår naturen til ASL (og andre tegnspråk) ved å fokusere på det som hendene gjøre. Nøkkeldeler av grammatikken til ASL inkluderer hevede eller senkede øyenbryn, et skifte i orienteringen til underskriverens overkropp eller en bevegelse av munnen, lyder brevet. Selv perfekt fungerende hansker ville ikke ha tilgang til ansiktsuttrykk. ASL består av tusenvis av skilt presentert på sofistikerte måter som så langt har forvirret pålitelig maskingjenkjenning. En utfordring for maskiner er kompleksiteten til ASL og andre tegnspråk. Tegn vises ikke som klart avgrensede perler på en snor; de blør inn i hverandre i en prosess som lingvister kaller koartikulasjon (hvor for eksempel en håndform i ett tegn forutser formen eller plasseringen av følgende tegn; dette skjer også i ord på talespråk, der lyder kan få karakteristikker av tilstøtende). Et annet problem er mangelen på store datasett med personer som signerer som kan brukes til å trene maskinlæringsalgoritmer.

Og mens underskrivere bruker det amerikanske manuelle alfabetet, spiller det en smal rolle innen ASL. Underskrivere bruker det for å opprettholde en kontrast mellom to typer vokabular - det daglige, kjente og intime vokabularet til tegn, og det fjerne, fremmede og vitenskapelige vokabularet til ord med engelsk opprinnelse, skrev Carol Padden og Darline Clark Gunsauls, som leder døvestudier ved Ohlone College, i en artikkel om emnet.

Og forfatterne av UW-brevet hevdet at utviklingen av en teknologi basert på et tegnspråk utgjorde kulturell appropriasjon. Høyskolestudenter fikk utmerkelser og stipend for teknologier basert på et element av døvekultur, mens døve selv er lovlig og medisinsk undertjent.

Hvorfor bry seg med dumme hansker når vi fortsatt trenger å ta oss av de grunnleggende menneskerettighetsspørsmålene?

Også, selv om hanskene ofte presenteres som enheter for å forbedre tilgjengeligheten for døve, er det underskriverne, ikke de hørende, som må bruke hanskene, bære datamaskinene eller endre signeringshastigheten. Dette er en manifestasjon av auditistenes tro, heter det i UW-brevet, ideen om at den døve må bruke innsatsen for å tilpasse seg standardene for kommunikasjon til den hørende personen.

Den følelsen får mye gjenklang. ASL-hansker er hovedsakelig laget/designet for å tjene hørende, sa Rachel Kolb, en Rhodes-stipendiat og Ph.D. student ved Emory University som har vært døv fra fødselen. Konseptet med hanskene er å gjøre ASL forståelig for hørende mennesker som ikke vet hvordan de skal signere, men dette går glipp av og overser totalt så mange av kommunikasjonsvanskene og frustrasjonene som døve allerede kan møte.

Julie Hochgesang, assisterende professor i lingvistikk ved Gallaudet, sa at hun himler med øynene når en ny hanske blir annonsert. Vi kan ikke få anstendig tilgang til kommunikasjon når vi går til legen. Hvorfor bry seg med dumme hansker når vi fortsatt trenger å ta oss av de grunnleggende menneskerettighetsspørsmålene?

Så hvorfor fortsetter så mange oppfinnere å vende seg til konseptet med tegnspråkhanske?

En grunn er ganske åpenbar: Til tross for populariteten til ASL-klasser i amerikanske høyskoler (påmelding til slike kurs vokste med 19 prosent mellom 2009 og 2013), kan ikke-undertegnere ofte ikke så mye om tegnspråk. De innser kanskje ikke engang at ASL (og andre tegnspråk, som britisk tegnspråk, kinesisk tegnspråk og dusinvis av andre) er distinkte språk med sine egne grammatikker og fonologier, ikke ord-for-ord-reformuleringer av et talespråk. I tillegg, sier Forshay, har folk ingen kunnskap om kulturen til døve og hvordan tegnspråk har blitt utnyttet og undertrykt gjennom historien. Som et resultat er de ikke klar over hvorfor problemet ville være så følsomt.

En like potent, men mindre åpenbar årsak, er måten ingeniører nærmer seg problemløsning på. På ingeniørskolen blir elevene lært opp til å løse bare de matematiske elementene i problemer, sier Virginia Tech ingeniørlærer Gary Downey. I en artikkel fra 1997 han bemerket at alle de ikke-matematiske trekk ved et problem, som dets politikk, dets maktimplikasjoner for de som løser det, og så videre, er gitt, noe som betyr at de er satt i parentes. Studentene er forberedt på å fokusere på sensorplassering eller algoritmedesign, men ofte ikke den bredere sosiale konteksten som enheten de designer vil gå inn i.

For å gjøre dette arbeidet, er den første regelen du må lære deg selv at du ikke er din bruker.

Den spesifikke bruken av Lipomis hanske som en tilgjengelighetsanordning ser ut til å ha vært en ettertanke. Prosjektets formål, han skrev på bloggen hans senere, var å demonstrere integrasjon av myke elektroniske materialer med lavenergi trådløse kretser som kan kjøpes økonomisk. Det amerikanske manuelle alfabetet ble valgt fordi det består av et sett med 26 standardiserte bevegelser, som representerer en utfordring innen ingeniørkunst for å oppdage ved å bruke vårt materialsystem.

Imidlertid ser det ut til at ingeniører hører og svarer på lingvisters klager. Pryor og Azodi, oppfinnerne av UW SignAloud-prosjektet, skrev under på UWs åpne brev. Og da Darren Lipomi hørte om lingvistenes kritikk, endret han ordlyden i papiret sitt med et tillegg til PLOS One og skrev et blogginnlegg som oppmuntret forskere til å være mer kulturelt sensitive. Det påhviler derfor forskeren å være bevisst på kulturelle spørsmål og sørge for ... at ordvalg, nyanser og hvordan teknologien kan påvirke en kultur formidles riktig til journalisten og derfra til publikum, han skrev .

Likevel, så lenge faktiske døve brukere ikke er inkludert i disse prosjektene, vil oppfinnere sannsynligvis fortsette å lage enheter som fornærmer selve gruppen de sier de vil hjelpe. For å gjøre dette arbeidet er den første regelen du må lære deg selv at du ikke er brukeren din, sier Thad Starner, som leder Contextual Computing Group ved Georgia Institute of Technology. Gruppen utvikler tilgjengelighetsteknologier for døve, for eksempel tegnspråkbasert pedagogisk spill å trene døve barns arbeidsminneevner.

Det er ikke å si at døve ikke har futuristiske fantasier som involverer teknologi. Kolb sier for eksempel at en dominerende fantasi blant vennene hennes er for briller som automatisk tekster alt som hører folk sier. Flere team av forskere jobber med algoritmer for å gjøre signeringsvideoer på YouTube søkbare. Enda grundigere teksting av høyere kvalitet og bedre tolketjenester vil forbedre livene til mange.

Og, la Kolb til, teknologi kan skape måter å oppmuntre hørende til å bruke ASL og bli multimodale så vel som flerspråklige.

Det ville åpnet mulighetene for kommunikasjon for oss alle, sa hun.