Onderzoek

Onderzoek naar SpraakZien

Proefpersonen

Eind 2012 / begin 2013 is door vier studenten aan de Universiteit Leiden,  onder leiding van prof. dr. Niels Schiller, hoogleraar psycholinguïstiek en neurolinguïstiek aan de Universiteit Leiden (www.nielsschiller.nl) een onderzoek uitgevoerd  naar de SpraakZien-bril. Doel was  te onderzoeken of de SpraakZien-bril daadwerkelijk het begrijpen van spraak voor slechthorende en dove proefpersonen verbetert. Ruim 25 dove en zwaar slechthorende personen, werkten aan het onderzoek mee. Het onderzoek werd verricht in samenwerking met de Stichting Plotsdoven.

Resultaten

Uit het onderzoek bleek dat de proefpersonen met de SpraakZien-bril veel meer woorden correct verstaan hadden (75%) vergeleken met het verstaan van woorden zonder bril (25% correct).

Daarnaast werd duidelijk dat een veel hogere score kon worden gehaald als de spraakherkenning-software minder fouten maakt.

In onderstaande tabel is zichtbaar gemaakt wat het effect van de SpraakZien bril is op de verstaanbaarheid.










 







De proefpersonen waren erg enthousiast over de werking van de bril omdat ze ermee  in staat worden gesteld weer goed gesprekken te kunnen voeren. De reacties leverden ook duidelijke verbeterpunten op, bijvoorbeeld met betrekking tot het draagcomfort van de bril, de helderheid van de letters en de gewenste snelheid van de weergave van de tekst.


De verdere ontwikkeling.

Het SpraakZiensysteem moet nog flink verbeterd worden. De apparatuur moet kleiner, de bril lichter en beter draagbaar, de software moet sneller de spraak verwerken. Om dat te realiseren is OORZAAK druk bezig met testen.

Bij Taalwetenschap van de Universiteit Leiden wordt verder onderzoek gedaan naar het verschil tussen de snelheid van verwerking van gesproken taal en de verwerking van gelezen tekst in de hersenen. Ook begripsaspecten worden vergeleken: in gesproken taal heeft de verstaander vaak niet veel moeite een een slecht  uitgesproken woord te begrijpen terwijl lezend dat veel lastiger is. Kennis hierover moet leiden tot praktische oplossingen die SpraakZien nog beter maken.

Op de faculteit Industrieel Ontwerpen aan de TU Delft worden op dit moment ontwerpaspecten onderzocht, met name voor systemen die gesprekken met meerdere mensen tegelijk kunnen omzetten in herkende spraak.

Daarnaast wordt onderzocht in hoeverre de spreker feedback moet krijgen over hoe de gesproken tekst wordt omgezet in correcte tekst.


Het ontwikkelen van een concept dat zo eenvoudig lijkt naar een kant en klaar product, kost dus veel tijd en inspanning.  Met het beschikbaar komen van nieuwe transparante videobrillen (Epson, Vuzix, Glass-up, Lumus) en betere spraaksoftware verwachten Michiel van Overbeek en Barend Nieuwendijk dat begin 2015 een verbeterd proefmodel beschikbaar is. Over de termijn waarop de SpraakZien bril te koop zal zijn, kan nog geen uitspraak worden gedaan.


Test met toegepaste spraakherkenning.

In samenwerking met de Stichting Plotsdoven wordt op dit moment een Android-app getest (Earfy: zie Earfy.net). Deze app heeft dezelfde functionaliteit die de SpraakZien bril biedt, maar de ondertiteling wordt geprojecteerd op een tablet of smartphone.  Het nadeel is dat de dove -of slechthorende bij het lezen van de ondertiteling niet direct zicht heeft op de spreker. Het voordeel is dat de toepassing reeds beschikbaar is en tegen relatief lage kosten gebruikt kan worden.

De testen worden begin januari afgerond. Daarna komt de app via Google Playstore beschikbaar

Voorbeelden van transparante videobrillen