Belangrijkste afhaalrestaurants
- Navi gebruikt SharePlay en de ingebouwde spraak-naar-tekst van Apple om ondertitels en vertalingen in FaceTime aan te bieden.
- Het is verre van perfect, maar al goed genoeg.
- Ondertitels zijn geweldig voor de toegankelijkheid.
Navi is een app die live ondertitels en re altime vertalingen toevoegt aan je FaceTime-gesprekken.
De app gebruikt SharePlay en ingebouwde spraakherkenning om ondertitels en vertalingen in 20 talen toe te voegen aan je FaceTime-gesprekken. Het is een ongelooflijk gebruik van SharePlay, dat de meesten van ons beschouwen als een gimmicky manier om gesynchroniseerde films te bekijken met mensen op andere plaatsen. Je hoeft je vertaler misschien nog niet te ontslaan, maar een app die dit goed doet, kan waanzinnig handig zijn.
"Ik krijg de audio van het FaceTime-gesprek niet", schrijft Navi-ontwikkelaar Jordi Bruin op Twitter, "maar gebruik SharePlay om het te delen met de deelnemers aan het gesprek."
SharePlay
SharePlay is een nieuwe functie in iOS 15 en macOS 12.1 waarmee je dingen kunt delen en synchroniseren in FaceTime-gesprekken. Met het voorbeeld van film kijken hierboven kan elke deelnemer de film pauzeren of afspelen, bijvoorbeeld terwijl jullie allemaal chatten in de FaceTime-oproep. De FaceTime-video blijft open in een klein, zwevend beeld-in-beeld-paneel en elke deelnemer voert de app lokaal op zijn apparaat uit. De truc van SharePlay is om te synchroniseren wat er in deze lokale apps gebeurt, zodat iedereen de ervaring deelt, of het nu een film, een Fitness+-workout of een spreadsheet is.
Navi gebruikt dezelfde technologie, alleen is de app voor bellen geen film, het is een re altime vertaalmachine. Om het te gebruiken, start je de app tijdens een FaceTime-gesprek en tik je op de knop 'Ondertiteling inschakelen'. Dan kunnen ook andere deelnemers deelnemen aan de actie en live ondertitels zien voor de huidige spreker. Als iemand monoloog, groeit zijn tekstballon en blijft hij wat langer hangen.
Voor doven kan dit het verschil betekenen tussen mensen bellen of niet. En voor iedereen betekent het dat je nuttige gesprekken kunt voeren tussen mensen die geen taal delen.
Universele tekst
Het internet is gebouwd op tekst, en dat is geweldig. Het is klein en gemakkelijk te maken, te lezen en te vertalen. Het is ook eenvoudig om te zetten in gesynthetiseerde spraak. Het resultaat is dat iedereen van overal kan deelnemen aan elk gesprek. Taal is geen barrière, net als doofheid of enige vorm van blindheid, zolang u een apparaat gebruikt met goede toegankelijkheidshulpmiddelen voor slechtziendheid of slechthorendheid.
Maar het gesproken woord is veel moeilijker te verwerken. Spraak-naar-tekst dicteren is indrukwekkend, maar het is pas relatief recent dat algemene spraakherkenning goed genoeg is geworden voor algemeen gebruik - Apple's Translate-app is een goed voorbeeld. Geïntroduceerd in iOS 15, biedt het re altime audiovertalingen. Als we nog steeds op buitenlandse vakanties zouden gaan, zou het perfect zijn.
Nu gebruiken we video steeds meer voor werk en om in contact te blijven met vrienden en familie. Hoe we in de toekomst ook werken, de barrière voor videogesprekken is grondig doorbroken. Het is nu een veelgebruikt hulpmiddel, maar het mist veel van de finesse van schriftelijke communicatiehulpmiddelen.
Iets als Navi, dat re altime ondertitels en vertaling biedt, kan belangrijk zijn. Toegankelijkheid is één aspect, maar het vermogen om te praten met mensen wiens taal je niet spreekt, opent een verbazingwekkende mate van internationale zaken.
In actie
Ik heb Navi getest met app-ontwikkelaar, auteur en hoortoestelgebruiker Graham Bower. Het is redelijk goed, maar nog niet klaar voor kritieke taken. Sommige transcripties waren komisch slecht en te vulgair om te vertellen. Naarmate ons gesprek vorderde, werd het echter een stuk beter om zijn toespraak nauwkeurig te herkennen. Dat is logisch, want de iOS-dicteerengine past zich na verloop van tijd aan uw stem aan.
De vertaling werkte ook, hoewel de kwaliteit van de vertalingen afhangt van de nauwkeurigheid van de invoer.
Het is gemakkelijk om dit soort technologie te projecteren in toekomstige Apple-brillen of welk gerucht AR/VR-product dan ook waar deze week aan wordt gewerkt.
"Ik zie dit werken in een AR-bril", zei Bower tijdens ons gesprek. "Sommige mensen, zelfs met een normaal gehoor, geven de voorkeur aan ondertitels in films. Dit zou vergelijkbaar zijn met ondertitels in het echte leven."
Hoewel het een indrukwekkende technische demo is, is Navi er nog niet. Voor betrouwbaar zakelijk gebruik zal Apple's initiële spraakherkenning een stuk nauwkeuriger moeten worden. Maar qua snelheid is het prima, en de vertalingen zijn zo goed als alle andere.
Maar we zijn nu op de goede weg, en dit soort dingen zullen alleen maar beter worden.
