De afspraak is correct gewijzigd. Toch onderbreekt de spraakagent meerdere keren, begrijpt hij de naam pas bij de derde poging en kiest hij een ongepaste aanspreekvorm. Is de taak succesvol afgerond? Feitelijk misschien wel. Als gesprek was het duidelijk zwakker. Eén enkel succespercentage kan dit verschil verbergen.
Sierra presenteerde tau-i18n op 21 oktober 2026. De benchmark breidt tau-Voice uit naar het Spaans, Braziliaans Portugees, Hindi, Koreaans en Mandarijn en houdt de taken en succescriteria vergelijkbaar. Taakvoltooiing, interactie en de taalkundige kwaliteit van de output worden afzonderlijk beoordeeld. Dit is actueel nieuws met een overdraagbare evaluatievraag, geen universele ranglijst van alle spraakagents.
Een correcte uitkomst beantwoordt alleen de eerste vraag
Ons eigen voorbeeld is een verzonnen omboeking. Iemand wil een afspraak van de ene dag naar een andere verplaatsen. Op het niveau van de uitkomst kun je vragen: is de juiste afspraak voor de juiste persoon gewijzigd? Is rekening gehouden met aanvullende voorwaarden van het verzoek?
Een vriendelijke toon kan een verkeerde registratie niet goedmaken. Omgekeerd maakt een correcte registratie de weg ernaartoe niet automatisch prettig. De twee uitspraken spreken elkaar niet tegen. Ze kijken naar verschillende delen van hetzelfde gebruik.
Voor een eigen evaluatie moet de verwachte uitkomst daarom vóór het gesprek vastliggen. Anders is het makkelijk om de maatstaf achteraf aan te passen aan wat de agent net heeft gedaan. Een vage taak levert een even vage beoordeling van succes op.
Beurtwisseling is een op zichzelf staande bruikbaarheidsvraag
Mensen pauzeren, verbeteren zichzelf en voegen details toe. Een agent kan te vroeg antwoorden en daardoor precies de beperking missen die nog moest komen. Dat is niet hetzelfde als een verkeerde vertaling. Het gaat om de timing van het gesprek.
In het omboekingsvoorbeeld noemt de persoon eerst de gewenste dag en voegt daarna een tijdvak toe. Als de agent na het horen van de dag al met een kant-en-klare beslissing reageert, wordt het gesprek onnodig moeizaam. Ook een kort bevestigend geluid is niet per se een nieuwe hoofdinstructie.
Voor een navolgbare observatie noteer je daarom het specifieke moment: wie was er aan het woord, welke informatie ontbrak nog en waarom onderbrak de reactie de flow? „Klonk hortend” is een indruk. Een specifieke voortijdige sprekerswissel is een bevinding waarmee je aan de slag kunt.
Taalkundige kwaliteit is meer dan herkenbare woorden
Aanspreekvorm, formulering en uitspraak moeten passen bij de betreffende taal en situatie. Bij namen en getallen kan onduidelijke output de taak direct moeilijker maken. Een zin die formeel correct is vertaald, kan tegelijk onnatuurlijk of ongepast beleefd klinken.
Dit valt niet betrouwbaar te beoordelen op basis van alleen Engelse terugvertalingen. Voor specifieke resultaten in andere talen heb je mensen nodig die de formulering in de daadwerkelijke taal kunnen beoordelen. De taak moet over de taalversies heen vergelijkbaar blijven, zonder elke taalconventie terug te brengen tot dezelfde woordvolgorde.
De exacte taalvariant is bijzonder belangrijk. De benchmark noemt Braziliaans Portugees; dat zegt niet automatisch iets over Europees Portugees. Elke extra taal of variant is een specifiek onderzoeksobject, geen inwisselbare teller.
Een eigen evaluatieformulier voorkomt verwarring
Het volgende sjabloon is een eigen didactisch schema, geen outputformaat van tau-i18n. Het bevat bewust nog geen resultaten:
Case ID:
Expected change:
Outcome: correct / incorrect / unclear
Interaction: specific observation + point in the conversation
Language: expression, form of address, pronunciation
Basis of assessment: language and the actual recordingPas de drie niveaus toe op dezelfde opname wanneer je later zelf test. Leg de feitelijke beslissing los van het taalkundige oordeel vast. Een taalfout kan belangrijk zijn zonder dat dit al betekent dat de taak onjuist is uitgevoerd. Evenzo kan een natuurlijke stem een feitelijke fout verhullen.
De publicatie van Sierra komt van de aanbieder van de benchmark en kijkt naar specifieke systemen en taken. We reproduceren hier geen anderstalige audio, metingen of eigen geslaagde runs. Het inzicht ligt in de preciezere vraag die je over een gesprek kunt stellen: is de juiste uitkomst tot stand gekomen, bleef de persoon zinvol betrokken en was de taalkundige output passend begrijpelijk? Alleen deze gescheiden blik laat zien welke verbetering echt nodig is.
Bronnen en status
Onderzoek en documentatie per 25 oktober 2026. tau-i18n: evaluatie over talen heen en verder dan taakvoltooiing.
