Kurzantwort: Ein guter KI-Telefonassistent kann viele Dialekte, Akzente und schwierige Telefonbedingungen verarbeiten – aber nicht garantiert jede Kombination aus Sprechweise, seltenem Namen, Lärm und schlechter Verbindung. Belastbar ist nur ein Test mit den eigenen Anrufarten. Dabei zählen nicht allein richtig erkannte Wörter, sondern exakte Namen und Nummern, korrektes Anliegen, sinnvolle Rückfragen und das richtige Ergebnis im Zielsystem.
Am Telefon fehlen Lippenbewegung, Gestik und schriftlicher Kontext. Dazu kommen schmale Telefonbandbreite, Freisprecheinrichtungen, wechselnde Lautstärke und regionale Aussprache. Ein System, das „Müller“ korrekt transkribiert, kann trotzdem die genannte Kundennummer falsch zuordnen oder eine Selbstkorrektur übersehen. Deshalb ist Spracherkennung nur die erste Ebene der Bewertung.
Die wichtigste Regel lautet: Nicht fragen, ob die KI „Dialekt versteht“, sondern ob sie den konkreten Geschäftsprozess trotz Sprachvariation zuverlässig abschließt.
Vier Ebenen von „verstehen“
| Ebene | Prüffrage | Beispiel für einen Fehler |
|---|---|---|
| 1. Akustische Erkennung | Welche Wörter wurden gehört? | „Schürmann“ wird zu „Schumann“ |
| 2. Semantisches Verständnis | Welches Anliegen meint die Person? | Termin verschieben wird als Absage verstanden |
| 3. Dialogkontext | Welche Angabe gilt nach Korrekturen? | „Dienstag – nein, Mittwoch“ speichert Dienstag |
| 4. Prozessergebnis | Was wurde tatsächlich ausgeführt? | korrektes Transkript, aber falscher Kalender |
Nur Ebene eins mit einer Transkriptgenauigkeit zu bewerben, sagt wenig über Ebene vier aus. Für Unternehmen ist die richtige Buchung, Rückrufnummer oder Weiterleitung das Ziel – nicht ein optisch schönes Gesprächsprotokoll.
Dialekt und Akzent sind nicht dasselbe
Ein Akzent betrifft vor allem die Aussprache einer Sprache, etwa wenn Deutsch nicht die Erstsprache ist. Ein Dialekt kann zusätzlich eigenen Wortschatz, Lautung und Grammatik enthalten. Für die Telefon-KI entstehen dadurch unterschiedliche Aufgaben:
- Akustisch ähnliche Laute müssen korrekt zugeordnet werden.
- Regionale Wörter müssen zum richtigen Standardbegriff führen.
- Nicht standardsprachliche Satzstrukturen dürfen die Anliegenklassifikation nicht verändern.
- Die KI muss Unsicherheit erkennen, statt einen plausiblen falschen Begriff zu wählen.
Vier Fehlerklassen – plus ein gefährlicher Sonderfall
Die klassische Bewertung automatischer Spracherkennung unterscheidet drei Wortfehler. Für Telefonprozesse kommt die Normalisierung als vierte Klasse hinzu.
| Fehler | Bedeutung | Beispiel | Geschäftsfolge |
|---|---|---|---|
| Ersetzung | ein Wort wird durch ein anderes ersetzt | „Meier“ → „Meyer“ | falscher Kontakt oder Datensatz |
| Auslassung | ein gesprochenes Wort fehlt | „nicht stornieren“ → „stornieren“ | Bedeutung kehrt sich um |
| Einfügung | ein nicht gesprochenes Wort erscheint | „am Freitag“ → „nicht am Freitag“ | falscher Terminwunsch |
| Normalisierung | Inhalt wird formal falsch umgewandelt | „null sechs zwei eins“ → 06201 | Rückruf scheitert |
| Kontextfehler | Wörter stimmen, Absicht nicht | „Termin nicht absagen, nur verschieben“ | falsche Aktion trotz gutem Transkript |
Besonders gefährlich sind semantisch kritische Kleinstwörter: „nicht“, „kein“, „erst“, „nur“ oder eine korrigierte Ziffer. Sie machen im Gesamttranskript wenig aus, können aber den kompletten Prozess drehen.
Die richtigen Messwerte: WER reicht nicht
Word Error Rate: nützlich für Transkripte
Die Word Error Rate, kurz WER, vergleicht ein maschinelles Transkript mit einer korrekt beschrifteten Referenz:
WER = (Ersetzungen + Auslassungen + Einfügungen) ÷ Anzahl der Wörter im Referenztext
Enthält die Referenz 20 Wörter und das System ersetzt eines, lässt eines aus und fügt eines hinzu, beträgt die WER 3 ÷ 20 = 15 Prozent. Je niedriger, desto näher liegt das Transkript an der Referenz.
Die offizielle Microsoft-Dokumentation zur Speech-Evaluation beschreibt dieselben Fehlerklassen und weist darauf hin, dass ihre Verteilung für die Diagnose wichtig ist: Störgeräusche können Einfügungen fördern, schwaches Audiosignal Auslassungen und fehlendes Fachvokabular Ersetzungen.
WER ist trotzdem kein ausreichender Abnahmewert. „Kundin möchte ihren Termin am Dienstag verschieben“ und „Kundin möchte ihren Termin nicht am Dienstag verschieben“ unterscheiden sich nur durch ein Wort, aber vollständig in der Bedeutung.
Exact Match für geschäftskritische Felder
Für Namen, Nummern, Adressen und Termine zählt, ob der vollständige Zielwert exakt oder nach einer zulässigen Normalisierung stimmt.
Feldgenauigkeit = korrekt erfasste Felder ÷ alle getesteten Felder
Bewerten Sie Felder separat. Eine hohe Gesamtrate darf eine schwache Telefonnummernerkennung nicht verstecken.
| Messwert | Was er beantwortet | Typische Einheit |
|---|---|---|
| WER | Wie ähnlich ist das Transkript der Referenz? | Prozent Wortfehler |
| Entity Exact Match | Sind Name, Nummer, Datum oder Adresse korrekt? | Treffer je Feldtyp |
| Intent Accuracy | Wurde das Anliegen richtig klassifiziert? | korrekte Anliegen / alle Anliegen |
| Clarification Rate | Wie oft musste die KI nachfragen? | Nachfragen je Gespräch oder Feld |
| Confirmation Success | Wurde ein Fehler durch Rücklesen erkannt und korrigiert? | korrekte Bestätigungen / Versuche |
| Task Success | Entstand das richtige Geschäftsergebnis? | erfolgreiche Fälle / alle Fälle |
| Safe Fallback | Wurde bei Unsicherheit richtig eskaliert? | korrekte Fallbacks / Unsicherheitsfälle |
Ergebnisse immer nach Teilgruppen ausweisen
Ein Gesamtwert kann systematische Benachteiligung verdecken. Bilden Sie mindestens diese Slices:
- Hochdeutsch und relevante regionale Sprechweisen,
- muttersprachliche und nichtmuttersprachliche Akzente,
- ruhige und geräuschvolle Umgebung,
- Mobilfunk, Festnetz und Freisprecheinrichtung,
- häufige und seltene Namen oder Fachbegriffe,
- normales und schnelles Sprechtempo,
- einzelne Angaben und mehrteilige Selbstkorrekturen.
Aktuelle Forschung bestätigt diesen Ansatz. EVA-Bench testet Voice Agents mit kontrollierten Akzent- und Geräuschvariationen und unterscheidet maximale von zuverlässig wiederholbarer Leistung. Das ist für den Betrieb wichtiger als ein einzelner gelungener Demoanruf.
Ein eigenes Testset aufbauen
Schritt 1: Kritische Sprachelemente inventarisieren
Sammeln Sie aus dem tatsächlichen Prozess:
- Unternehmens-, Personen-, Straßen- und Ortsnamen,
- Produkt-, Leistungs- und Fachbegriffe,
- Telefon-, Kunden-, Auftrags- und Versicherungsnummern,
- Datums-, Uhrzeit- und Mengenformate,
- regional typische Begriffe und Formulierungen,
- Negationen und Korrekturen mit hoher Auswirkung.
Reale Gespräche können dafür wertvolle Hinweise liefern. Audio oder Transkripte dürfen jedoch nicht ungeprüft als Testdaten kopiert werden. Zweck, Rechtsgrundlage, Zugriff und Aufbewahrung sind mit dem Datenschutzkonzept für Telefon-KI abzugleichen. Oft ist es einfacher, typische Sätze mit freiwilligen Testpersonen neu einzusprechen.
Schritt 2: Sprecher und Bedingungen kombinieren
Als nachvollziehbare Mindestmatrix empfehlen wir:
5 relevante Sprecherprofile × 4 akustische Bedingungen × 3 kritische Eingaben = 60 Audiofälle
Das ist kein wissenschaftlicher Universalstandard, sondern eine praktische Untergrenze für einen eng abgegrenzten Prozess. Sprecherprofile können etwa Hochdeutsch, zwei regionale Varianten und zwei relevante Akzente abbilden. Bedingungen können ruhiger Raum, Straße, Fahrzeug und weitere Stimme im Hintergrund sein.
Schritt 3: Referenz und Soll-Ergebnis festlegen
Jeder Audiofall braucht:
- wortgetreues Referenztranskript,
- erwartetes Anliegen,
- exakte Zielwerte für kritische Felder,
- erwartete Rückfrage oder Bestätigung,
- erlaubte Endaktion,
- verbotenes Ergebnis.
Schritt 4: Wiederholbarkeit prüfen
Führen Sie kritische Fälle mehrfach aus. Voice-Agent-Forschung unterscheidet zunehmend zwischen einem einmal möglichen Erfolg und zuverlässig wiederholtem Erfolg. Für eine Telefonnummer oder Buchung zählt nicht, dass sie einmal von fünf Versuchen stimmt.
20 konkrete Testfälle für Dialekt, Namen und Zahlen
1–5: Namen und Fachvokabular
| Nr. | Test | Erwartetes Verhalten |
|---|---|---|
| 1 | häufiger Nachname ohne Buchstabieren | korrekt erfassen und bestätigen |
| 2 | seltener Nachname mit Umlaut oder ähnlichen Lauten | bei Unsicherheit buchstabieren lassen |
| 3 | Name wird nach deutscher Buchstabiertafel genannt | Buchstabenfolge korrekt zusammensetzen |
| 4 | zwei ähnlich klingende Produktnamen | nicht raten, eindeutige Auswahlfrage stellen |
| 5 | regionaler Fachbegriff statt Standardbezeichnung | richtigem Anliegen zuordnen oder Bedeutung klären |
6–10: Nummern, Adressen und Termine
| Nr. | Test | Erwartetes Verhalten |
|---|---|---|
| 6 | Telefonnummer in Zweier- und Dreiergruppen | einheitlich normalisieren und vollständig zurücklesen |
| 7 | führende Null und doppelte Ziffer | keine Ziffer verschlucken oder verdoppeln |
| 8 | Kundennummer mit Buchstaben und Zahlen | Zeichenarten unterscheiden und segmentiert bestätigen |
| 9 | Straße mit ähnlich klingendem Namen plus Hausnummer | beide Felder getrennt prüfen |
| 10 | „Dienstag, der vierzehnte, um Viertel nach zehn“ | Datum und Uhrzeit korrekt normalisieren und bestätigen |
11–15: Dialekt, Akzent und Sprechweise
| Nr. | Test | Erwartetes Verhalten |
|---|---|---|
| 11 | leichte regionale Lautung bei Standardvokabular | Anliegen ohne unnötige Wiederholung erkennen |
| 12 | regionaler Ausdruck für einen bekannten Prozess | Begriff zuordnen oder kurz nachfragen |
| 13 | nichtmuttersprachlicher Akzent | gleiche Prozessqualität wie bei Referenzgruppe anstreben |
| 14 | sehr schnelles Sprechen mit mehreren Angaben | Felder strukturieren und einzeln bestätigen |
| 15 | leise Stimme mit langen Denkpausen | nicht vorschnell unterbrechen; gezielt nachfragen |
16–20: Geräusche und Gesprächsdynamik
| Nr. | Test | Erwartetes Verhalten |
|---|---|---|
| 16 | Fahrzeug-Freisprecheinrichtung | kritische Daten trotz Echo bestätigen |
| 17 | Straße oder Werkstatt mit wechselndem Lärm | Unsicherheit erkennen statt Wort zu erfinden |
| 18 | weitere Person spricht im Hintergrund | Hauptsprecher nicht mit Hintergrundstimme vermischen |
| 19 | Selbstkorrektur: „fünf – nein, vier“ | nur korrigierte Ziffer speichern |
| 20 | Verbindungsabbruch während einer Nummer | unvollständiges Feld nicht als bestätigt übernehmen |
Welche Angaben muss die Telefon-KI bestätigen?
Jedes Feld zurückzulesen macht Gespräche lang und unnatürlich. Nichts zu bestätigen macht Fehler unsichtbar. Die Lösung ist eine risikobasierte Regel.
| Risikostufe | Beispiele | Bestätigungsregel |
|---|---|---|
| Niedrig | allgemeine Öffnungszeitenfrage | keine Rückbestätigung nötig |
| Mittel | Anliegenkategorie, gewünschte Abteilung | bei Mehrdeutigkeit kurz bestätigen |
| Hoch | Name, Rufnummer, E-Mail, Adresse | vollständig oder segmentiert zurücklesen |
| Verbindlich | Termin, Stornierung, Bestellung | Wert und Aktion vor Ausführung bestätigen |
| Sicherheitskritisch | Notfall, rechtliche oder medizinische Grenze | keine freie Interpretation; feste Eskalation |
Gute Bestätigung ist reparierbar
Die KI sollte nicht nur fragen „Ist das richtig?“, sondern den erkannten Wert nennen: „Ich habe 0621 1234567 verstanden. Stimmt das?“ Bei einer Korrektur muss sie nur das betroffene Segment erneut erfassen und danach den vollständigen Zielwert bestätigen.
Für Namen kann Buchstabieren sinnvoll sein. Bei langen Nummern helfen überschaubare Gruppen. Bei Datum und Uhrzeit sollte die normalisierte Bedeutung gesprochen werden: „Dienstag, 14. August, um 10:15 Uhr.“
Erkennungsqualität systematisch verbessern
1. Fachvokabular aus echten Fehlern pflegen
Seltene Namen, Straßen und Fachbegriffe können über Phrase Hints, Custom Classes oder anbieterabhängige Vokabularfunktionen wahrscheinlicher gemacht werden. Die offizielle Google-Cloud-Dokumentation zur Sprachanpassung nennt ausdrücklich Eigennamen, domänenspezifische Wörter, Adressnummern und verrauschtes Audio als Anwendungsfälle.
Mehr Begriffe sind nicht automatisch besser. Zu stark bevorzugte oder ähnlich klingende Einträge können neue Ersetzungsfehler erzeugen. Jede Änderung benötigt einen Regressionstest mit Zielbegriffen und Verwechslungsbegriffen.
2. Fragen so formulieren, dass Antworten erwartbar werden
„Sagen Sie mir alles zu Ihrem Anliegen“ erzeugt unstrukturierte lange Aussagen. Eine konkrete Frage wie „Wie lautet Ihre Rückrufnummer?“ begrenzt den erwarteten Datentyp. Noch besser ist eine anschließende Bestätigung.
3. Kritische Daten getrennt erfassen
Name, Nummer, Adresse und Termin in einer einzigen Frage erhöhen die Fehler- und Reparaturlast. Teilen Sie sie in sinnvolle Schritte, ohne den Dialog in ein starres Sprachmenü zu verwandeln.
4. Unsicherheit als Funktion behandeln
Ein System ist nicht gut, weil es nie nachfragt. Es ist gut, wenn es bei relevanter Unsicherheit die richtige Reparatur wählt:
- Bitte um Wiederholung,
- Bitte um Buchstabieren,
- Auswahl zwischen zwei erkannten Möglichkeiten,
- segmentiertes Zurücklesen,
- Übergabe oder Rückrufaufnahme nach wiederholtem Scheitern.
5. Telefonbedingungen statt Studiomikrofon testen
Web-Demos umgehen Teile des Telefonnetzes und nutzen oft bessere Audioqualität. Ein produktiver Test muss über die reale Geschäftsnummer, vorgesehene Rufumleitung und typische Endgeräte erfolgen. Auch die Anbindung der bestehenden Rufnummer kann beeinflussen, welche Audio- und Nummerninformationen ankommen.
6. Fehlermuster statt Einzelgespräche auswerten
Markieren Sie Fehler nach Feld, Sprecherprofil, Geräusch, Gerät und Prozessschritt. Erst dann wird sichtbar, ob etwa alle Straßennamen, nur eine Mobilfunkroute oder eine bestimmte regionale Aussprache betroffen ist.
7. Nach jeder Anpassung das Kernset wiederholen
Ein neues Vokabular, Modell oder Turn-Timing kann einen Fehler beheben und einen anderen erzeugen. Verwenden Sie das 60-Fälle-Kernset als Regressionstest und behalten Sie unveränderte Referenzaufnahmen für faire Vergleiche.
Zwölf Fragen an Anbieter
- Auf welchen echten deutschen Telefonaudios wurde die Erkennung bewertet?
- Welche Dialekte und Akzente wurden mit welcher Stichprobe getestet?
- Wird WER oder nur eine nicht definierte „Erkennungsquote“ genannt?
- Gibt es Ergebnisse getrennt nach Namen, Nummern, Adressen und Fachbegriffen?
- Wie unterscheiden sich ruhige Web-Demo und echtes Telefonnetz?
- Können wir eigene Testpersonen und Geräuschbedingungen verwenden?
- Wie werden unterdrückte oder unsicher erkannte Felder behandelt?
- Welche Vokabular- oder Phrase-Anpassung ist möglich?
- Wie werden ähnlich klingende Begriffe gegengetestet?
- Welche Felder lassen sich verpflichtend bestätigen?
- Wie funktioniert die Reparatur nach einer Korrektur?
- Werden sichere Fallbacks und wiederholte Testläufe dokumentiert?
Häufige Fragen zur Spracherkennung
Versteht ein KI-Telefonassistent Dialekte und Akzente?
Moderne Systeme können viele Sprechweisen verarbeiten, aber nicht fehlerfrei. Belastbar ist nur ein Test mit relevanten Stimmen, Telefonwegen, Fachbegriffen und Geräuschen des eigenen Einsatzes.
Wie misst man, ob die KI Sprache richtig versteht?
WER misst Wortfehler im Transkript. Für Geschäftsprozesse braucht es zusätzlich exakte Feldtreffer, richtige Anliegenklassifikation, Klärungsrate, Bestätigungserfolg und vollständigen Aufgabenerfolg.
Warum sind Namen und Fachbegriffe schwieriger?
Seltene Begriffe haben weniger wahrscheinliche Laut-zu-Wort-Zuordnungen. Ein gepflegtes Fachvokabular kann helfen, muss aber mit ähnlich klingenden Alternativen getestet werden.
Muss die KI Telefonnummern und Termine wiederholen?
Ja, geschäftskritische Angaben sollten vollständig oder segmentiert zurückgelesen und erst nach Bestätigung gespeichert beziehungsweise ausgeführt werden.
Welche Hintergrundgeräusche sollte man testen?
Mindestens Fahrzeug, Straße, Büro mit weiteren Stimmen, Werkstatt oder Praxisempfang und eine schwache Mobilfunkverbindung. Wichtig ist auch, ob die KI Unsicherheit erkennt.
Welche Erkennungsquote ist gut?
Eine einzige allgemeine Zahl ist nicht belastbar. Die zulässige Fehlerquote hängt vom Feld und Risiko ab. Eine falsch verstandene allgemeine Frage ist anders zu bewerten als eine falsche Rufnummer oder Terminbuchung.
Fazit: Nicht Wörter zählen, sondern richtige Ergebnisse
Dialekt- und Geräuschrobustheit sind keine Ja-Nein-Funktionen. Ein System kann Standardfragen gut erkennen und bei seltenen Namen, Negationen oder Zahlen scheitern. Genau deshalb braucht ein Unternehmen mehrere Messwerte und ein eigenes, wiederholbares Testset.
WER zeigt Transkriptfehler. Feldgenauigkeit schützt Namen und Nummern. Intent Accuracy prüft das Anliegen. Bestätigungs- und Fallback-Regeln fangen unvermeidbare Unsicherheit ab. Erst der Aufgabenerfolg zeigt, ob aus Sprache ein verlässlicher Unternehmensprozess wurde.
Bringen Sie schwierige Namen, echte Fachbegriffe und typische Sprechweisen in eine Teloro-Demo mit. Wir testen nicht nur, was im Transkript steht, sondern welches Ergebnis daraus entsteht.
Spracherkennung realistisch testen