KI Telefonassistent Technik: Latenz, Spracherkennung und Unterbrechungen

Am Telefon ist Stille ein Signal. Wer eine Frage stellt und nach einem Moment immer noch nichts hört, fragt „Hallo?“ oder wiederholt den Satz. Genau dort beginnt das typische Fehlerbild von Sprachassistenten: Der Anrufer redet los, während die Antwort des Systems gerade anläuft, beide verstummen, beide setzen neu an. Nach zwei, drei solchen Momenten hat das Gespräch seinen Takt verloren.

Angenommen, ein Betrieb testet einen Assistenten zunächst im Büro, mit klarer Stimme, über WLAN und mit ruhigem Raum. Die Vorführung überzeugt, weil nichts davon dem echten Anruf ähnelt. Draußen telefonieren Menschen von der Baustelle, aus dem Auto, mit Kopfhörer, mit Kind im Hintergrund. Sie sprechen schnell, brechen Sätze ab und nennen Namen, die kein Wörterbuch kennt.

Diese Studie ordnet die Technik hinter einem Sprachassistenten so ein, dass Sie Angebote und Vorführungen kritisch lesen können. Sie ist eine Fachanalyse, keine Projektdokumentation, und nennt deshalb bewusst keine Messwerte aus Einsätzen. Es geht um Mechanismen: wo Zeit verloren geht, wo Verständnis scheitert und welche Gegenmaßnahmen sich bewährt haben.

Ein Sprachassistent besteht in der klassischen Bauweise aus drei Stufen. Die Spracherkennung wandelt Audio in Text um, ein Sprachmodell entscheidet, was geantwortet wird, und die Sprachsynthese macht daraus wieder Ton. Jede Stufe braucht Zeit, und die Zeiten addieren sich zu der Pause, die der Anrufer hört. Hinzu kommen Übertragungswege zwischen Telefonnetz, Anbieter und Servern.

Wichtig ist, dass die Gesamtpause nicht nur aus Rechenzeit besteht. Das System muss zuerst erkennen, dass der Anrufer fertig ist. Diese Endpunkterkennung entscheidet, ob nach einer kurzen Atempause schon geantwortet wird oder erst nach einer längeren Stille. Ist sie zu empfindlich, fällt das System dem Sprecher ins Wort. Ist sie zu träge, entsteht eine Pause, die niemand dem Modell zuschreibt, sondern dem Betrieb.

Eine zweite Herausforderung ist Verständnis unter schlechten Bedingungen. Telefonate werden mit eingeschränkter Bandbreite übertragen, Mobilfunk komprimiert zusätzlich, und Hintergrundgeräusche wie Wind oder Maschinen überlagern Konsonanten. Gerade Konsonanten tragen die Information bei Namen und Zahlen. Aus „fünf“ und „elf“ oder „Meier“ und „Maier“ wird dann eine Vermutung.

Die dritte Herausforderung liegt im Dialog selbst. Menschen unterbrechen, bestätigen mit „mhm“ und korrigieren sich mitten im Satz. Ein Assistent, der nur nacheinander sprechen und zuhören kann, wirkt wie ein Anrufbeantworter mit Vorlesefunktion. Gute Technik muss gleichzeitig zuhören und sprechen können und entscheiden, was davon Störung ist und was Absicht.

Neben der Kaskade gibt es Modelle, die Audio direkt entgegennehmen und Audio ausgeben, ohne den Zwischenschritt über Text. Sie versprechen natürlichere Betonung und kürzere Pausen, weil keine Übergabe zwischen Stufen nötig ist. Auch Zwischenlaute und Unterbrechungen lassen sich damit flüssiger behandeln. Der Preis ist weniger Kontrolle: Was genau gesagt wird, lässt sich schwerer vorab prüfen.

Die Kaskade ist technisch weniger elegant, aber besser steuerbar. Der Text zwischen den Stufen lässt sich protokollieren, filtern und gegen Regeln prüfen, bevor er gesprochen wird. Das ist dort wichtig, wo ein Assistent keine Preise erfinden oder keine Zusagen machen darf. Sie können außerdem einzelne Bausteine austauschen, etwa die Stimme wechseln, ohne das Modell anzufassen.

Welche Bauweise passt, hängt vom Einsatz ab. Für Gespräche mit klarem Ablauf, etwa Terminaufnahme oder Rückrufbitte, ist die Kaskade mit gutem Streaming meist beherrschbar und nachvollziehbar. Für freie, längere Gespräche kann ein Sprach-zu-Sprache-Modell spürbar natürlicher wirken. Die Entscheidung sollte am Gesprächsmuster hängen und nicht an der Marketingaussage zur Architektur.

Auch Mischformen sind möglich. Manche Aufbauten nutzen für die Zuhörseite ein schnelles Erkennungsmodell und lassen nur für schwierige Stellen ein größeres Modell nachprüfen. Andere schalten für feste Ansagen wie Begrüßung und Datenschutzhinweis vorab erzeugte Aufnahmen vor, die ohne Wartezeit starten und die Rechenzeit für die erste echte Antwort freigeben.

Dazu eine nüchterne Einschränkung: Die Modelllandschaft ändert sich schnell. Aussagen darüber, welcher Anbieter gerade die niedrigste Latenz liefert, veralten in Monaten. Beständig ist die Methode: dieselben aufgezeichneten Testgespräche durch beide Bauweisen laufen lassen und Pausen, Verständnisfehler und Kontrollierbarkeit vergleichen.

Der wirksamste Hebel gegen Pausen ist Streaming. Statt zu warten, bis jede Stufe fertig ist, reicht jede Stufe ihr Zwischenergebnis sofort weiter. Die Spracherkennung liefert laufend Teiltexte, das Sprachmodell beginnt zu antworten, sobald es genug weiß, und die Sprachsynthese spricht den ersten Satz, während der zweite noch entsteht. So überlappen sich die Zeiten, statt sich zu addieren.

Daneben hilft ein Kniff, den Menschen selbst nutzen: ein kurzer Bestätigungslaut oder eine Überleitung, während das System arbeitet. „Moment, ich schaue nach“ überbrückt eine Terminabfrage, bei der ein Kalender befragt werden muss. Wichtig ist, solche Füller sparsam und ehrlich einzusetzen. Wer nach jeder Frage „Einen Augenblick“ sagt, klingt nach Warteschleife, und der Trick nutzt sich ab.

Eine weitere Maßnahme ist, Rechenwege kurz zu halten. Je näher Telefonanbindung, Erkennung und Modell beieinander laufen, desto weniger Netzstrecke fällt an. Auch die Länge des Systemprompts und die Zahl der Werkzeugaufrufe pro Antwort wirken auf die Pause. Ein Assistent, der für jede Auskunft drei Systeme befragt, wird langsamer sein als einer, der die wenigen nötigen Angaben vorhält.

Das Ziel ist nicht eine bestimmte Zahl, sondern ein stimmiger Rhythmus. Ob eine Pause als natürlich oder als störend erlebt wird, hängt auch von der Art der Frage ab: Nach einer einfachen Ja-Nein-Frage erwarten Menschen sofortige Antwort, nach einer Rechenfrage tolerieren sie Nachdenken.

Das Fachwort für Unterbrechungen lautet Barge-in. Während der Assistent spricht, bleibt die Erkennung aktiv. Setzt der Anrufer ein, stoppt die Ausgabe, und das System verarbeitet, was gesagt wurde. Klingt einfach, ist aber heikel, weil nicht jedes Geräusch eine Unterbrechung ist. Ein Husten, ein vorbeifahrender Lkw oder ein „mhm“ sollen die Ansage nicht abwürgen.

Praktisch lösen Systeme das mit Schwellen. Erst wenn über eine kurze Dauer erkennbare Sprache anliegt, gilt es als Unterbrechung. Ein reines Bestätigungswort wie „ja“ oder „genau“ kann gezielt ignoriert oder als Zustimmung gewertet werden. Diese Feinabstimmung ist für jedes Einsatzgebiet anders: Auf der Baustelle braucht es robustere Filter als im ruhigen Büro.

Ein eigener Stolperstein ist das Echo. Wenn der Anrufer über Lautsprecher telefoniert, hört das System seine eigene Stimme im Rückkanal und kann sich selbst unterbrechen. Echounterdrückung gehört deshalb zur Grundausstattung der Telefonanbindung. Sie sollten sie bei Tests gezielt provozieren, etwa mit Freisprecheinrichtung im Auto.

Hinzu kommt die Frage, wie lange das System nach dem letzten Wort wartet. Wer eine Telefonnummer diktiert, macht zwischen den Zifferngruppen Pausen, die länger sind als im normalen Satz. Ein Assistent mit starrer Wartezeit schneidet ihn dann mitten in der Nummer ab. Besser ist eine Endpunkterkennung, die den Gesprächsstand berücksichtigt: Wurde gerade nach einer Nummer gefragt, wartet das System länger, bei einer Ja-Nein-Frage antwortet es zügig.

Nach einer Unterbrechung muss das System wissen, was der Anrufer noch gehört hat. Wurde der Satz mit dem Preis nach der Hälfte abgebrochen, darf das Modell nicht annehmen, die Information sei angekommen. Gute Umsetzungen merken sich, bis zu welchem Wort gesprochen wurde, und knüpfen daran an.

Technisch lässt sich ein Assistent in Schichten denken, die man einzeln prüfen kann. Unten liegt die Telefonanbindung, die Anrufe annimmt und Audio übergibt. Darüber sitzt die Sprachverarbeitung mit Erkennung und Synthese. Es folgt die Dialogsteuerung mit Sprachmodell, Regeln und Gesprächszustand. Oben stehen die Anbindungen an Kalender, Telefonanlage oder CRM, die Auskünfte liefern und Termine eintragen.

Der Vorteil dieser Sicht: Fehler lassen sich einer Schicht zuordnen. Hört der Assistent „Müller“ statt „Möller“, liegt es an der Erkennung oder am Audio, nicht am Modell. Klingt die Antwort richtig, aber falsch betont, liegt es an der Synthese. Und erfindet das System einen Termin, liegt es an der Steuerung, die Angaben aus dem Kalender nicht verbindlich zuließ.

Für die Qualität zählt auch, was das System von sich aus nicht tun darf. Die Dialogsteuerung sollte feste Grenzen kennen: keine verbindlichen Preise nennen, keine rechtlichen oder medizinischen Aussagen treffen, bei Unsicherheit an einen Menschen übergeben. Diese Grenzen gehören in Regeln und Prüfungen, nicht nur in einen Prompt, denn ein Prompt ist eine Bitte, keine Absperrung.

Zuletzt gehören Protokoll und Messpunkte in jede Schicht. Zeitstempel an den Übergängen zeigen, wo Pausen entstehen. Gespeicherte Erkennungstexte erlauben es, Fehlverstehen nachträglich zu prüfen. Aufzeichnungen von Anrufen berühren dabei Datenschutz und Einwilligung. Die Regeln dazu sollten Sie vor dem Start mit Ihrem Datenschutzbeauftragten oder Berater klären, das ist hier Orientierung und keine Rechtsberatung.

Dialekte und Akzente sind kein Randthema, sondern Alltag am Telefon. Moderne Spracherkennung versteht die meisten regionalen Färbungen erstaunlich gut, bei starkem Dialekt, schnellem Sprechen oder Mischsprachen steigen die Fehler aber. Eine pauschale Aussage über Erkennungsraten wäre unseriös, denn sie hängt von Anbieter, Sprachvariante und Audioqualität ab. Das Einzige, was zählt, ist der Test mit den Stimmen Ihrer eigenen Anrufer.

Bei Geräuschen helfen drei Dinge. Die Rauschunterdrückung säubert das Audio vor der Erkennung, was bei Dauergeräuschen wie Motoren gut funktioniert, bei wechselnden Stimmen im Hintergrund weniger. Zweitens kann das System ehrlich zurückfragen: „Ich verstehe Sie schlecht, können Sie das noch einmal sagen?“ Drittens sollte es bei anhaltend schlechter Verbindung früh einen Rückruf anbieten, statt das Gespräch zu quälen.

Besonders fehleranfällig sind Eigennamen, Straßen, Telefonnummern und Hausnummern. Hier bewährt sich eine feste Bestätigungsschleife: Das System wiederholt die Angabe in anderer Form und lässt sie bestätigen. Bei Zahlen sagt es sie ziffernweise, bei Namen bietet es das Buchstabieren an, auch mit Hilfe des deutschen Buchstabieralphabets, wenn der Anrufer dazu bereit ist.

Wertvoll ist zudem ein Abgleich mit Daten, die das System ohnehin hat. Nennt jemand eine Straße, lässt sie sich gegen eine Ortsliste prüfen. Bei Bestandskunden kann die Rufnummer den Namen vorschlagen. Das spart Rückfragen, birgt aber eine Falle: Wer eine Vermutung als Fakt übernimmt, bestätigt Fehler. Der Abgleich sollte deshalb immer als Frage formuliert werden und nicht als Behauptung.

Realistisch lässt sich erwarten, dass ein sauber gebauter Assistent Anrufe mit klarem Ziel zuverlässig bearbeitet: Termin anfragen, Rückruf vereinbaren, Öffnungszeiten nennen, Anliegen aufnehmen. Je enger das Gesprächsziel, desto besser die Ergebnisse. Wo freie Beratung gefragt ist, wird die Fehlerquote höher, und der Weg zum Menschen muss kurz sein.

Messen lässt sich der Nutzen an Größen, die Sie selbst erheben. Dazu zählen die Rate der Gespräche, die ohne Übergabe zum Ziel führen, die Zahl der Abbrüche nach der ersten Antwort, die Häufigkeit von Rückfragen wegen Nichtverstehens und die Qualität der aufgenommenen Angaben, etwa bei Namen und Rufnummern. Hinzu kommt die Pause zwischen Ende der Anruferäußerung und Beginn der Antwort, gemessen in den Protokollen.

Keine seriöse Zusage gibt es zu Erkennungsraten, Pausenlängen oder Zufriedenheit vor dem Test. Zu viele Faktoren liegen außerhalb des Systems: Netzqualität, Endgerät, Umgebung, Sprechweise. Sprachtechnik verbessert sich zwar laufend, aber Verbesserungen kommen in den Bausteinen an, nicht automatisch in Ihrem Betrieb. Ihre Ergebnisse verändern sich erst, wenn Sie nachmessen und nachjustieren.

Die Stimmwahl gehört ebenfalls in diese Betrachtung. Eine Stimme, die zu schnell oder zu getragen spricht, erzeugt mehr Rückfragen, auch wenn die Erkennung einwandfrei arbeitet. Wählen Sie die Stimme deshalb nicht nach Klangeindruck im Studio, sondern nach Verständlichkeit über Mobilfunk. Hören Sie Kandidaten über ein einfaches Handy-Lautsprecherprofil und mit leichtem Rauschen an, und lassen Sie Menschen aus Ihrem Umfeld Zahlen und Straßennamen nachschreiben, die die Stimme vorliest.

Ein ehrlicher Punkt noch: Ein Assistent ersetzt keine Beziehung. Anrufer, die Ärger haben oder ein heikles Anliegen, wollen einen Menschen. Der Erfolg zeigt sich auch darin, wie gut die Übergabe funktioniert, nicht nur darin, wie viele Anrufe der Assistent allein abschließt.

Vorführsätze beweisen wenig, weil sie gesprochen werden, wie das System sie gern hört. Aussagekräftig sind Tests mit Gesprächsmustern aus dem eigenen Betrieb. Sammeln Sie dazu typische Anliegen aus dem Alltag, am besten aus Notizen, Rückrufzetteln und der Erinnerung der Mitarbeitenden. Aus Datenschutzgründen sollten echte Aufzeichnungen nur mit Einwilligung und Zweckbindung genutzt werden, sonst spielen Mitarbeitende die Anrufe nach.

Ein guter Testsatz enthält bewusst schwierige Fälle: Anrufer mit Dialekt, mit Hintergrundlärm, mit Freisprecheinrichtung, jemand, der mitten im Satz das Thema wechselt, jemand, der einen langen Doppelnamen nennt, jemand, der „Moment, ich muss kurz nachsehen“ sagt. Genauso wichtig sind Gespräche, die der Assistent gar nicht führen soll, etwa Beschwerden oder Fragen außerhalb seines Auftrags.

Ausgewertet wird nicht nur, ob am Ende ein richtiges Ergebnis steht, sondern auch der Weg dorthin. Wie oft musste nachgefragt werden, wo entstand eine auffällige Pause, an welcher Stelle wurde fälschlich unterbrochen? Ein Gespräch, das zwar gelingt, aber zweimal aus dem Takt gerät, ist ein Befund, kein Erfolg.

Ein praktischer Prüfschritt betrifft die Wiederholbarkeit. Ändern Sie nach einem Test nur eine Sache, etwa die Wartezeit der Endpunkterkennung, und spielen Sie dieselben Gespräche erneut. Nur so sehen Sie, ob eine Änderung hilft. Wer mehrere Stellschrauben gleichzeitig dreht, weiß hinterher nicht, was gewirkt hat, und riskiert, dass sich Verbesserung und Verschlechterung gegenseitig verdecken.

Nach dem Start geht das Testen weiter. Wöchentlich eine Stichprobe von Gesprächen anzuhören, ist die effektivste Qualitätsmaßnahme, die es gibt. Dabei entstehen die besten Verbesserungen: ein ergänzter Fachbegriff, eine angepasste Bestätigung, ein früherer Rückruf-Vorschlag.

Ein Sprachassistent ist dann gut, wenn er sich im Gespräch unauffällig verhält: keine langen Pausen, kein Dazwischenreden, keine verhörten Namen, die erst am Ende auffallen. Dahinter steckt weniger Zauberei als sorgfältige Technik und viel Prüfarbeit. Wer das versteht, kann Angebote besser vergleichen und Versprechen auf ihre Substanz abklopfen.

Die Stimme gehört dazu, sie ist aber nicht die Hauptsache. Eine ruhige, klar verständliche Stimme mit dezenter Betonung wirkt am Telefon besser als eine Imitation, die Menschlichkeit vortäuscht. Sagen Sie Anrufern, dass sie mit einem digitalen Assistenten sprechen. Das ist ehrlich und wird nach unserer Einschätzung weitgehend akzeptiert, wenn das Gespräch dann funktioniert. Die rechtlichen Hinweispflichten sollten Sie vorab klären.

Wer diese Technik kauft oder bauen lässt, sollte drei Fragen stellen. Wie wird die Pause gemessen und wo im System? Wie verhält sich der Assistent bei Unterbrechung, Echo und Lärm? Und was geschieht, wenn er etwas nicht versteht, nach dem zweiten Versuch? Antworten, die konkret und überprüfbar sind, sprechen für ein reifes System. Ausweichende Antworten, die nur Natürlichkeit betonen, sind ein Warnzeichen.

Der nächste Schritt ist klein: Notieren Sie zehn typische Anrufe Ihres Betriebs, mit den schwierigsten Details, und lassen Sie sie nachspielen. Daran erkennen Sie in einer Stunde, welche Fragen die Technik lösen muss. Wir helfen gern, daraus einen Testplan zu machen und gemeinsam einzuschätzen, ob ein Sprachassistent für Ihren Betrieb eine gute Idee ist, und wo nicht.