Latenz eines KI-Sprachassistenten senken: Leitfaden 2026

Ihr Sprachagent antwortet nach zwei Sekunden und die Unterhaltung bricht zusammen. Die Nutzerin wartet, langweilt sich, redet über den Assistenten hinweg oder tippt am Ende doch nur. Forschung zu Sprecherwechseln setzt die durchschnittliche menschliche Pause bei rund 200 ms an, alles über 500 ms wirkt bereits unnatürlich. Über 1,5 s hinaus fühlt es sich nach einer Verzögerung an, für die man sich entschuldigen muss.

Die gute Nachricht: Das Latenzbudget eines gut abgestimmten Sprachagenten liegt 2026 bequem unter einer Sekunde von Ende zu Ende, und jede Millisekunde darüber ist behebbar. Die schlechte: Die meisten selbst gehosteten Sprach-Pipelines verlieren zwischen 800 und 1500 ms an Batch-Synthese, blockierendem STT und einem Re-Encoding-Schritt, über den niemand spricht.

Dieser Beitrag geht durch, wo die Sekunden tatsächlich bleiben, welche Optimierungen wirklich Wirkung zeigen und wie ein Stack unter 500 ms 2026 aussieht. Wenn Sie den Sprachagenten von Grund auf aufsetzen, lesen Sie zuerst den Leitfaden zur Sprach-Einrichtung und kommen dann für den Latenz-Durchgang zurück.

Wo die Sekunden wirklich bleiben

Ein Sprachdurchgang besteht aus vier aufeinanderfolgenden Schritten, jeder mit eigenem Budget. Reißen Sie einen davon, rutscht der ganze Durchgang.

Stufe	Gut abgestimmtes Ziel 2026	Häufiges selbst gehostetes Ergebnis
Sprachaktivitätserkennung + Audio-Aufnahme	~50 ms	100-200 ms
STT (Transkription)	100-200 ms Streaming	500-1500 ms im Batch
LLM Zeit bis zum ersten Token	150-400 ms	700-2000 ms
TTS erster Audio-Chunk	40-150 ms Streaming	500-1200 ms im Batch
Transport (WebRTC / Telegram-Upload)	20-80 ms	200-600 ms

Die zwei echten Sprünge heißen Streaming und Anbieterwahl. Eine Pipeline, die STT vollständig abschließt, bevor das LLM startet, dann die komplette LLM-Antwort abwartet, bevor das TTS startet, und das Audio vor dem Upload noch einmal umkodiert, landet leicht bei 3-4 s pro Durchgang. Dieselbe Pipeline mit Streaming-Übergängen zwischen den Stufen, einem TTS mit geringer Latenz und dem Codec, den der Kanal ohnehin akzeptiert, liegt näher an 500-800 ms.

Streaming ist mit Abstand der größte Gewinn

Batch-Synthese ist der häufigste Grund, warum ein selbst gehosteter Sprachagent sich zäh anfühlt. In einer Batch-Pipeline schreibt das LLM seine gesamte Antwort fertig, übergibt den kompletten Text an das TTS, wartet auf das gerenderte Audio und spielt es dann ab. Sind es 30 Tokens, wartet die Nutzerin 30 Tokens lang, bevor eine einzige Silbe ertönt.

Streaming dreht das um. Das LLM emittiert Tokens, sobald sie entstehen, das TTS beginnt zu synthetisieren, sobald es den ersten Satzteil hat, und der erste Audio-Chunk erreicht den Kanal, während der Rest der Antwort noch geschrieben wird. Unabhängige Auswertungen aus 2026 messen diesen Wechsel als 300-600 ms geringere gefühlte Latenz und bis zu 400-800 ms weniger P95-Latenz pro Durchgang, wenn Sie zusätzlich STT ins LLM streamen.

Zwei praktische Regeln:

Streamen Sie in das LLM hinein und wieder heraus. Puffern Sie nicht die gesamte Transkription, bevor Sie das LLM aufrufen, und nicht die gesamte LLM-Antwort, bevor Sie das TTS aufrufen. Jedes ernsthafte SDK unterstützt Token-Streaming.
Wählen Sie ein TTS mit erstem Chunk unter 150 ms. Der Batch-Modus von ElevenLabs Multilingual v2 klingt großartig, aber ein Time-to-First-Audio von 500-800 ms killt die Konversation in Echtzeit.

TTS-Latenz pro Anbieter, ehrliche Zahlen

Anbieter-Benchmarks lügen, weil sie ihren Schnellmodus gegen den Realistikmodus aller anderen stellen. Coval, Gradium und Future AGI haben 2026 unabhängige Zahlen veröffentlicht, die brauchbare Zusammenfassung ist kurz:

Cartesia Sonic Turbo - etwa 40 ms Time-to-First-Audio, das schnellste produktionsreife TTS am Markt. Cartesia Sonic-3 liegt bei rund 90 ms mit etwas reicherer Prosodie.
ElevenLabs Flash v2.5 - rund 75 ms auf dem Echtzeitpfad, mit dem Zugeständnis geringerer Klontreue als Multilingual v2 oder v3.
Deepgram Aura-2 - etwa 313 ms P50 im Coval-Benchmark. Wettbewerbsfähig, aber nicht in der ersten Reihe reiner Latenz.
OpenAI tts-1 - etwa 200 ms erster Chunk, hinter den dedizierten Echtzeit-Anbietern, aber okay, wenn Sie ohnehin in OpenAI leben.
Piper (selbst gehostet) - von der CPU dominiert. Auf einem kleinen VPS verliert es oft gegen gehostete Echtzeit-Anbieter, sogar ohne den Netzwerksprung.

Rohe Latenz ist an der Spitze des Marktes kein Differenzierer mehr. Cartesia, ElevenLabs Flash, Rime und Deepgram veröffentlichen alle unter 150 ms ersten Chunk, die nützliche Achse heißt also Prosodie, Klonen und Kosten. Für einen breiteren Vergleich der bezahlten TTS-Landschaft lesen Sie den TTS-Anbieter-Leitfaden.

LLM Zeit bis zum ersten Token

Das LLM-Budget in einer Echtzeit-Sprachschleife liegt bei 150-400 ms bis zum ersten Token. Drei Techniken bringen es von „passt manchmal" auf „passt immer":

Prompt Caching. Für jede Pipeline, die denselben System-Prompt erneut sendet (also fast alle), senkt aktiviertes Prompt Caching die Zeit bis zum ersten Token um 200-400 ms, ohne mehr als ein Flag zu ändern.
Kleine, schnelle Modelle. GPT-4o-mini, Claude Haiku 4.5 und die bei Groq gehosteten Llama-Modelle liefern das erste Token verlässlich in 100-180 ms. Greifen Sie zum großen Modell, wenn die zusätzliche Tiefe die 500 ms wert ist, nicht per Default.
Spekulatives Dekodieren auf eigener Inferenz. Wenn Sie das Modell selbst hosten, kann spekulatives Dekodieren die TTFT bei gleicher Ausgabequalität um 30-50% senken. Es ist mehr Arbeit als ein Modellwechsel, aber die Decke liegt höher.

Die Codec-Falle

Fast jeder Beitrag über Sprachlatenz ignoriert den Re-Encoding-Schritt, weshalb selbst gehostete Telegram-Bots sich systematisch langsamer anfühlen, als die Zahlen vermuten lassen. Telegram akzeptiert Opus-Sprachnotizen nativ. Gibt Ihr TTS MP3 oder WAV zurück, muss irgendetwas in Ihrer Pipeline nach Opus umkodieren, bevor der Upload durchgeht. Allein dieser Schritt kostet auf einem kleinen VPS 200-500 ms, komplett weggeworfen.

Die Lösung liegt beim Anbieter: Verlangen Sie Opus-Ausgabe direkt vom TTS. ElevenLabs unterstützt es, Cartesia unterstützt es, die meisten modernen Anbieter ebenfalls. Bei selbst gehostetem Whisper läuft dieselbe Falle umgekehrt, wenn die eingehende Sprachnotiz Opus ist und über einen langsamen Codec-Pfad dekodiert wird.

Verliert Ihr Sprachagent Audio ganz, statt nur langsam zu sein, ist das ein anderes Problem - die Voice-Troubleshooting-Checkliste deckt die typischen Fehlermuster ab.

Ein Stack unter 500 ms für 2026

Aus den obigen Zahlen zusammengesetzt sieht die Überholspur so aus:

STT: Deepgram Nova-3 im Streaming - 60-100 ms
LLM: GPT-4o-mini oder Claude Haiku 4.5 mit Prompt Caching - 100-180 ms erstes Token
TTS: Cartesia Sonic Turbo oder ElevenLabs Flash v2.5 mit nativem Opus - 40-80 ms erster Chunk
Transport: WebRTC oder direkter Telegram-Upload - 20-40 ms

Zählen Sie 50 ms für VAD und Audio-Aufnahme dazu, halten Sie zwischen allen Stufen Streaming-Ränder ein, und die gefühlte End-to-End-Latenz liegt unter 400 ms. Das ist innerhalb des natürlichen Sprecherwechsel-Fensters.

Der Stack, den die meisten wirklich betreiben - gehostetes Whisper im Batch, GPT-4o, ElevenLabs Multilingual v2 im Batch, Opus-Umcodierung, Upload -, landet eher bei 2,5-3 s. Zwei der vier Stufen sind falsch und das Audio läuft eine unnötige Zusatzschleife.

Was ein verwalteter Sprachagent Ihnen abnimmt

Alles oben Genannte lässt sich abstimmen, wenn Sie gern abstimmen. Es ist auch der Teil eines selbst gehosteten Sprach-Stacks, der sich jedes Quartal verschiebt, wenn Anbieter neue Modelle veröffentlichen. Wenn Sie Cartesia Sonic 3 gegen Sonic 4 nicht in einer Config-Datei nachjagen wollen, ist die ehrliche Empfehlung ein verwalteter Agent, der den Latenz-Stack für Sie aktuell hält.

Hermify betreibt einen verwalteten Hermes Agent auf Telegram mit Streaming-STT, standardmäßig aktivem Prompt Caching, einer TTS-Kette mit geringer Latenz und bereits verdrahteter nativer Opus-Ausgabe. Die gemessene gefühlte Latenz auf einer Telegram-Sprachnotiz liegt typisch zwischen 500 und 800 ms von Ende zu Ende. Sie verbinden Ihren OpenRouter-Schlüssel, wählen einen Tarif und beginnen zu sprechen - ohne docker-compose, ohne ffmpeg und ohne Codec-Debugging.

Mit Hermify starten und Ihren Sprachagenten in etwa einer Minute live haben.