A/B-Testing für KI-Skripte: Gesprächsführung kontinuierlich verbessern

Ein KI-Telefonassistent ist nach der Einrichtung nicht fertig – er ist startklar. Wie gut er Anrufer begrüßt, Anliegen erfasst und Termine vereinbart, hängt von seinem Gesprächsskript ab. Und genau hier liegt eine Chance, die viele Betriebe ungenutzt lassen: A/B-Testing für KI-Skripte. Statt einmal ein Skript zu schreiben und zu hoffen, dass es passt, testen Sie zwei Varianten gegeneinander und behalten die bessere.

Das Prinzip kennen Sie vielleicht aus dem Online-Marketing. Am Telefon funktioniert es genauso – mit dem Vorteil, dass eine KI jede Variante hundertfach identisch ausspielt und Sie so tatsächlich vergleichbare Ergebnisse bekommen. Bei einem menschlichen Team wäre das kaum möglich, weil jeder Mitarbeiter anders formuliert.

Warum sich A/B-Testing bei KI-Skripten besonders lohnt

Drei Eigenschaften machen KI-Telefonie zum idealen Testfeld:

• Konsistenz: Die KI hält sich exakt an die Skriptvariante. Unterschiede im Ergebnis gehen also wirklich auf das Skript zurück, nicht auf Tagesform oder Persönlichkeit.
• Messbarkeit: Jedes Gespräch liegt als Protokoll oder Zusammenfassung vor. Sie sehen, an welcher Stelle Anrufer auflegen, zögern oder nachfragen.
• Geschwindigkeit: Änderungen sind in Minuten umgesetzt – kein Schulungsaufwand, keine Teambesprechung.

Was Sie an einem KI-Gesprächsskript testen können

Nicht jedes Element hat den gleichen Hebel. Bewährt hat sich, mit den Stellen zu beginnen, an denen die meisten Gespräche scheitern oder ins Stocken geraten:

Die Begrüßung

Meldet sich der Assistent nur mit dem Firmennamen – oder zusätzlich mit einem klaren Hinweis, was er tun kann („Ich kann Ihnen direkt einen Termin geben oder Ihr Anliegen aufnehmen“)? Testen Sie, ob eine kurze Orientierung am Anfang die Abbruchquote senkt.

Die Reihenfolge der Fragen

Fragt die KI zuerst nach dem Namen oder zuerst nach dem Anliegen? Viele Anrufer wollen erst ihr Problem loswerden, bevor sie Daten nennen. Die Reihenfolge der Erfassungsfragen ist oft der wirksamste einzelne Testkandidat.

Der Terminvorschlag

Bietet die KI offen an, „einen Termin zu vereinbaren“, oder schlägt sie konkret zwei Optionen vor („Mittwoch 10 Uhr oder Donnerstag 14 Uhr“)? Konkrete Alternativfragen verhalten sich am Telefon oft anders als offene Fragen – welcher Ansatz bei Ihrer Zielgruppe besser funktioniert, zeigt nur der Test. Wie die Terminbuchung technisch abläuft, beschreibt die Seite zur automatischen Terminvergabe.

Umgang mit Einwänden und Unsicherheit

Was sagt die KI, wenn ein Anrufer lieber mit einem Menschen sprechen will? Varianten reichen von der sofortigen Rückrufzusage bis zum Angebot, das Anliegen trotzdem kurz aufzunehmen. Auch die Formulierung der Vorqualifizierungsfragen lässt sich testen – mehr dazu auf der Seite zur Vorqualifizierung.

Länge und Tonalität

Kurze, direkte Sätze gegen ausführlichere, erklärende Formulierungen; förmliche gegen freundlich-lockere Ansprache. Gerade bei regionalen Zielgruppen kann die Tonalität einen messbaren Unterschied machen.

Die richtigen Kennzahlen: Woran Sie „besser“ erkennen

Ein Test ohne vorher definierte Kennzahl ist keiner. Diese Messgrößen haben sich für Telefon-Skripte bewährt:

• Abschlussquote: Anteil der Gespräche, die das gewünschte Ziel erreichen – vereinbarter Termin, vollständig erfasstes Anliegen, qualifizierter Rückrufwunsch.
• Abbruchquote: Anteil der Anrufer, die vor dem Gesprächsziel auflegen, idealerweise aufgeschlüsselt nach Gesprächsphase.
• Vollständigkeit der Daten: Wie oft liegen am Ende Name, Rückrufnummer und Anliegen komplett vor?
• Gesprächsdauer: Kürzer ist nicht automatisch besser – aber deutlich längere Gespräche ohne bessere Abschlussquote deuten auf umständliche Formulierungen hin.
• Übergaben an Menschen: Wie oft verlangt der Anrufer einen Rückruf oder eine Weiterleitung, statt sein Anliegen mit der KI abzuschließen?

So läuft ein sauberer Testzyklus ab

1. Eine Hypothese formulieren: „Wenn die KI zuerst nach dem Anliegen fragt statt nach dem Namen, sinkt die Abbruchquote.“ Eine Hypothese pro Test – wer drei Dinge gleichzeitig ändert, weiß am Ende nicht, was gewirkt hat.
2. Nur eine Variable ändern: Variante B unterscheidet sich von Variante A in genau einem Punkt.
3. Testzeitraum und Mindestmenge festlegen: Bei kleinen Betrieben mit wenigen Anrufen pro Tag brauchen Sie eher zwei bis vier Wochen, damit das Ergebnis nicht vom Zufall dominiert wird. Einige Dutzend Gespräche pro Variante sollten es mindestens sein.
4. Gleiche Bedingungen sicherstellen: Testen Sie beide Varianten im selben Zeitraum oder in vergleichbaren Wochen – nicht Variante A in der Ferienzeit und Variante B im Hochbetrieb.
5. Auswerten und entscheiden: Gewinnt B deutlich, wird B zum neuen Standard. Ist der Unterschied minimal, behalten Sie die einfachere Variante und testen den nächsten Hebel.
6. Dokumentieren: Ein kurzes Testlogbuch (Datum, Hypothese, Ergebnis) verhindert, dass Sie in einem Jahr dieselben Tests wiederholen.

Typische Fehler beim Skript-Testing

• Zu früh aufhören: Nach zehn Anrufen „sieht man schon einen Trend“ – der sich nach fünfzig Anrufen oft umkehrt.
• Kennzahl nachträglich wechseln: Wer nach dem Test die Messgröße sucht, bei der die Lieblingsvariante gewinnt, betreibt keine Optimierung, sondern Selbstbestätigung.
• Nur auf die Abschlussquote schauen: Ein Skript, das Termine erzwingt, aber Anrufer verärgert, gewinnt kurzfristig und schadet langfristig. Hören Sie stichprobenartig in Gespräche hinein oder lesen Sie Protokolle.
• Das Gewinner-Skript nie wieder anfassen: Anrufverhalten ändert sich mit Saison und Kundschaft. Ein Testzyklus pro Quartal ist ein guter Rhythmus.

Wenn Sie einen Partner für Einrichtung und laufende Optimierung suchen: Auf der Seite So arbeiten wir ist beschrieben, wie ein strukturierter Einführungs- und Verbesserungsprozess aussieht.

Häufige Fragen

Wie viele Anrufe brauche ich für einen aussagekräftigen A/B-Test?

Als Faustregel sollten pro Variante mindestens einige Dutzend Gespräche zusammenkommen, bevor Sie entscheiden. Je kleiner der Unterschied zwischen den Varianten, desto mehr Gespräche brauchen Sie. Kleine Betriebe verlängern dafür einfach den Testzeitraum auf mehrere Wochen.

Kann ich A/B-Tests auch ohne technische Vorkenntnisse durchführen?

Ja. Bei den meisten KI-Telefonassistenten ändern Sie Skriptvarianten über eine einfache Oberfläche oder lassen die Änderung vom Anbieter einstellen. Ihre Aufgabe ist vor allem konzeptionell: Hypothese formulieren, Kennzahl festlegen, Ergebnis bewerten.

Was sollte ich als Erstes testen?

Den Gesprächseinstieg. Begrüßung und erste Frage entscheiden darüber, ob der Anrufer im Gespräch bleibt – Verbesserungen an dieser Stelle wirken sich auf alle nachfolgenden Schritte aus. Danach lohnt der Blick auf die Stelle mit der höchsten Abbruchquote in Ihren Gesprächsprotokollen.