Technisches Datenblatt CALLAII ASR v4
Spracherkennung · Spracherkennungsmodell, das Anrufaufnahmen in Sprecherkanäle aufteilt und in Text umwandelt. Analyse, Coaching und Qualitätsbewertung arbeiten auf Basis dieser Transkription.
Gesprächsaufnahmen werden nach Sprecherkanälen getrennt und in Text umgewandelt. Diese Version wurde mit simulierten Telefonleitungskonditionen in zehn Sprachen trainiert; die Fehlerquote in Callcenter-Gesprächen ist deutlich gesunken.
Neuigkeiten in dieser Version
- In Callcenter-Szenarien sank die türkische Wortfehlerquote von 25,70 % auf 6,32 %
- Die Fehlerquote in Arabisch, Deutsch, Französisch, Englisch und Italienisch sank auf ein Viertel bzw. ein Fünftel; die Ergebnisse pro Sprache sind im Diagramm dargestellt
- Auch bei vorgelesenem Türkisch verbesserte sich die Quote: 4,72 % → 4,47 % (800 Aufnahmen)
- Das Modell wurde mit Telefonleitungssimulation, Lärmumgebung und Studioaufnahmen trainiert
- Die Daten der vorherigen Version wurden ebenfalls in das Training einbezogen; neue Daten wurden so hinzugefügt, dass bereits Gelerntes nicht beeinträchtigt wird
Was es kann
- In zweikanaligen Aufnahmen werden Kunde und Agent separat transkribiert
- Die Sprache jedes Kanals wird automatisch erkannt
- Es wird ein zeitgestempeltes, sprecherbeschriftetes Transkript erzeugt
- Stille Abschnitte bleiben leer; das Modell wurde darauf trainiert, keine erfundenen Sätze zu generieren
Grenzen und verantwortungsvolle Nutzung
- Die Messungen wurden auf Testdatensätzen durchgeführt; die referenzierte Fehlerquote bei echten Telefonanrufen wurde noch nicht gemessen
- Bei überlappendem Sprechen und sehr niedriger Aufnahmequalität steigt die Fehlerquote
- Die Latenzzeit der Echtzeit-Transkription wurde nicht gemessen
Training und Messungen
| Trainingsdaten | 2.479.180 Aufnahmen, 3.654 Stunden Audio |
|---|---|
| Anteil neuer Daten | 26,5 %; der Rest stammt aus der vorherigen Version |
| Sprachen | Türkisch, Arabisch, Deutsch, Französisch, Kasachisch, Italienisch, Englisch, Baschkirisch, Usbekisch, Tatarisch |
| Audioarten | Telefonleitungssimulation, Lärmumgebung, Studio |
| Validierungsdatensatz | 11.859 Aufnahmen |
| Schritt | 19.369 · 1 Epoche |
| Trainingsdatum | September 2026 |
Jeder Punkt ist der Durchschnitt von sieben aufeinanderfolgenden Aufnahmen.
Werte als Tabelle anzeigen
| Trainingsverlust | |
|---|---|
| 175 | 10,8073 |
| 1.050 | 6,4649 |
| 1.925 | 5,6508 |
| 2.800 | 5,3350 |
| 3.675 | 5,0206 |
| 4.550 | 4,7431 |
| 5.425 | 4,6104 |
| 6.300 | 4,6143 |
| 7.175 | 4,5038 |
| 8.050 | 4,3882 |
| 8.925 | 4,4358 |
| 9.800 | 4,3362 |
| 10.675 | 4,2276 |
| 11.550 | 4,1843 |
| 12.425 | 4,2788 |
| 13.300 | 4,1626 |
| 14.175 | 4,1483 |
| 15.050 | 4,1727 |
| 15.925 | 4,0753 |
| 16.800 | 4,0031 |
| 17.675 | 4,0504 |
| 18.550 | 4,2040 |
| 19.350 | 4,0197 |
Gemessen an Beispielen, die im Training nie vorkamen; eine fallende Kurve zeigt, dass das Modell lernt statt auswendig zu lernen.
Werte als Tabelle anzeigen
| Validierungsverlust | |
|---|---|
| 1.000 | 0,1911 |
| 2.000 | 0,1611 |
| 3.000 | 0,1446 |
| 4.000 | 0,1345 |
| 5.000 | 0,1259 |
| 6.000 | 0,1187 |
| 7.000 | 0,1135 |
| 8.000 | 0,1097 |
| 9.000 | 0,1068 |
| 10.000 | 0,1050 |
| 11.000 | 0,1025 |
| 12.000 | 0,1021 |
| 13.000 | 0,1010 |
| 14.000 | 0,0997 |
| 15.000 | 0,0994 |
| 16.000 | 0,0985 |
| 17.000 | 0,0985 |
| 18.000 | 0,0984 |
| 19.000 | 0,0980 |
| 19.369 | 0,0981 |
Niedriger ist besser. Während des Trainings auf dem Validierungsset gemessen.
Werte als Tabelle anzeigen
| Wortfehlerrate (WER) | |
|---|---|
| 1.000 | 15,03 |
| 2.000 | 13,22 |
| 3.000 | 12,06 |
| 4.000 | 10,78 |
| 5.000 | 10,51 |
| 6.000 | 10,01 |
| 7.000 | 9,60 |
| 8.000 | 9,72 |
| 9.000 | 9,52 |
| 10.000 | 9,43 |
| 11.000 | 9,36 |
| 12.000 | 9,35 |
| 13.000 | 9,38 |
| 14.000 | 9,52 |
| 15.000 | 9,23 |
| 16.000 | 9,36 |
| 17.000 | 9,35 |
| 18.000 | 9,36 |
| 19.000 | 9,24 |
| 19.369 | 9,41 |
| Zeichenfehlerrate (CER) | |
| 1.000 | 4,24 |
| 2.000 | 3,85 |
| 3.000 | 3,47 |
| 4.000 | 3,13 |
| 5.000 | 3,01 |
| 6.000 | 2,94 |
| 7.000 | 2,87 |
| 8.000 | 2,89 |
| 9.000 | 2,89 |
| 10.000 | 2,85 |
| 11.000 | 2,88 |
| 12.000 | 2,81 |
| 13.000 | 2,92 |
| 14.000 | 2,93 |
| 15.000 | 2,80 |
| 16.000 | 2,83 |
| 17.000 | 2,77 |
| 18.000 | 2,80 |
| 19.000 | 2,72 |
| 19.369 | 2,82 |
Niedriger ist besser. 300 Beispiele pro Sprache.
Werte als Tabelle anzeigen
| v3 | v4 | |
|---|---|---|
| Arabisch | 67,59 | 13,86 |
| Deutsch | 54,58 | 15,37 |
| Englisch | 59,92 | 12,58 |
| Französisch | 62,36 | 15,57 |
| Italienisch | 38,88 | 8,42 |
| Türkisch | 25,70 | 6,32 |
Niedriger ist besser. 300 Beispiele pro Sprache.
Werte als Tabelle anzeigen
| v3 | v4 | |
|---|---|---|
| Arabisch | 48,62 | 5,76 |
| Deutsch | 46,00 | 7,23 |
| Englisch | 44,41 | 6,23 |
| Französisch | 47,92 | 7,34 |
| Italienisch | 26,92 | 3,45 |
| Türkisch | 10,47 | 1,96 |
Niedriger ist besser. 800 Beispiele pro Sprache.
Werte als Tabelle anzeigen
| v3 | v4 | |
|---|---|---|
| Türkisch | 4,72 | 4,47 |
Niedriger ist besser. 800 Beispiele pro Sprache.
Werte als Tabelle anzeigen
| v3 | v4 | |
|---|---|---|
| Türkisch | 1,11 | 0,95 |
Vergleich mit offenen Modellen
CALLAII ASR wurde mit gängigen offenen Spracherkennungsmodellen auf denselben türkischen Audio-Clips und mit derselben Methode gemessen.
- Beim Wortfehleranteil (WER) erzielte CALLAII ASR in allen vier Tests den niedrigsten Wert.
- Beim Zeichenfehleranteil (CER) beträgt der Unterschied zwischen gesprochenem Audio und Telefonleitung 0,04 Punkte; die Modelle liegen auf gleichem Niveau.
- Der Trainingsanteil der freiwilligen Aufnahmen ist im CALLAII ASR-Training enthalten; der im Test verwendete Abschnitt ist im Training nicht vorhanden.
- Die Telefonleitung erhöht die Fehlerquote bei allen Modellen. Dies ist der Fokus der nächsten Version.
- Eine referenzbasierte Messung mit echten Telefonanrufen wurde noch nicht durchgeführt.
Niedriger ist besser. Dasselbe 1.000 türkische Clips und dieselbe Messmethode. Gelesene Sprache und Telefonleitung: FLEURS; Telefonleitung: dieselben Clips unter 8-kHz-Telefonbedingungen. Freiwillige Aufnahmen: Common Voice. Anruf-Szenarien: aus Callcenter-Dialogen erstellte Sätze; CALLAII ASR wurde mit den Daten dieses Bereichs trainiert. Messung: 8. Oktober 2026.
Werte als Tabelle anzeigen
| Qwen3-ASR 1.7B | Whisper large-v3 | CALLAII ASR | |
|---|---|---|---|
| Gelesene Sprache | 9,75 | 7,04 | 6,67 |
| Telefonleitung | 11,33 | 8,32 | 8,03 |
| Freiwillige Aufnahmen | 15,80 | 13,14 | 4,10 |
| Anruf-Szenarien | 30,74 | 22,33 | 4,45 |
Niedriger ist besser. Dasselbe 1.000 türkische Clips und dieselbe Messmethode. Gelesene Sprache und Telefonleitung: FLEURS; Telefonleitung: dieselben Clips unter 8-kHz-Telefonbedingungen. Freiwillige Aufnahmen: Common Voice. Anruf-Szenarien: aus Callcenter-Dialogen erstellte Sätze; CALLAII ASR wurde mit den Daten dieses Bereichs trainiert. Messung: 8. Oktober 2026.
Werte als Tabelle anzeigen
| Qwen3-ASR 1.7B | Whisper large-v3 | CALLAII ASR | |
|---|---|---|---|
| Gelesene Sprache | 2,43 | 1,56 | 1,60 |
| Telefonleitung | 3,04 | 1,94 | 1,98 |
| Freiwillige Aufnahmen | 4,44 | 4,53 | 0,98 |
| Anruf-Szenarien | 12,02 | 7,97 | 1,00 |
Technisches Datenblatt
| Version | v4 |
|---|---|
| Veröffentlichung | 8. September 2026 |
| Eingabe | Audioaufnahme, ein- oder zweikanalig |
| Ausgabe | Sprecherbeschrifteter, zeitgestempelter Text |
| Spracherkennung | automatisch pro Kanal |
| Betriebsumgebung | Server, die von Callmenta betrieben werden |
Kundendaten werden nicht für das Modelltraining verwendet. Dieses Datenblatt wurde am 23.11.2026 erstellt. Für die aktuelle Version besuchen Sie callmenta.com. Versionen und Verbesserungen