Chaque version des modèles CALLAII qui alimentent l'IA de Callmenta : ce qu'elle fait, ce qui a évolué dans cette version, et où se situe sa limite.
Les données clients ne sont pas utilisées pour l'entraînement des modèles.
CALLAII®by CALLMENTA
CALLAII
Modèle de langage
Le modèle de langage qui alimente les interfaces d'intelligence artificielle du panneau Callmenta : analyse des appels, coaching, support en direct, CRM et CALLAII Hukuk.
CALLAII v7En productionPublication septembre 2026
CALLAII v7 est en ligne. La version précédente en production, v6, a été soumise au même examen, avec les mêmes paramètres de production. En matière juridique, il vérifie presque systématiquement la procédure : juridiction compétente, conditions de recevabilité et délais. Il fonctionne avec un contrôle supplémentaire qui détecte et extrait les informations que l'avocat n'a pas mentionnées dans les requêtes.
Nouveautés de cette version
Contrôle procédural en mode juridique : effectué sur 69 questions sur 70 ; la v6 en production ne le faisait sur aucune dans le même examen.
Les points de contrôle procédural sont passés de 8 à 57 sur 70 questions.
En mode général avec la réflexion désactivée, le contrôle procédural est passé de 0 à 23.
Les réponses sont plus structurées : les réponses tronquées par la limite en mode général sont passées de 40 à 11.
La lecture de texte depuis une image de document et la description d'images ont été pleinement conservées après l'entraînement.
Limites et usage responsable
Les connaissances juridiques ne proviennent pas de la mémoire du modèle ; les lois, règlements et décisions sont récupérés à chaque fois depuis la bibliothèque à jour.
Les textes générés sont des brouillons ; les requêtes, contrats et écrits officiels doivent être approuvés par une personne habilitée.
Les chiffres et les dates doivent être vérifiés.
La qualité dans les langues autres que le turc n'a pas été mesurée avec le même niveau de détail que pour le turc.
Entraînement et mesures
0,629 → 0,513Perte de validation
69 sur 70 questionsContrôle procédural · juridique
0 sur 70 questionsv6 en production, même examen
8 → 57Points procéduraux · juridique
Données d'entraînement
45 847 exemples
Jeu de validation
200 exemples jamais vus pendant l'entraînement
Étape
2 859 · 1 époque · 16 exemples par étape
Contexte d'entraînement
4 096 jetons
Perte de validation
0,629 → 0,513
Examen
70 questions procédurales ; mêmes questions que la v6 en production, mêmes paramètres de production
Date d'entraînement
septembre 2026
Perte d'entraînement et de validation
Perte d'entraînementPerte de validation
Chaque point est la moyenne de 5 enregistrements consécutifs.
Afficher les valeurs sous forme de tableau
Perte d'entraînement
0,01
0,8421
0,05
0,6483
0,10
0,5975
0,14
0,5828
0,18
0,5622
0,23
0,5602
0,27
0,5509
0,31
0,5387
0,36
0,5504
0,40
0,5220
0,45
0,5358
0,49
0,5406
0,53
0,5296
0,58
0,5333
0,62
0,5053
0,66
0,5165
0,71
0,5090
0,75
0,5308
0,80
0,5334
0,84
0,5043
0,88
0,5118
0,93
0,5051
0,97
0,5022
1,00
0,4946
Perte de validation
0,07
0,6293
0,14
0,5990
0,21
0,5781
0,28
0,5642
0,35
0,5544
0,42
0,5433
0,49
0,5368
0,56
0,5298
0,63
0,5238
0,70
0,5194
0,77
0,5163
0,84
0,5139
0,91
0,5129
0,98
0,5127
1
0,5126
v6 en production vs v7 : examen procédural
v6 en productionv7
Mêmes 70 questions juridiques, avec les paramètres de production. Réflexion activée en mode juridique, désactivée en mode général.
Afficher les valeurs sous forme de tableau
v6 en production
v7
Contrôle procédural · juridique
0,00
98,60
Points procéduraux · juridique
11,40
81,40
Contrôle procédural · général
0,00
32,90
Points procéduraux · général
11,40
45,70
Fiche technique
Version
v7
Publication
septembre 2026
Entrée
texte et image
Sortie
texte
Langue
centré sur le turc ; réponse dans la même langue pour les autres langues
CALLAII v6Version précédentePublication septembre 2026
CALLAII v6 exécute l'ensemble des interfaces d'IA du panneau Callmenta. Il a été entraîné sur des données générées ex nihilo pour cette tâche ; chaque exemple a été soumis à des contrôles de règles et à une évaluation par un arbitre.
Nouveautés de cette version
Le style des requêtes et des contrats a été appris à partir de documents réels de notre cabinet juridique
Ajout de la rédaction de contrats et de l'examen des preuves
Renforcement de la conversation multi-tours et de l'utilisation d'outils
L'entraînement a été régulièrement évalué sur 740 exemples jamais vus ; l'erreur de validation a diminué à chaque mesure, le modèle n'a pas mémorisé
Ce qu'il fait
Analyse d'appels : résumé, actions, opportunités manquées, fiche de critères à partir de la transcription
Coaching : retour basé sur des preuves pour la performance des agents
Support en direct : répond aux questions des visiteurs, transfère à un humain si nécessaire
CRM et rapports : résumé de la fiche client, lecture des indicateurs, commentaires
CALLAII Droit : rédaction de requêtes et de contrats, analyse de documents, questions sur la législation et la jurisprudence
Masquage KVKK : extraction des données personnelles du texte
Utilisation d'outils : recherche, ouverture de dossier, récupération de documents dans le panneau
Lecture visuelle : compréhension de documents et de captures d'écran
Limites et usage responsable
Les connaissances juridiques ne proviennent pas de la mémoire du modèle ; les lois, règlements et décisions sont récupérés à chaque fois depuis la bibliothèque à jour
Le texte généré est un brouillon ; les requêtes, contrats et correspondances officielles doivent être approuvés par une personne habilitée
Les chiffres et les dates doivent être vérifiés ; le modèle a été entraîné à signaler les informations manquantes plutôt qu'à inventer
Les documents très longs sont traités par segments
La qualité dans les langues autres que le turc n'a pas été mesurée avec le même niveau de détail que pour le turc
Entraînement et mesures
3.101Étape
2Époque
0,4729Perte de validation finale
Données d'entraînement
37.102 exemples, 118 millions de tokens
Filtrage qualité
37.600 des 47.872 exemples générés ont été acceptés
Jeu de validation
740 exemples jamais vus pendant l'entraînement
Étape
3.101 · 2 époques · 96.000 tokens par étape
Contexte d'entraînement
12.288 tokens
Perte de validation
0,7435 → 0,4729
Date d'entraînement
septembre 2026
Perte d'entraînement et de validation
Perte d'entraînementPerte de validation
Seuls les points mesurés ; les enregistrements des étapes intermédiaires n'ont pas été conservés.
Afficher les valeurs sous forme de tableau
Perte d'entraînement
0
0,7800
2.700
0,3951
3.101
0,3763
Perte de validation
0
0,7435
2.700
0,4730
3.101
0,4729
Filtrage des données d'entraînement (exemple)
Chaque exemple généré a été soumis à un contrôle de règles et à une évaluation par un arbitre ; ceux qui n'ont pas réussi ont été éliminés.
Afficher les valeurs sous forme de tableau
Exemples
Générés
47.872,00
Acceptés
37.600,00
Entraînement
37.102,00
Validation
740,00
Fiche technique
Version
v6
Publication
septembre 2026
Entrée
texte et image
Sortie
texte
Langue
centré sur le turc ; réponse dans la même langue pour les autres langues
Données clients
non utilisées pour l'entraînement
Environnement d'exécution
serveurs gérés par Callmenta ; vos données ne sont pas envoyées à un fournisseur d'IA tiers
Modèle de langage CALLAII conçu pour fonctionner sur le serveur propre à l'organisation.
CALLAII Edge v1En formation
CALLAII Edge est actuellement en cours d'entraînement. L'objectif est de regrouper les compétences juridiques et de centre d'appels de CALLAII dans un modèle fonctionnant sur le serveur propre à l'organisation. Le graphique ci-dessous est mis à jour régulièrement pendant l'entraînement.
Nouveautés de cette version
Objectif : identifier le tribunal compétent et habilité, les conditions de recevabilité et les délais dans une question juridique
Objectif : se présenter comme CALLAII dans toutes les circonstances
Les résultats seront publiés ici après l'entraînement, en passant le même examen qu'avant l'entraînement
Entraînement et mesures
0,49Époque
0,6186Perte de validation finale
Statut
en cours d'entraînement
Données d'entraînement
45 847 exemples
Jeu de validation
200 exemples jamais vus pendant l'entraînement
Contexte d'entraînement
4 096 jetons
Date d'entraînement
septembre 2026
Perte d'entraînement et de validation
Perte d'entraînementPerte de validation
Chaque point représente la moyenne de 3 enregistrements consécutifs.
Küçük işletmelerin kendi donanımında çalışacak şekilde hazırlanan kompakt CALLAII dil modeli.
CALLAII Edge Small Business v1En productionPublication septembre 2026
CALLAII Edge Small Business, CALLAII'nin kendi sunucusunda çalışmasını isteyen işletmeler için tasarlanmış kompakt bir çözümdür. Hukuki sorularda usulü otomatik olarak kontrol eder ve belge görsellerini okur.
Nouveautés de cette version
İlk sürüm
Hukuki soruda usul kontrolü: sınavda 70 sorunun 67'sinde yapıyor, eğitimden önce hiçbirinde yapmıyordu
Usul kontrol noktalarını karşılama 70 soruda 9'dan 57'ye çıktı
Belge görselinden metin okuma ve görsel tarif etme eğitimden sonra da tam korundu
Ce qu'il fait
Hukuk: dilekçe ve sözleşme taslağı, hukuki soruya usul kontrolüyle yanıt
Usul kontrolü: görevli ve yetkili mahkeme, dava şartı ve süreler
Çağrı merkezi: görüşme özeti, müşteri yanıtı ve kalite değerlendirmesi
Görsel okuma: belge ve ekran görüntüsündeki metni ve içeriği anlama
Limites et usage responsable
Ürettiği metin taslaktır; dilekçe, sözleşme ve resmî yazı yetkili bir kişi tarafından onaylanmalıdır
Güncel kanun, yönetmelik ve karar için mevzuat kütüphanesiyle birlikte kullanılmalıdır; modelin hafızası güncel değildir
Ses kayıtları CALLAII ASR ile yazıya dökülür; bu model ses tanıma için kullanılmaz
Türkçe dışındaki dillerde kalite Türkçe kadar ayrıntılı ölçülmemiştir
Entraînement et mesures
1Époque
0,810 → 0,605Perte de validation
70 sorunun 67'sindeUsul kontrolü
Eğitim verisi
45.847 örnek
Doğrulama seti
eğitimde hiç görülmemiş 200 örnek
Adım
2.861 · 1 devir · adım başına 16 örnek
Eğitim bağlamı
4.096 token
Doğrulama kaybı
0,810 → 0,605
Sınav
70 usul sorusu, eğitim öncesi ve sonrası aynı sorularla
Eğitim tarihi
Eylül 2026
Perte d'entraînement et de validation
Perte d'entraînementPerte de validation
Her nokta ardışık 5 kaydın ortalaması.
Afficher les valeurs sous forme de tableau
Perte d'entraînement
0,01
2,0882
0,05
0,8227
0,10
0,7656
0,14
0,7346
0,18
0,6991
0,23
0,6836
0,27
0,6616
0,31
0,6667
0,36
0,6545
0,40
0,6291
0,45
0,6276
0,49
0,6401
0,53
0,6182
0,58
0,6186
0,62
0,6388
0,66
0,5980
0,71
0,6144
0,75
0,6025
0,80
0,6273
0,84
0,6025
0,88
0,6050
0,93
0,5961
0,97
0,6281
1,00
0,5878
Perte de validation
0,14
0,7797
0,21
0,7025
0,28
0,6809
0,35
0,6608
0,42
0,6528
0,49
0,6549
0,56
0,6427
0,63
0,6439
0,70
0,6169
0,77
0,6117
0,84
0,6079
0,91
0,6055
0,98
0,6049
1
0,6050
Eğitim öncesi ve sonrası sınav
Eğitim öncesiEğitim sonrası
70 usul sorusu, eğitim öncesi ve sonrası aynı sorularla.
Modèle de reconnaissance vocale qui sépare les enregistrements d'appels par canaux de locuteurs et les convertit en texte. L'analyse, le coaching et l'évaluation de la qualité fonctionnent sur la base de cette transcription.
CALLAII ASR v4En productionPublication septembre 2026
Sépare les enregistrements d'appels par canaux de locuteurs et les transcrit en texte. Cette version a été entraînée sur dix langues et des voix simulant les conditions d'une ligne téléphonique ; le taux d'erreur dans les conversations de centre d'appels a nettement diminué.
Nouveautés de cette version
Dans les scénarios de centre d'appels, le taux d'erreur par mot en turc est passé de 25,70 % à 6,32 %
En arabe, allemand, français, anglais et italien, le taux d'erreur a été divisé par quatre ou par cinq ; les résultats par langue sont présentés dans le graphique
Amélioration également sur le turc parlé : 4,72 % → 4,47 % (800 enregistrements)
Le même texte a été entraîné avec des versions ligne téléphonique, environnement bruyant et studio
Les données de la version précédente ont également été incluses dans l'entraînement ; pour éviter la dégradation des connaissances acquises lors de l'ajout de nouvelles données
Ce qu'il fait
Transcrit séparément le client et l'agent dans un enregistrement à deux canaux
Détecte automatiquement la langue de chaque canal
Produit une transcription horodatée avec étiquettes de locuteurs
Laisse les sections silencieuses vides, entraîné pour ne pas inventer de phrases
Limites et usage responsable
Les mesures ont été réalisées sur des ensembles de test ; le taux d'erreur de référence sur un appel téléphonique réel n'a pas encore été mesuré
Le taux d'erreur augmente en cas de chevauchement de parole et d'enregistrement de très faible qualité
La latence de transcription en temps réel n'a pas été mesurée
Entraînement et mesures
19.369Étape
1Époque
0,0981Perte de validation finale
%9,41Taux d'erreur de mots final
%2,82Taux d'erreur de caractères final
Données d'entraînement
2 479 180 enregistrements, 3 654 heures d'audio
Part de nouvelles données
26,5 % ; le reste provient des données de la version précédente
CALLAII ASR v3Version précédentePublication août 2026
Version dotée d'un entraînement multilingue étendu. La simulation de ligne téléphonique et la détection des sections silencieuses ont été ajoutées dans cette version.
Nouveautés de cette version
Sur le jeu de référence ouvert, le taux d'erreur de mots en turc est passé de 8,87 % à 7,11 %
En arabe, il est passé de 7,96 % à 7,82 %
Le modèle a appris à laisser les sections silencieuses vides ; les phrases inventées ont diminué
Aucune dégradation observée en fin d'appel long (appel réel de 571 secondes)
La détection automatique de la langue par canal a été initiée
Limites et usage responsable
Le jeu de référence ouvert est composé de phrases d'actualités lues à voix haute ; il ne reflète pas la réussite absolue lors d'un appel téléphonique
Dans les scénarios de centre d'appels, le taux d'erreur était élevé pour les langues autres que le turc ; ce problème a été corrigé dans la v4
Entraînement et mesures
11.540Étape
1Époque
0,1315Perte de validation finale
%10,49Taux d'erreur de mots final
%3,01Taux d'erreur de caractères final
Données d'entraînement
1 477 006 enregistrements, 2 190,9 heures d'audio
Exemple de silence
25,7 heures
Types d'audio
simulation de bande téléphonique (8 kHz), mélange croisé, fragmentation de dialogues
Étape
11 540 · 1 époque
Date d'entraînement
août 2026
Perte d'entraînement
Chaque point représente la moyenne de deux enregistrements consécutifs.
Afficher les valeurs sous forme de tableau
Perte d'entraînement
100
2,6340
600
1,6663
1.100
1,6001
1.600
1,5598
2.100
1,5177
2.600
1,4338
3.100
1,4080
3.600
1,3531
4.100
1,3821
4.600
1,3530
5.100
1,3306
5.600
1,3333
6.100
1,3021
6.600
1,2923
7.100
1,2736
7.600
1,2613
8.100
1,2606
8.600
1,2679
9.100
1,2166
9.600
1,2256
10.100
1,2165
10.600
1,2068
11.100
1,1835
11.500
1,1665
Perte de validation
Mesurée sur des exemples jamais vus pendant l'entraînement ; une courbe descendante montre que le modèle apprend au lieu de mémoriser.
Afficher les valeurs sous forme de tableau
Perte de validation
2.000
0,1633
4.000
0,1528
6.000
0,1456
8.000
0,1383
10.000
0,1340
11.540
0,1316
Taux d'erreur en validation (%)
Taux d'erreur de mots (WER)Taux d'erreur de caractères (CER)
Plus bas, c'est mieux. Mesuré sur le jeu de validation tout au long de l'entraînement.
Afficher les valeurs sous forme de tableau
Taux d'erreur de mots (WER)
2.000
12,60
4.000
11,94
6.000
19,10
8.000
10,71
10.000
18,35
11.540
10,49
Taux d'erreur de caractères (CER)
2.000
3,64
4.000
3,33
6.000
10,35
8.000
2,94
10.000
10,79
11.540
3,01
Jeu de référence ouvert (FLEURS) · Taux d'erreur de mots (%)
v2v3
Plus bas, c'est mieux. 150 enregistrements par langue, phrases d'actualités lues à voix haute. Valable pour le classement ; ne reflète pas la réussite absolue lors d'un appel téléphonique.
Afficher les valeurs sous forme de tableau
v2
v3
Turc
8,87
7,11
Arabe
7,96
7,82
Jeu de référence ouvert (FLEURS) · Taux d'erreur de caractères (%)
v2v3
Plus bas, c'est mieux. 150 enregistrements par langue.
Afficher les valeurs sous forme de tableau
v2
v3
Turc
2,83
1,67
Arabe
2,65
2,46
Jeu de test interne · Taux d'erreur de mots par langue (%)
Plus bas, c'est mieux. 200 exemples par langue.
Afficher les valeurs sous forme de tableau
v3
Arabe
19,72
Allemand
6,80
Anglais
19,10
Français
12,74
Italien
8,11
Turc
10,49
Jeu de test interne · Taux d'erreur de caractères par langue (%)
CALLAII ASR v2Version précédentePublication juin 2026
Deuxième version adaptée au turc des centres d'appels. Le taux d'erreur sur les enregistrements réels a été réduit de moitié par rapport à la première version.
Nouveautés de cette version
Sur 10 enregistrements réels, le taux d'erreur par mot est passé de 14,25 % à 6,51 %
Le taux d'erreur par caractère est passé de 8,68 % à 4,57 %
Un prompt de domaine a été ajouté pour les expressions des centres d'appels (annonces et noms d'institutions)
Limites et usage responsable
Les appels longs pouvaient entrer dans une boucle de répétition en fin d'appel ; corrigé dans la v3
Lorsqu'un enregistrement arabe recevait un étiquette de langue incorrecte, la sortie était corrompue ; corrigé dans la v3 grâce à la détection automatique de la langue
Entraînement et mesures
Validation turque
taux d'erreur par mot 7,02 %, taux d'erreur par caractère 2,15 %
Taux d'erreur (%) sur 10 enregistrements réels
v1v2
Plus bas, c'est mieux. Les mêmes 10 enregistrements d'appels réels ont été fournis aux deux versions.