CALLAII
Modèle de langageModèle linguistique alimentant les surfaces d'IA du panel Callmenta : analyse d'appels, coaching, support en direct, CRM et CALLAII Droit.
Huitième version de CALLAII et nouveau modèle principal. Évalue les appels selon les critères de l'entreprise, rédige des résumés limités aux échanges réels. Prépare les documents juridiques en respectant les sources de la bibliothèque et la procédure. Formation achevée le 15 octobre 2026. A passé les mêmes examens que CALLAII v7, résultats ci-dessous.
Nouveautés de cette version
- Analyse des appels : identification du type de demande avec 81,8 % de précision sur 40 appels réels (22,7 % en v7)
- Sortie valide sur les 534 analyses
- Contrôle de procédure dès la réponse juridique, même sans raisonnement : 61/70 questions (22/70 en v7)
- Réduction des erreurs d'attribution et de citation critiques dans les documents juridiques : de 8 à 4 sur 70 documents
- Score de 90 sur les questions de cartographie, 95 sur le comptage de formes
- Évaluation de la planification d'itinéraire sur les écrans d'énergie : de 20 à 93,3
Limites et usage responsable
- La précision du statut de résolution reste limitée : 76 bonnes réponses sur 123 questions dans les appels ciblés. Ce domaine doit rester une suggestion à l'écran
- La qualité des documents juridiques n'a pas été évaluée par un arbitre cette fois. Chaque document doit passer par un contrôle d'avocat
- Les informations juridiques proviennent de la bibliothèque à jour, pas de la mémoire du modèle
- Les chiffres et dates doivent être vérifiés
Entraînement et mesures
| Données d'entraînement | 61.461 exemples, dont 8.000 vidéo |
|---|---|
| Jeu de validation | 186 exemples |
| Pas | 3.842 · 1 époque · 16 exemples par pas |
| Contexte d'entraînement | 32.768 jetons |
| Date d'entraînement | Octobre 2026 |
| Les données de chaque écran ont été générées par les propres requêtes du système en direct. Le modèle s'entraîne sur les requêtes qu'il voit | |
| Les requêtes, mises en demeure et conversations juridiques s'appuient sur la bibliothèque de sources. Le contrôle de procédure ne repose que sur les articles fournis | |
| L'évaluation des appels a été apprise avec des exemples où le comportement manquant était connu. Sur les appels réels, la moyenne de trois évaluations distinctes a été retenue, et les domaines de classification ont été corrigés selon les étiquettes humaines | |
| Il a été appris de ne pas partager les règles internes, de parler au nom de l'entreprise dans chaque langue et de ne pas inventer de produits inconnus | |
| Les scénarios de vente, de vente croisée et de compétences ont été vérifiés avec des réponses connues | |
| Les appels réels réservés aux examens n'ont pas été inclus dans l'entraînement |
Chaque point est la moyenne de 7 enregistrements consécutifs.
Afficher les valeurs sous forme de tableau
| Perte d'entraînement | |
|---|---|
| 35 | 0,7007 |
| 210 | 0,5514 |
| 385 | 0,5294 |
| 560 | 0,4948 |
| 735 | 0,5226 |
| 910 | 0,5209 |
| 1 085 | 0,4995 |
| 1 260 | 0,4866 |
| 1 435 | 0,4916 |
| 1 610 | 0,4829 |
| 1 785 | 0,4963 |
| 1 960 | 0,4516 |
| 2 135 | 0,4679 |
| 2 310 | 0,4778 |
| 2 485 | 0,4750 |
| 2 660 | 0,4592 |
| 2 835 | 0,4596 |
| 3 010 | 0,4480 |
| 3 185 | 0,4427 |
| 3 360 | 0,4400 |
| 3 535 | 0,4327 |
| 3 710 | 0,4643 |
| 3 840 | 0,4225 |
| Perte de validation | |
| 100 | 0,4600 |
| 300 | 0,3948 |
| 500 | 0,3773 |
| 700 | 0,3684 |
| 900 | 0,3574 |
| 1 100 | 0,3421 |
| 1 300 | 0,3386 |
| 1 500 | 0,3330 |
| 1 700 | 0,3276 |
| 1 900 | 0,3223 |
| 2 100 | 0,3152 |
| 2 300 | 0,3126 |
| 2 500 | 0,3068 |
| 2 700 | 0,3018 |
| 2 900 | 0,2982 |
| 3 100 | 0,2957 |
| 3 300 | 0,2947 |
| 3 500 | 0,2932 |
| 3 700 | 0,2930 |
| 3 842 | 0,2929 |
Comparaison avec CALLAII v7
v8 et le modèle principal v7 en production ont passé les mêmes examens dans les mêmes conditions. La mesure a été effectuée le 15 octobre 2026 sur le même serveur d'examen. L'analyse d'appel et l'examen de procédure avec raisonnement ont été réalisés en trois passages, les autres en un seul. Les appels et les requêtes sont identiques pour les deux modèles. Les pertes de validation, mesurées sur des ensembles différents, ne sont pas comparables entre les versions.
- Dans l'analyse d'appel, les sorties invalides sont passées de 3 à 0 sur 534 analyses.
- Sur 40 appels réels avec réponse correcte prédéfinie, le type de demande est passé de 22,7 % à 81,8 %. La plus grande progression se situe dans ce domaine.
- Sur les mêmes appels, le statut de résolution est passé de 54,5 % à 68,2 %. La distinction des appels évaluables est passée de 84,2 % à 94,2 %, et le niveau de risque de 77,3 % à 81,8 %.
- Sur 138 appels ciblés, le type de demande est passé de 70,4 % à 97,2 %. La distinction des appels évaluables est passée de 64,7 % à 78,4 %, et le niveau de risque de 66,7 % à 74,2 %.
- Le statut de résolution sur les appels ciblés est resté quasi stable. Sur 123 questions, il est passé de 73 à 76. Ce domaine reste le plus faible.
- Dans le contrôle de procédure juridique, v7 et v8 ont commencé par un contrôle de procédure dans les 70 questions en mode raisonnement. En mode sans raisonnement, ce chiffre est passé de 22 à 61.
- Dans les documents juridiques, les erreurs de citation et de référence considérées comme critiques par le contrôle sont passées de 8 à 4 sur 70 documents avec la configuration en direct. En mode sans raisonnement, elles sont passées de 8 à 3. Les documents tronqués sont passés de 1 à 0. L'échantillon est petit, la qualité des documents n'a pas été notée séparément dans ce tour.
- Sur les questions de carte, le score est passé de 60 à 90, et le comptage de formes de 80 à 95.
- Sur les écrans d'énergie, l'évaluation du plan de trajet est passée de 20 à 93,3, et la préparation de la mission terrain de 53,3 à 90. Le trajet du gestionnaire est resté à 93,3.
Mêmes appels et même requête, somme de 3 conditions. Les analyses sans sortie valide sont comptées comme erreurs.
Afficher les valeurs sous forme de tableau
| CALLAII v7 | CALLAII v8 | |
|---|---|---|
| Évaluable | 84,20 | 94,20 |
| Niveau de risque | 77,30 | 81,80 |
| Statut de résolution | 54,50 | 68,20 |
| Type de demande | 22,70 | 81,80 |
Mêmes appels et même requête, somme de 3 conditions. Les analyses sans sortie valide sont comptées comme erreurs.
Afficher les valeurs sous forme de tableau
| CALLAII v7 | CALLAII v8 | |
|---|---|---|
| Évaluable | 64,70 | 78,40 |
| Niveau de risque | 66,70 | 74,20 |
| Statut de résolution | 59,30 | 61,80 |
| Type de demande | 70,40 | 97,20 |
Mode raisonnement : médiane de 3 exécutions. Sans raisonnement : 1 exécution.
Afficher les valeurs sous forme de tableau
| CALLAII v7 | CALLAII v8 | |
|---|---|---|
| Démarrage avec contrôle de procédure, raisonnement | 100,00 | 100,00 |
| Points de procédure, raisonnement | 85,70 | 88,60 |
| Démarrage avec contrôle de procédure, sans raisonnement | 31,40 | 87,10 |
Plus bas, c'est mieux. Compare le numéro de décision, l'article de loi et la citation avec le texte réel. La qualité du document n'a pas été évaluée séparément dans ce tour.
Afficher les valeurs sous forme de tableau
| CALLAII v7 | CALLAII v8 | |
|---|---|---|
| Erreur critique, réglage en direct | 8,00 | 4,00 |
| Erreur critique, sans raisonnement | 8,00 | 3,00 |
| Document tronqué, réglage en direct | 1,00 | 0,00 |
Questions à réponse exacte : 1 exécution. Carte : 100 questions. Autres images : 18 questions notées. Comptage de formes : 60 questions.
Afficher les valeurs sous forme de tableau
| CALLAII v7 | CALLAII v8 | |
|---|---|---|
| Carte | 60,00 | 90,00 |
| Autre image | 82,30 | 100,00 |
| Comptage de formes | 80,00 | 95,00 |
30 tâches par écran, 38 adresses, une seule exécution.
Afficher les valeurs sous forme de tableau
| CALLAII v7 | CALLAII v8 | |
|---|---|---|
| Évaluation du plan de route | 20,00 | 93,30 |
| Assistant terrain | 96,70 | 100,00 |
| Préparation des tâches terrain | 53,30 | 90,00 |
| Assistant agent | 80,00 | 96,70 |
| Route du gestionnaire | 93,30 | 93,30 |
| Analyse d'adresses | 92,10 | 96,20 |
Versions précédentes
CALLAII v7 · Version précédente
CALLAII v7 est en ligne. Il a été déployé avec les mêmes paramètres que la version v6 en production, à partir du même examen. Pour les questions juridiques, il vérifie presque systématiquement la procédure : tribunal compétent et juridiction, conditions de recevabilité de l'action et délais. Dans les pétitions, il fonctionne avec un contrôle supplémentaire qui détecte et extrait les informations non mentionnées par l'avocat.
Nouveautés de cette version
- Contrôle procédural en mode juridique : effectué sur 69 questions sur 70, alors que la version v6 en production ne le faisait sur aucune question du même examen
- Couverture des points de contrôle procéduraux : passée de 8 à 57 sur 70 questions
- Contrôle procédural en mode général : passé de 0 à 23
- Réponses plus structurées : les réponses tronquées par limite en mode général sont passées de 40 à 11
- La lecture de texte à partir d'images de documents et la description d'images ont été maintenues après l'entraînement
Limites et usage responsable
- Les informations juridiques ne proviennent pas de la mémoire du modèle ; la loi, le règlement et la décision sont récupérés à chaque fois depuis la bibliothèque à jour
- Le texte produit est un projet ; une pétition, un contrat ou un courrier officiel doit être approuvé par une personne habilitée
- Les chiffres et les dates doivent être vérifiés
- La qualité dans les langues autres que le turc n'a pas été mesurée avec le même niveau de détail que pour le turc
Entraînement et mesures
| Données d'entraînement | 45 847 exemples |
|---|---|
| Ensemble de validation | 200 exemples jamais vus lors de l'entraînement |
| Étapes | 2 859 · 1 époque · 16 exemples par étape |
| Contexte d'entraînement | 4 096 tokens |
| Perte de validation | 0,629 → 0,513 |
| Examen | 70 questions procédurales ; mêmes questions que la version v6 en production, avec les paramètres de production |
| Date d'entraînement | septembre 2026 |
Chaque point est la moyenne des 5 enregistrements consécutifs.
Afficher les valeurs sous forme de tableau
| Perte d'entraînement | |
|---|---|
| 0,01 | 0,8421 |
| 0,05 | 0,6483 |
| 0,10 | 0,5975 |
| 0,14 | 0,5828 |
| 0,18 | 0,5622 |
| 0,23 | 0,5602 |
| 0,27 | 0,5509 |
| 0,31 | 0,5387 |
| 0,36 | 0,5504 |
| 0,40 | 0,5220 |
| 0,45 | 0,5358 |
| 0,49 | 0,5406 |
| 0,53 | 0,5296 |
| 0,58 | 0,5333 |
| 0,62 | 0,5053 |
| 0,66 | 0,5165 |
| 0,71 | 0,5090 |
| 0,75 | 0,5308 |
| 0,80 | 0,5334 |
| 0,84 | 0,5043 |
| 0,88 | 0,5118 |
| 0,93 | 0,5051 |
| 0,97 | 0,5022 |
| 1,00 | 0,4946 |
| Perte de validation | |
| 0,07 | 0,6293 |
| 0,14 | 0,5990 |
| 0,21 | 0,5781 |
| 0,28 | 0,5642 |
| 0,35 | 0,5544 |
| 0,42 | 0,5433 |
| 0,49 | 0,5368 |
| 0,56 | 0,5298 |
| 0,63 | 0,5238 |
| 0,70 | 0,5194 |
| 0,77 | 0,5163 |
| 0,84 | 0,5139 |
| 0,91 | 0,5129 |
| 0,98 | 0,5127 |
| 1 | 0,5126 |
Mêmes 70 questions juridiques, avec les paramètres de production. Mode juridique : réflexion activée, mode général : désactivée.
Afficher les valeurs sous forme de tableau
| v6 en production | v7 | |
|---|---|---|
| Contrôle procédural · juridique | 0,00 | 98,60 |
| Points procéduraux · juridique | 11,40 | 81,40 |
| Contrôle procédural · général | 0,00 | 32,90 |
| Points procéduraux · général | 11,40 | 45,70 |
Fiche technique
| Version | v7 |
|---|---|
| Déploiement | septembre 2026 |
| Entrée | texte et image |
| Sortie | texte |
| Langue | orientée turc ; réponse dans la même langue pour les autres langues |
CALLAII v6 · Version précédente
CALLAII v6, exécute toutes les surfaces d'IA du panel Callmenta. Il a été entraîné avec des données produites de zéro ; chaque exemple a passé des contrôles de règles et une évaluation par un arbitre.
Nouveautés de cette version
- Le style des pétitions et contrats a été appris à partir de documents réels du cabinet d'avocats avec lequel nous travaillons
- Préparation de contrats et examen de preuves ajoutés
- Conversations multi-tours et utilisation d'outils renforcées
- L'entraînement a été testé régulièrement avec 740 exemples jamais vus ; l'erreur de validation a baissé à chaque mesure, le modèle n'a pas mémorisé
Ce qu'il fait
- Analyse d'appel : résumé, action, opportunité manquée, score par critère à partir de la transcription de l'appel
- Coaching : feedback fondé sur des preuves pour la performance des agents
- Support en direct : répond aux questions des visiteurs, transfère à un humain si nécessaire
- CRM et reporting : résumé de fiche client, lecture d'indicateurs, commentaire
- CALLAII Droit : préparation de pétitions et contrats, analyse de documents, questions de législation et jurisprudence
- Masquage KVKK : extraction de données personnelles du texte
- Utilisation d'outils : recherche dans le panel, création d'enregistrement, récupération de documents
- Lecture visuelle : compréhension de documents et captures d'écran
Limites et usage responsable
- Les informations juridiques ne proviennent pas de la mémoire du modèle ; la loi, le règlement et la décision sont récupérés à chaque fois depuis la bibliothèque à jour
- Le texte produit est un brouillon ; la pétition, le contrat et la lettre officielle doivent être approuvés par une personne habilitée
- Les chiffres et dates doivent être vérifiés ; en cas d'information manquante, le modèle est entraîné à signaler l'absence plutôt qu'à inventer
- Les documents très longs sont traités par segments
- La qualité dans les langues autres que le turc n'a pas été mesurée avec autant de détail que le turc
Entraînement et mesures
| Données d'entraînement | 37 102 exemples, 118 millions de tokens |
|---|---|
| Filtrage qualité | 37 600 des 47 872 exemples produits ont été acceptés |
| Ensemble de validation | 740 exemples jamais vus lors de l'entraînement |
| Étape | 3.101 · 2 cycles · 96 000 tokens par étape |
| Contexte d'entraînement | 12 288 tokens |
| Perte de validation | 0,7435 → 0,4729 |
| Date d'entraînement | septembre 2026 |
Points mesurés uniquement ; les enregistrements des étapes intermédiaires n'ont pas été conservés.
Afficher les valeurs sous forme de tableau
| Perte d'entraînement | |
|---|---|
| 0 | 0,7800 |
| 2 700 | 0,3951 |
| 3 101 | 0,3763 |
| Perte de validation | |
| 0 | 0,7435 |
| 2 700 | 0,4730 |
| 3 101 | 0,4729 |
Chaque exemple produit a passé un contrôle de règles et une évaluation par un arbitre ; les exemples non conformes ont été éliminés.
Afficher les valeurs sous forme de tableau
| Exemples | |
|---|---|
| Générés | 47 872,00 |
| Acceptés | 37 600,00 |
| Entraînement | 37 102,00 |
| Validation | 740,00 |
Fiche technique
| Version | v6 |
|---|---|
| Publication | septembre 2026 |
| Entrée | texte et image |
| Sortie | texte |
| Langue | orienté turc ; réponse dans la même langue pour les autres langues |
| Données client | ne sont pas utilisées pour l'entraînement |
| Environnement d'exécution | serveurs gérés par Callmenta ; vos données ne sont pas envoyées à un fournisseur d'IA tiers |
CALLAII v5 · Version précédente
Première version à large échelle de CALLAII.
Nouveautés de cette version
- Les surfaces centre d'appels, coaching et support en direct ont été regroupées dans un modèle unique.
Entraînement et mesures
| Données d'entraînement | 45 000 exemples, 15 catégories, 9 langues |
|---|---|
| Étape | 411 · 1 cycle |
| Tokens traités | 26,7 millions |
| Dernière perte de validation | 0,4867 |
| Précision des tokens de validation | %85,4 |
Afficher les valeurs sous forme de tableau
| Perte d'entraînement | |
|---|---|
| 10 | 2,7335 |
| 30 | 1,2499 |
| 50 | 0,8402 |
| 70 | 0,7024 |
| 90 | 0,6135 |
| 110 | 0,5847 |
| 130 | 0,5689 |
| 150 | 0,5584 |
| 170 | 0,5385 |
| 190 | 0,5599 |
| 210 | 0,5412 |
| 230 | 0,5371 |
| 250 | 0,5122 |
| 270 | 0,5038 |
| 290 | 0,5125 |
| 310 | 0,5011 |
| 330 | 0,4956 |
| 350 | 0,4728 |
| 370 | 0,4874 |
| 390 | 0,4968 |
| 410 | 0,4969 |
| Perte de validation | |
| 40 | 0,8849 |
| 80 | 0,6208 |
| 120 | 0,5651 |
| 160 | 0,5402 |
| 200 | 0,5221 |
| 240 | 0,5106 |
| 280 | 0,5010 |
| 320 | 0,4927 |
| 360 | 0,4880 |
| 400 | 0,4867 |
| 411 | 0,4867 |
Afficher les valeurs sous forme de tableau
| Entraînement | |
|---|---|
| 10 | 57,20 |
| 30 | 70,07 |
| 50 | 78,02 |
| 70 | 80,74 |
| 90 | 82,59 |
| 110 | 83,02 |
| 130 | 83,40 |
| 150 | 83,64 |
| 170 | 84,01 |
| 190 | 83,63 |
| 210 | 83,78 |
| 230 | 83,92 |
| 250 | 84,41 |
| 270 | 84,64 |
| 290 | 84,49 |
| 310 | 84,78 |
| 330 | 84,86 |
| 350 | 85,33 |
| 370 | 85,09 |
| 390 | 84,94 |
| 410 | 84,81 |
| Validation | |
| 40 | 77,40 |
| 80 | 82,75 |
| 120 | 83,79 |
| 160 | 84,25 |
| 200 | 84,61 |
| 240 | 84,85 |
| 280 | 85,04 |
| 320 | 85,23 |
| 360 | 85,32 |
| 400 | 85,37 |
| 411 | 85,37 |
Fiche technique
| Version | v5 |
|---|---|
| Publication | septembre 2026 |
| Statut | remplacée par v6 |