CALLAII
Modello linguisticoIl modello linguistico che alimenta le interfacce di intelligenza artificiale nel pannello Callmenta: analisi delle chiamate, coaching, supporto live, CRM e CALLAII Hukuk.
L'ottava versione di CALLAII e il nuovo modello principale. Valuta le chiamate secondo i criteri aziendali, scrive riassunti basati solo su quanto discusso e prepara documenti legali rispettando le fonti della biblioteca e la procedura. Addestramento completato il 15 ottobre 2026. Ha superato gli stessi esami di CALLAII v7, risultati qui sotto.
Novità di questa versione
- Nell'analisi delle chiamate, identifica il tipo di richiesta con un'accuratezza dell'81,8% su 40 chiamate reali, contro il 22,7% di v7
- Fornisce output validi in tutti i 534 casi di analisi
- Anche con il ragionamento disattivato, inizia la risposta legale con un controllo della procedura: 61 su 70 domande, contro 22 di v7
- Nei documenti legali, gli errori critici di citazione e riferimento sono scesi da 8 a 4 su 70 documenti
- 90 punti nelle domande sulla mappa, 95 nel conteggio delle forme
- La valutazione del piano di rotta negli schermi energetici è passata da 20 a 93,3
Limiti e uso responsabile
- L'accuratezza nello stato di risoluzione è ancora limitata: 76 risposte corrette su 123 domande nelle chiamate mirate. Questa area dovrebbe rimanere come suggerimento a schermo
- La qualità dei documenti legali non è stata valutata da un arbitro in questa fase. Ogni documento deve passare dal controllo dell'avvocato
- Le informazioni legali non provengono dalla memoria del modello, ma vengono recuperate ogni volta dalla biblioteca aggiornata
- Numeri e date devono essere verificati
Addestramento e misurazioni
| Dati di addestramento | 61.461 esempi, di cui 8.000 video |
|---|---|
| Set di validazione | 186 esempi |
| Passo | 3.842 · 1 epoca · 16 esempi per passo |
| Contesto di addestramento | 32.768 token |
| Data di addestramento | ottobre 2026 |
| I dati di ogni schermo sono stati generati con le proprie richieste del sistema live. Il modello si addestra con le richieste che vede | |
| Istanza, diffida e chat legale | le fonti provengono dalla biblioteca. Il controllo della procedura si basa solo sugli articoli forniti |
| La valutazione delle chiamate è stata insegnata con esempi noti per il comportamento mancante. Nelle chiamate reali, è stato preso il valore medio di tre valutazioni separate e le aree di classificazione sono state corrette secondo l'etichetta umana | |
| Nella chat live, è stato insegnato di non condividere le regole interne, di parlare con il nome dell'azienda in ogni lingua e di non inventare prodotti sconosciuti | |
| Gli scenari di vendita, vendita incrociata e competenze sono stati verificati con risposte corrette note | |
| Le chiamate reali riservate agli esami non sono state incluse nell'addestramento |
Ogni punto è la media di 7 registrazioni consecutive.
Mostra i valori in tabella
| Perdita di addestramento | |
|---|---|
| 35 | 0,7007 |
| 210 | 0,5514 |
| 385 | 0,5294 |
| 560 | 0,4948 |
| 735 | 0,5226 |
| 910 | 0,5209 |
| 1.085 | 0,4995 |
| 1.260 | 0,4866 |
| 1.435 | 0,4916 |
| 1.610 | 0,4829 |
| 1.785 | 0,4963 |
| 1.960 | 0,4516 |
| 2.135 | 0,4679 |
| 2.310 | 0,4778 |
| 2.485 | 0,4750 |
| 2.660 | 0,4592 |
| 2.835 | 0,4596 |
| 3.010 | 0,4480 |
| 3.185 | 0,4427 |
| 3.360 | 0,4400 |
| 3.535 | 0,4327 |
| 3.710 | 0,4643 |
| 3.840 | 0,4225 |
| Perdita di validazione | |
| 100 | 0,4600 |
| 300 | 0,3948 |
| 500 | 0,3773 |
| 700 | 0,3684 |
| 900 | 0,3574 |
| 1.100 | 0,3421 |
| 1.300 | 0,3386 |
| 1.500 | 0,3330 |
| 1.700 | 0,3276 |
| 1.900 | 0,3223 |
| 2.100 | 0,3152 |
| 2.300 | 0,3126 |
| 2.500 | 0,3068 |
| 2.700 | 0,3018 |
| 2.900 | 0,2982 |
| 3.100 | 0,2957 |
| 3.300 | 0,2947 |
| 3.500 | 0,2932 |
| 3.700 | 0,2930 |
| 3.842 | 0,2929 |
Confronto con CALLAII v7
v8 e il precedente modello principale v7 in produzione hanno sostenuto gli stessi esami nelle stesse condizioni. La misurazione è stata effettuata il 15 ottobre 2026 sullo stesso server di esame. L'analisi delle chiamate e l'esame della procedura di ragionamento sono stati eseguiti in tre run, gli altri in un solo run. Le chiamate e le prompt sono identiche per entrambi i modelli. Le perdite di verifica non sono confrontabili tra le versioni poiché misurate su set diversi.
- Nell'analisi delle chiamate, gli output non validi sono passati da 3 a 0 su 534 analisi.
- Su 40 chiamate reali con risposta corretta predefinita, il tipo di richiesta è passato dal 22,7% all'81,8%. Il salto più grande si è verificato in questo ambito.
- Sulle stesse chiamate, lo stato di risoluzione è passato dal 54,5% al 68,2%. La separazione delle chiamate valutabili è passata dall'84,2% al 94,2%, il livello di rischio dal 77,3% all'81,8%.
- Su 138 chiamate mirate, il tipo di richiesta è passato dal 70,4% al 97,2%. La separazione delle chiamate valutabili è passata dal 64,7% al 78,4%, il livello di rischio dal 66,7% al 74,2%.
- Nelle chiamate mirate, lo stato di risoluzione è rimasto quasi invariato. Su 123 domande, è passato da 73 a 76. Questo ambito resta il più debole.
- Nell'audit della procedura legale, sia v7 che v8 hanno iniziato la risposta con un controllo della procedura in modalità di ragionamento su 70 domande su 70. In modalità senza ragionamento, questo è passato da 22 a 61.
- Nei documenti legali, l'errore di citazione e riferimento considerato critico dall'audit è passato da 8 a 4 su 70 documenti con configurazione live. In esecuzione senza ragionamento, è passato da 8 a 3. I documenti tagliati sono passati da 1 a 0. Il campione è piccolo, la qualità del documento non è stata valutata separatamente in questo turno.
- Nelle domande sulla mappa, il punteggio è passato da 60 a 90, nel conteggio delle forme da 80 a 95.
- Nelle schermate di energia, la valutazione della pianificazione del percorso è passata da 20 a 93,3, la preparazione del compito sul campo da 53,3 a 90. Il percorso del manager è rimasto invariato a 93,3.
Stesse chiamate e stessa richiesta, somma di 3 condizioni. Le analisi senza output valido sono state considerate errate.
Mostra i valori in tabella
| CALLAII v7 | CALLAII v8 | |
|---|---|---|
| Valutabile | 84,20 | 94,20 |
| Livello di rischio | 77,30 | 81,80 |
| Stato di risoluzione | 54,50 | 68,20 |
| Tipo di richiesta | 22,70 | 81,80 |
Stesse chiamate e stessa richiesta, somma di 3 condizioni. Le analisi senza output valido sono state considerate errate.
Mostra i valori in tabella
| CALLAII v7 | CALLAII v8 | |
|---|---|---|
| Valutabile | 64,70 | 78,40 |
| Livello di rischio | 66,70 | 74,20 |
| stato di risoluzione | 59,30 | 61,80 |
| tipo di richiesta | 70,40 | 97,20 |
Modalità di ragionamento: mediana di 3 esecuzioni. Senza ragionamento: 1 esecuzione.
Mostra i valori in tabella
| CALLAII v7 | CALLAII v8 | |
|---|---|---|
| Avvio con controllo procedura, ragionamento | 100,00 | 100,00 |
| Punti procedura, ragionamento | 85,70 | 88,60 |
| Avvio con controllo procedura, senza ragionamento | 31,40 | 87,10 |
Più basso è meglio. Confronta il numero della decisione di controllo, l'articolo di legge e la citazione con il testo reale. La qualità del documento non è stata valutata in questa sessione.
Mostra i valori in tabella
| CALLAII v7 | CALLAII v8 | |
|---|---|---|
| Errore critico, configurazione live | 8,00 | 4,00 |
| Errore critico, senza ragionamento | 8,00 | 3,00 |
| Documento troncato, configurazione live | 1,00 | 0,00 |
Domande con risposta esatta: 1 esecuzione. Mappa: 100 domande. Altre immagini: 18 domande a punteggio. Conteggio forme: 60 domande.
Mostra i valori in tabella
| CALLAII v7 | CALLAII v8 | |
|---|---|---|
| Mappa | 60,00 | 90,00 |
| Altra immagine | 82,30 | 100,00 |
| Conteggio forme | 80,00 | 95,00 |
30 attività per schermata, 38 indirizzi, esecuzione singola.
Mostra i valori in tabella
| CALLAII v7 | CALLAII v8 | |
|---|---|---|
| Valutazione del piano di percorso | 20,00 | 93,30 |
| Assistente di campo | 96,70 | 100,00 |
| Preparazione attività di campo | 53,30 | 90,00 |
| Assistente per agenti | 80,00 | 96,70 |
| Percorso manager | 93,30 | 93,30 |
| Analisi degli indirizzi | 92,10 | 96,20 |
Versioni precedenti
CALLAII v7 · Versione precedente
CALLAII v7 è online. La versione precedente in produzione, v6, è stata sottoposta allo stesso esame con le stesse impostazioni di produzione. Nelle domande giuridiche verifica quasi sempre la procedura: tribunale competente e giurisdizione, condizioni di ammissibilità e termini. Funziona insieme a un controllo aggiuntivo che individua e estrae informazioni non menzionate dall'avvocato nei ricorsi.
Novità di questa versione
- Controllo procedurale in modalità giuridica: lo esegue in 69 domande su 70; la v6 in produzione non lo eseguiva in nessuna delle stesse domande.
- I punti di controllo procedurale sono passati da 8 a 57 su 70 domande.
- Anche in modalità generale con ragionamento disattivato, il controllo procedurale è passato da 0 a 23.
- Le risposte sono più ordinate: in modalità generale, le risposte troncate per limite sono passate da 40 a 11.
- La lettura di testo da immagini e la descrizione visiva sono state pienamente mantenute anche dopo l'addestramento.
Limiti e uso responsabile
- La conoscenza giuridica non proviene dalla memoria del modello; leggi, regolamenti e decisioni vengono recuperati ogni volta dalla biblioteca aggiornata.
- Il testo generato è una bozza; ricorsi, contratti e documenti ufficiali devono essere approvati da una persona autorizzata.
- Numeri e date devono essere verificati.
- La qualità nelle lingue diverse dal turco non è stata misurata con lo stesso livello di dettaglio del turco.
Addestramento e misurazioni
| Dati di addestramento | 45.847 esempi |
|---|---|
| Set di validazione | 200 esempi mai visti durante l'addestramento |
| Passo | 2.859 · 1 epoca · 16 esempi per passo |
| Contesto di addestramento | 4.096 token |
| Perdita di validazione | 0,629 → 0,513 |
| Esame | 70 domande procedurali; stesse domande della v6 in produzione, stesse impostazioni di produzione |
| Data di addestramento | settembre 2026 |
Ogni punto è la media di 5 registrazioni consecutive.
Mostra i valori in tabella
| Perdita di addestramento | |
|---|---|
| 0,01 | 0,8421 |
| 0,05 | 0,6483 |
| 0,10 | 0,5975 |
| 0,14 | 0,5828 |
| 0,18 | 0,5622 |
| 0,23 | 0,5602 |
| 0,27 | 0,5509 |
| 0,31 | 0,5387 |
| 0,36 | 0,5504 |
| 0,40 | 0,5220 |
| 0,45 | 0,5358 |
| 0,49 | 0,5406 |
| 0,53 | 0,5296 |
| 0,58 | 0,5333 |
| 0,62 | 0,5053 |
| 0,66 | 0,5165 |
| 0,71 | 0,5090 |
| 0,75 | 0,5308 |
| 0,80 | 0,5334 |
| 0,84 | 0,5043 |
| 0,88 | 0,5118 |
| 0,93 | 0,5051 |
| 0,97 | 0,5022 |
| 1,00 | 0,4946 |
| Perdita di validazione | |
| 0,07 | 0,6293 |
| 0,14 | 0,5990 |
| 0,21 | 0,5781 |
| 0,28 | 0,5642 |
| 0,35 | 0,5544 |
| 0,42 | 0,5433 |
| 0,49 | 0,5368 |
| 0,56 | 0,5298 |
| 0,63 | 0,5238 |
| 0,70 | 0,5194 |
| 0,77 | 0,5163 |
| 0,84 | 0,5139 |
| 0,91 | 0,5129 |
| 0,98 | 0,5127 |
| 1 | 0,5126 |
Stesse 70 domande giuridiche, con le impostazioni di produzione. In modalità giuridica il ragionamento è attivo, in modalità generale è disattivato.
Mostra i valori in tabella
| v6 in produzione | v7 | |
|---|---|---|
| Controllo procedurale · giuridico | 0,00 | 98,60 |
| Punti procedurali · giuridico | 11,40 | 81,40 |
| Controllo procedurale · generale | 0,00 | 32,90 |
| Punti procedurali · generale | 11,40 | 45,70 |
Scheda tecnica
| Versione | v7 |
|---|---|
| Pubblicazione | settembre 2026 |
| Input | testo e immagini |
| Output | testo |
| Lingua | focalizzata sul turco; risposta nella stessa lingua per le altre lingue |
CALLAII v6 · Versione precedente
CALLAII v6, tutte le interfacce di intelligenza artificiale del pannello Callmenta. Addestrato su dati generati ex novo per questo scopo; ogni esempio è stato sottoposto a controlli delle regole e a una valutazione di un giudice.
Novità di questa versione
- Lo stile delle petizioni e dei contratti è stato appreso dai documenti reali dello studio legale con cui collaboriamo
- Aggiunta la preparazione dei contratti e l'esame delle prove
- Potenziati il dialogo multi-turno e l'utilizzo degli strumenti
- L'addestramento è stato regolarmente testato su 740 esempi mai visti prima; l'errore di validazione è diminuito a ogni misurazione, il modello non ha memorizzato
Cosa fa
- Analisi delle chiamate: riassunto dalla trascrizione, azioni, opportunità perse, scheda criteri
- Coaching: feedback basato su evidenze per le prestazioni degli agenti
- Supporto live: risponde alle domande dei visitatori, trasferisce a un operatore umano se necessario
- CRM e report: riepilogo della scheda cliente, lettura delle metriche, commenti
- CALLAII Hukuk: preparazione di petizioni e contratti, analisi dei documenti, domande su normativa e giurisprudenza
- Mascheramento KVKK: rimozione dei dati personali dal testo
- Utilizzo degli strumenti: ricerca, apertura di registri, recupero di documenti all'interno del pannello
- Lettura visiva: comprensione di documenti e screenshot
Limiti e uso responsabile
- La conoscenza giuridica non proviene dalla memoria del modello; leggi, regolamenti e sentenze vengono recuperati ogni volta dalla biblioteca aggiornata
- Il testo generato è una bozza; petizioni, contratti e corrispondenza ufficiale devono essere approvati da una persona autorizzata
- Numeri e date devono essere verificati; il modello è stato addestrato a dichiarare l'assenza di informazioni anziché inventarle
- I documenti molto lunghi vengono elaborati in sezioni
- La qualità nelle lingue diverse dal turco non è stata misurata con lo stesso livello di dettaglio del turco
Addestramento e misurazioni
| Dati di addestramento | 37.102 esempi, 118 milioni di token |
|---|---|
| Selezione qualità | 37.600 dei 47.872 esempi generati sono stati accettati |
| Set di validazione | 740 esempi mai visti durante l'addestramento |
| Passo | 3.101 · 2 epoche · 96.000 token per passo |
| Contesto di addestramento | 12.288 token |
| Perdita di validazione | 0,7435 → 0,4729 |
| Data di addestramento | Settembre 2026 |
Solo i punti misurati; non è stato conservato il registro degli step intermedi.
Mostra i valori in tabella
| Perdita di addestramento | |
|---|---|
| 0 | 0,7800 |
| 2.700 | 0,3951 |
| 3.101 | 0,3763 |
| Perdita di validazione | |
| 0 | 0,7435 |
| 2.700 | 0,4730 |
| 3.101 | 0,4729 |
Ogni esempio generato è stato sottoposto a un controllo delle regole e a una valutazione di un giudice; quelli non superati sono stati scartati.
Mostra i valori in tabella
| Campioni | |
|---|---|
| Generati | 47.872,00 |
| Accettati | 37.600,00 |
| Addestramento | 37.102,00 |
| Validazione | 740,00 |
Scheda tecnica
| Versione | v6 |
|---|---|
| Pubblicazione | Settembre 2026 |
| Input | Testo e immagini |
| Output | Testo |
| Lingua | focalizzata sul turco; risposta nella stessa lingua per le altre lingue |
| Dati del cliente | non entrano nell'addestramento |
| Ambiente di esecuzione | server gestiti da Callmenta; i vostri dati non vengono inviati a un fornitore di intelligenza artificiale di terze parti |
CALLAII v5 · Versione precedente
La prima versione completa di CALLAII.
Novità di questa versione
- Superfici di contact center, coaching e live support riunite in un unico modello
Addestramento e misurazioni
| Dati di addestramento | 45.000 esempi, 15 categorie, 9 lingue |
|---|---|
| Passo | 411 · 1 epoca |
| Token elaborati | 26,7 milioni |
| Perdita di verifica finale | 0,4867 |
| Accuratezza dei token di verifica | %85,4 |
Mostra i valori in tabella
| Perdita di addestramento | |
|---|---|
| 10 | 2,7335 |
| 30 | 1,2499 |
| 50 | 0,8402 |
| 70 | 0,7024 |
| 90 | 0,6135 |
| 110 | 0,5847 |
| 130 | 0,5689 |
| 150 | 0,5584 |
| 170 | 0,5385 |
| 190 | 0,5599 |
| 210 | 0,5412 |
| 230 | 0,5371 |
| 250 | 0,5122 |
| 270 | 0,5038 |
| 290 | 0,5125 |
| 310 | 0,5011 |
| 330 | 0,4956 |
| 350 | 0,4728 |
| 370 | 0,4874 |
| 390 | 0,4968 |
| 410 | 0,4969 |
| Perdita di validazione | |
| 40 | 0,8849 |
| 80 | 0,6208 |
| 120 | 0,5651 |
| 160 | 0,5402 |
| 200 | 0,5221 |
| 240 | 0,5106 |
| 280 | 0,5010 |
| 320 | 0,4927 |
| 360 | 0,4880 |
| 400 | 0,4867 |
| 411 | 0,4867 |
Mostra i valori in tabella
| Addestramento | |
|---|---|
| 10 | 57,20 |
| 30 | 70,07 |
| 50 | 78,02 |
| 70 | 80,74 |
| 90 | 82,59 |
| 110 | 83,02 |
| 130 | 83,40 |
| 150 | 83,64 |
| 170 | 84,01 |
| 190 | 83,63 |
| 210 | 83,78 |
| 230 | 83,92 |
| 250 | 84,41 |
| 270 | 84,64 |
| 290 | 84,49 |
| 310 | 84,78 |
| 330 | 84,86 |
| 350 | 85,33 |
| 370 | 85,09 |
| 390 | 84,94 |
| 410 | 84,81 |
| Validazione | |
| 40 | 77,40 |
| 80 | 82,75 |
| 120 | 83,79 |
| 160 | 84,25 |
| 200 | 84,61 |
| 240 | 84,85 |
| 280 | 85,04 |
| 320 | 85,23 |
| 360 | 85,32 |
| 400 | 85,37 |
| 411 | 85,37 |
Scheda tecnica
| Versione | v5 |
|---|---|
| Pubblicazione | Settembre 2026 |
| Stato | sostituita da v6 |