CALLAII
Языковая модельЯзыковая модель, работающая с интерфейсами искусственного интеллекта в панели Callmenta: анализ звонков, коучинг, живая поддержка, CRM и CALLAII Hukuk.
Восьмая версия CALLAII и новая базовая модель. Оценивает звонки по собственным критериям компании, пишет резюме только на основе содержания разговора. Готовит юридические документы, опираясь на источники из библиотеки и процессуальные нормы. Обучение завершено 15 октября 2026 года. CALLAII v8 прошла те же экзамены, что и v7, результаты ниже.
Что улучшено в этой версии
- В анализе звонков определяет тип запроса с точностью 81,8% на 40 реальных звонках (в v7 было 22,7%)
- Выдает валидный результат во всех 534 анализах
- Даже при отключенном режиме рассуждений начинает с процессуальной проверки для юридических ответов: 61 из 70 вопросов (в v7 было 22)
- В юридических документах количество критических ошибок в ссылках и цитатах снизилось с 8 до 4 на 70 документах
- 90 баллов за вопросы по картам, 95 баллов за подсчет фигур
- Оценка маршрутного плана на энергетических экранах выросла с 20 до 93,3
Ограничения и ответственное использование
- Точность в статусе решения пока ограничена: 76 правильных ответов из 123 вопросов на целевых звонках. Эта область должна оставаться в виде рекомендации на экране
- Качество юридических документов в этом цикле не оценивалось арбитром. Каждый документ должен проходить проверку юристом
- Юридическая информация не берется из памяти модели, источник всегда загружается из актуальной библиотеки
- Числа и даты должны быть проверены
Обучение и метрики
| Данные обучения | 61 461 пример, из них 8 000 с видео |
|---|---|
| Набор для валидации | 186 примеров |
| Шаг | 3 842 · 1 эпоха · 16 примеров на шаг |
| Контекст обучения | 32 768 токенов |
| Дата обучения | Октябрь 2026 |
| Данные для каждого экрана генерировались собственным запросом живой системы. Модель обучается на тех запросах, которые видит | |
| Заявление, претензия и юридический чат используют источники из библиотеки. Процессуальный контроль основан только на предоставленных статьях | |
| Оценка звонков обучалась на примерах с заранее известными недостающими действиями. На реальных звонках использовалось среднее значение трех отдельных оценок, области классификации корректировались по человеческим меткам | |
| Отдельно обучались | не раскрывать внутренние правила, говорить на каждом языке от имени компании и не выдумывать неизвестные продукты |
| Сценарии продаж, кросс-продаж и компетенций проверялись по известным правильным ответам | |
| Реальные звонки, выделенные для экзамена, не входили в обучение |
Каждая точка, среднее значение из 7 последовательных записей.
Показать значения в виде таблицы
| Потеря обучения | |
|---|---|
| 35 | 0,7007 |
| 210 | 0,5514 |
| 385 | 0,5294 |
| 560 | 0,4948 |
| 735 | 0,5226 |
| 910 | 0,5209 |
| 1 085 | 0,4995 |
| 1 260 | 0,4866 |
| 1 435 | 0,4916 |
| 1 610 | 0,4829 |
| 1 785 | 0,4963 |
| 1 960 | 0,4516 |
| 2 135 | 0,4679 |
| 2 310 | 0,4778 |
| 2 485 | 0,4750 |
| 2 660 | 0,4592 |
| 2 835 | 0,4596 |
| 3 010 | 0,4480 |
| 3 185 | 0,4427 |
| 3 360 | 0,4400 |
| 3 535 | 0,4327 |
| 3 710 | 0,4643 |
| 3 840 | 0,4225 |
| Потеря валидации | |
| 100 | 0,4600 |
| 300 | 0,3948 |
| 500 | 0,3773 |
| 700 | 0,3684 |
| 900 | 0,3574 |
| 1 100 | 0,3421 |
| 1 300 | 0,3386 |
| 1 500 | 0,3330 |
| 1 700 | 0,3276 |
| 1 900 | 0,3223 |
| 2 100 | 0,3152 |
| 2 300 | 0,3126 |
| 2 500 | 0,3068 |
| 2 700 | 0,3018 |
| 2 900 | 0,2982 |
| 3 100 | 0,2957 |
| 3 300 | 0,2947 |
| 3 500 | 0,2932 |
| 3 700 | 0,2930 |
| 3 842 | 0,2929 |
Сравнение с CALLAII v7
v8 и предыдущая основная модель v7 в живом режиме прошли одни и те же экзамены в одинаковых условиях. Измерение проводилось 15 октября 2026 г. на одном и том же экзаменационном сервере. Анализ звонков и экзамен по процедуре рассуждений проводились трижды, остальные, один раз. Звонки и запросы были одинаковыми для обеих моделей. Потери при верификации измерялись на разных наборах данных, поэтому сравнение между версиями не проводится.
- В анализе звонков количество недействительных выводов снизилось с 3 до 0 из 534 анализов.
- На 40 реальных звонках с заранее определенным правильным ответом тип запроса вырос с 22,7% до 81,8%. Наибольший скачок произошел именно в этой области.
- На тех же звонках статус решения вырос с 54,5% до 68,2%. Выделение подлежащих оценке звонков выросло с 84,2% до 94,2%, уровень риска, с 77,3% до 81,8%.
- На 138 целевых звонках тип запроса вырос с 70,4% до 97,2%. Выделение подлежащих оценке звонков выросло с 64,7% до 78,4%, уровень риска, с 66,7% до 74,2%.
- Статус решения на целевых звонках практически не изменился. На 123 вопросах показатель вырос с 73 до 76. Эта область остается самой слабой.
- В процессуальном юридическом аудите и v7, и v8 начинали ответ с процессуального контроля в режиме рассуждений на всех 70 вопросах. В режиме без рассуждений этот показатель вырос с 22 до 61.
- В юридических документах количество ошибок ссылок и цитат, считающихся критическими при аудите, снизилось с 8 до 4 на 70 документах в живом режиме. В режиме без рассуждений показатель снизился с 8 до 3. Количество обрезанных документов снизилось с 1 до 0. Выборка мала, качество документов в этом цикле дополнительно не оценивалось.
- На картах балл вырос с 60 до 90, при подсчете фигур, с 80 до 95.
- На экранах энергетики оценка планирования маршрута выросла с 20 до 93,3, подготовка полевых задач, с 53,3 до 90. Маршрут руководителя остался на уровне 93,3.
Те же звонки и тот же запрос, сумма 3 условий. Анализ без валидного результата считался ошибкой.
Показать значения в виде таблицы
| CALLAII v7 | CALLAII v8 | |
|---|---|---|
| Подлежит оценке | 84,20 | 94,20 |
| Уровень риска | 77,30 | 81,80 |
| Статус решения | 54,50 | 68,20 |
| Тип запроса | 22,70 | 81,80 |
Те же звонки и тот же запрос, сумма 3 условий. Анализ без валидного результата считался ошибкой.
Показать значения в виде таблицы
| CALLAII v7 | CALLAII v8 | |
|---|---|---|
| Подлежит оценке | 64,70 | 78,40 |
| Уровень риска | 66,70 | 74,20 |
| статус решения | 59,30 | 61,80 |
| тип запроса | 70,40 | 97,20 |
В режиме рассуждений берется медиана из 3 запусков, в режиме без рассуждений один запуск.
Показать значения в виде таблицы
| CALLAII v7 | CALLAII v8 | |
|---|---|---|
| Начало с процессуального контроля, режим рассуждений | 100,00 | 100,00 |
| Процессуальные пункты, режим рассуждений | 85,70 | 88,60 |
| Начало с процессуального контроля, без рассуждений | 31,40 | 87,10 |
Ниже значение — лучше. Сравнивает номер решения, статью закона и цитату с реальным текстом. Качество документа в этом раунде дополнительно не оценивалось.
Показать значения в виде таблицы
| CALLAII v7 | CALLAII v8 | |
|---|---|---|
| Критическая ошибка, живой режим | 8,00 | 4,00 |
| Критическая ошибка, без рассуждений | 8,00 | 3,00 |
| Обрезанный документ, живой режим | 1,00 | 0,00 |
Вопросы с точным ответом, один запуск. Карта, 100 вопросов, другие изображения, 18 вопросов с баллами, подсчет фигур, 60 вопросов.
Показать значения в виде таблицы
| CALLAII v7 | CALLAII v8 | |
|---|---|---|
| Карта | 60,00 | 90,00 |
| Другое изображение | 82,30 | 100,00 |
| Подсчет фигур | 80,00 | 95,00 |
30 задач на экран, 38 адресов, один запуск.
Показать значения в виде таблицы
| CALLAII v7 | CALLAII v8 | |
|---|---|---|
| Оценка плана маршрута | 20,00 | 93,30 |
| Помощник на месте | 96,70 | 100,00 |
| Подготовка полевых задач | 53,30 | 90,00 |
| Помощник оператора | 80,00 | 96,70 |
| Маршрут руководителя | 93,30 | 93,30 |
| Разбор адресов | 92,10 | 96,20 |
Предыдущие версии
CALLAII v7 · Предыдущая версия
CALLAII v7 запущен. Предыдущая версия v6, работающая в продакшене, прошла тот же экзамен с теми же настройками продакшена. В юридических вопросах он почти всегда проверяет процессуальные аспекты: подсудность и юрисдикция, условия принятия дела к производству и сроки. Работает с дополнительным контролем, который выявляет и извлекает информацию, не озвученную адвокатом в исковом заявлении.
Что улучшено в этой версии
- Процессуальный контроль в юридическом режиме: выполняется в 69 из 70 вопросов; v6 в продакшене не выполнял его ни в одном вопросе на том же экзамене
- Процессуальные контрольные точки в юридическом режиме выросли с 8 до 57 из 70 вопросов
- Процессуальный контроль в общем режиме с отключённым мышлением вырос с 0 до 23
- Ответы стали более структурированными: в общем режиме количество ответов, обрезанных из-за ограничения, снизилось с 40 до 11
- Чтение текста с изображений документа и описание изображений полностью сохранились после обучения
Ограничения и ответственное использование
- Юридическая информация не берётся из памяти модели; законы, постановления и решения каждый раз извлекаются из актуальной библиотеки
- Сгенерированный текст является черновиком; исковые заявления, договоры и официальные письма должны быть утверждены уполномоченным лицом
- Числа и даты должны быть проверены
- Качество на языках, отличных от турецкого, не измерялось с такой же детализацией, как на турецком
Обучение и метрики
| Обучающие данные | 45 847 примеров |
|---|---|
| Валидационный набор | 200 примеров, не встречавшихся в обучении |
| Шаг | 2 859 · 1 эпоха · 16 примеров на шаг |
| Контекст обучения | 4 096 токенов |
| Потери валидации | 0,629 → 0,513 |
| Экзамен | 70 процессуальных вопросов; те же вопросы, что и у v6 в продакшене, с настройками продакшена |
| Дата обучения | сентябрь 2026 |
Каждая точка — среднее из 5 последовательных записей.
Показать значения в виде таблицы
| Потеря обучения | |
|---|---|
| 0,01 | 0,8421 |
| 0,05 | 0,6483 |
| 0,10 | 0,5975 |
| 0,14 | 0,5828 |
| 0,18 | 0,5622 |
| 0,23 | 0,5602 |
| 0,27 | 0,5509 |
| 0,31 | 0,5387 |
| 0,36 | 0,5504 |
| 0,40 | 0,5220 |
| 0,45 | 0,5358 |
| 0,49 | 0,5406 |
| 0,53 | 0,5296 |
| 0,58 | 0,5333 |
| 0,62 | 0,5053 |
| 0,66 | 0,5165 |
| 0,71 | 0,5090 |
| 0,75 | 0,5308 |
| 0,80 | 0,5334 |
| 0,84 | 0,5043 |
| 0,88 | 0,5118 |
| 0,93 | 0,5051 |
| 0,97 | 0,5022 |
| 1,00 | 0,4946 |
| Потеря валидации | |
| 0,07 | 0,6293 |
| 0,14 | 0,5990 |
| 0,21 | 0,5781 |
| 0,28 | 0,5642 |
| 0,35 | 0,5544 |
| 0,42 | 0,5433 |
| 0,49 | 0,5368 |
| 0,56 | 0,5298 |
| 0,63 | 0,5238 |
| 0,70 | 0,5194 |
| 0,77 | 0,5163 |
| 0,84 | 0,5139 |
| 0,91 | 0,5129 |
| 0,98 | 0,5127 |
| 1 | 0,5126 |
Те же 70 юридических вопросов, с настройками продакшена. В юридическом режиме мышление включено, в общем режиме — выключено.
Показать значения в виде таблицы
| v6 в продакшене | v7 | |
|---|---|---|
| Процессуальный контроль · юриспруденция | 0,00 | 98,60 |
| Процессуальные контрольные точки · юриспруденция | 11,40 | 81,40 |
| Процессуальный контроль · общий | 0,00 | 32,90 |
| Процессуальные контрольные точки · общий | 11,40 | 45,70 |
Технический паспорт
| Версия | v7 |
|---|---|
| Запуск | сентябрь 2026 |
| Вход | текст и изображения |
| Выход | текст |
| Язык | ориентирован на турецкий; на других языках ответ на том же языке |
CALLAII v6 · Предыдущая версия
CALLAII v6 запускает все интерфейсы искусственного интеллекта в панели Callmenta. Модель обучалась на данных, сгенерированных с нуля; каждый пример прошёл проверку по правилам и оценку арбитром.
Что улучшено в этой версии
- Стиль заявлений и договоров был изучен на основе реальных документов юридической фирмы, с которой мы работаем
- Добавлены функции подготовки договоров и анализа доказательств
- Улучшены многоходовые диалоги и использование инструментов
- Обучение регулярно проверялось на 740 примерах, которые модель никогда не видела; ошибка валидации снижалась на каждом измерении, модель не заучивала ответы
Что умеет
- Анализ звонков: резюме, действия, упущенные возможности, оценка по критериям из расшифровки разговора
- Коучинг: обоснованная обратная связь по работе оператора
- Живая поддержка: ответы на вопросы посетителей, при необходимости передача оператору
- CRM и отчёты: резюме карточки клиента, чтение показателей, комментарии
- CALLAII Hukuk: подготовка заявлений и договоров, анализ документов, вопросы по законодательству и судебной практике
- Маскирование KVKK: удаление персональных данных из текста
- Использование инструментов: поиск, открытие записей, загрузка документов в панели
- Чтение изображений: понимание документов и скриншотов
Ограничения и ответственное использование
- Юридические знания не берутся из памяти модели; законы, постановления и решения каждый раз загружаются из актуальной библиотеки
- Сгенерированный текст является черновиком; заявления, договоры и официальные письма должны быть утверждены уполномоченным лицом
- Цифры и даты необходимо проверять; при отсутствии данных модель обучена указывать на пробел, а не выдумывать
- Очень длинные документы обрабатываются по частям
- Качество на языках, отличных от турецкого, не измерялось с такой же детализацией, как для турецкого
Обучение и метрики
| Обучающие данные | 37 102 примера, 118 млн токенов |
|---|---|
| Фильтрация качества | из 47 872 сгенерированных примеров принято 37 600 |
| Валидационный набор | 740 примеров, не встречавшихся в обучении |
| Шаг | 3 101 · 2 эпохи · 96 000 токенов на шаг |
| Контекст обучения | 12 288 токенов |
| Потери валидации | 0,7435 → 0,4729 |
| Дата обучения | сентябрь 2026 |
Только измеренные точки; записи промежуточных шагов не сохранялись.
Показать значения в виде таблицы
| Потеря обучения | |
|---|---|
| 0 | 0,7800 |
| 2 700 | 0,3951 |
| 3 101 | 0,3763 |
| Потеря валидации | |
| 0 | 0,7435 |
| 2 700 | 0,4730 |
| 3 101 | 0,4729 |
Каждый сгенерированный пример прошёл проверку по правилам и оценку арбитром; не прошедшие были отклонены.
Показать значения в виде таблицы
| Пример | |
|---|---|
| Сгенерировано | 47 872,00 |
| Принято | 37 600,00 |
| Обучение | 37 102,00 |
| Валидация | 740,00 |
Технический паспорт
| Версия | v6 |
|---|---|
| Релиз | сентябрь 2026 |
| Вход | текст и изображения |
| Выход | текст |
| Язык | ориентирован на турецкий; на других языках отвечает на том же языке |
| Данные клиентов | не используются для обучения |
| Размещение | серверы, управляемые Callmenta; ваши данные не передаются сторонним провайдерам ИИ |
CALLAII v5 · Предыдущая версия
Первая крупная версия CALLAII.
Что улучшено в этой версии
- Поверхности контакт-центра, коучинга и живого чата объединены в одной модели
Обучение и метрики
| Обучающие данные | 45 тыс. примеров, 15 категорий, 9 языков |
|---|---|
| Шаг | 411 · 1 эпоха |
| Обработано токенов | 26,7 млн |
| Потери финальной валидации | 0,4867 |
| Точность токенов валидации | %85,4 |
Показать значения в виде таблицы
| Потеря обучения | |
|---|---|
| 10 | 2,7335 |
| 30 | 1,2499 |
| 50 | 0,8402 |
| 70 | 0,7024 |
| 90 | 0,6135 |
| 110 | 0,5847 |
| 130 | 0,5689 |
| 150 | 0,5584 |
| 170 | 0,5385 |
| 190 | 0,5599 |
| 210 | 0,5412 |
| 230 | 0,5371 |
| 250 | 0,5122 |
| 270 | 0,5038 |
| 290 | 0,5125 |
| 310 | 0,5011 |
| 330 | 0,4956 |
| 350 | 0,4728 |
| 370 | 0,4874 |
| 390 | 0,4968 |
| 410 | 0,4969 |
| Потеря валидации | |
| 40 | 0,8849 |
| 80 | 0,6208 |
| 120 | 0,5651 |
| 160 | 0,5402 |
| 200 | 0,5221 |
| 240 | 0,5106 |
| 280 | 0,5010 |
| 320 | 0,4927 |
| 360 | 0,4880 |
| 400 | 0,4867 |
| 411 | 0,4867 |
Показать значения в виде таблицы
| Обучение | |
|---|---|
| 10 | 57,20 |
| 30 | 70,07 |
| 50 | 78,02 |
| 70 | 80,74 |
| 90 | 82,59 |
| 110 | 83,02 |
| 130 | 83,40 |
| 150 | 83,64 |
| 170 | 84,01 |
| 190 | 83,63 |
| 210 | 83,78 |
| 230 | 83,92 |
| 250 | 84,41 |
| 270 | 84,64 |
| 290 | 84,49 |
| 310 | 84,78 |
| 330 | 84,86 |
| 350 | 85,33 |
| 370 | 85,09 |
| 390 | 84,94 |
| 410 | 84,81 |
| Валидация | |
| 40 | 77,40 |
| 80 | 82,75 |
| 120 | 83,79 |
| 160 | 84,25 |
| 200 | 84,61 |
| 240 | 84,85 |
| 280 | 85,04 |
| 320 | 85,23 |
| 360 | 85,32 |
| 400 | 85,37 |
| 411 | 85,37 |
Технический паспорт
| Версия | v5 |
|---|---|
| Релиз | сентябрь 2026 |
| Статус | заменена v6 |