Mistral Large 4 с триллионом параметров: открытые веса, у которых не сходится арифметика

Mistral AI анонсировала Mistral Large 4 — модель на триллион параметров с открытыми весами и почти свободной лицензией. Разбираем, что в этом релизе реально нового, а какие цифры не выдерживают проверки даже по самим данным первоисточника.

Открытые веса триллионной модели — событие важное, но конкретные числа этого релиза расходятся между собой на порядки, и принимать их на веру без собственного бенчмарка нельзя.

Что именно объявили

Mistral AI представила Mistral Large 4 (внутреннее прозвище Le Chonk) — декодерную (decoder-only, то есть генерирующую текст посимвольно «вперёд») языковую модель на 1 триллион параметров с открытыми весами. Веса — это и есть обученные числовые матрицы модели; отдать их публично означает дать возможность запускать нейросеть у себя, а не через чужой API.

Ключевое обещание релиза — лицензия в стиле Apache 2.0 с оговоркой «Open-Use», которая снимает типичное для open-weight моделей ограничение «только для исследований». Формально это означает, что модель можно легально встраивать в коммерческий продукт.

Для сравнения в анонсе взяты LLaMA 2-70B и Falcon-180B. Сразу оговорюсь: это ориентиры 2023 года, и к моменту публикации такого рода сравнение выглядит довольно архаично. Falcon-180B давно перестал быть референсом для «тяжёлых» открытых моделей, а LLaMA 2 — тем более. Более честной базой для сравнения были бы Mistral Large 2 (123B параметров, 128k контекст, Apache 2.0) или свежие открытые модели Meta*, DeepSeek и Qwen — но их в обсуждении нет.

Архитектура: GQA, скользящее окно и 64k контекста

Техническое ядро релиза — две оптимизации внимания, без которых запуск триллионной модели был бы экономически бессмысленным.

Grouped-query attention (GQA) — вариант внимания, при котором несколько «голов запроса» разделяют общие «головы ключей и значений». Классическое multi-head внимание создаёт на каждый слой и на каждый токен отдельный кэш ключей и значений (KV-cache) — хранилище промежуточных состояний, которое модель должна держать в памяти на протяжении всего диалога. GQA сокращает этот кэш в несколько раз, потому что ключей и значений просто меньше. Цена — некоторая потеря выразительности внимания, которую обычно компенсируют объёмом обучающих данных.

Sliding-window attention (SWA) — внимание, ограниченное локальным окном: каждый токен «видит» лишь фиксированное число соседей, а не всю последовательность. Это резко снижает квадратичную сложность длинного контекста. Побочный эффект, который редко обсуждают: SWA плохо переносит задачи, где нужно связывать удалённые друг от друга куски текста — например, находить противоречие между пунктом 3 на странице 5 и пунктом 41 на странице 48.

Заявлено, что связка GQA + SWA удваивает эффективную длину контекста до 64k токенов без пропорционального роста вычислений. В цифрах это примерно 200–250 тысяч слов — то есть юридический договор средней длины целиком.

Где арифметика не сходится

Тут придётся разбирать заявленные цифры по косточкам, потому что именно они делают новость громкой.

Объём обучающих данных. Утверждается, что модель обучена на 1,2 триллиона токенов при бюджете примерно 2 зеттафлопа. Проблема в том, что эти числа противоречат и друг другу, и базовой теории.

Возьмём стандартную оценку стоимости обучения: примерно 6 умножений-сложений на параметр на токен. Тогда 10^12 параметров × 1,2×10^12 токенов × 6 даёт порядка 7×10^24 операций. Это тысячи зеттафлопов (зетта = 10^21), а не два. Даже с поправкой на разные системы счисления в промышленных метриках расхождение — на порядки.

Ещё важнее соотношение параметров и токенов. Со времён работы Chinchala (DeepMind, 2022) принято считать, что модель объёмом в N параметров должна увидеть примерно 20N токенов, иначе она недообучена: мощности хватает, чтобы выучить структуру языка, но не хватает фактов и редких паттернов. Для триллиона параметров это 20 триллионов токенов. Заявленные 1,2 триллиона — это в 17 раз меньше оптимума. Модель с таким соотношением объективно должна «пустеть»: формально она огромная, а знаний в ней меньше, чем в 70-миллиардной модели, обученной на 2–3 триллионах токенов.

Есть и обратная версия: цифра «1,2 триллиона токенов» в исходных данных — опечатка, и имелись в виду триллионы чего-то другого (например, слова или шаги обучения). Но пока Mistral AI не опубликует полноценный технический отчёт, эту величину стоит считать неизвестной, а не фактом.

Память на инференсе. Заявлено, что GQA снижает память инференса с ~150 ГБ до ~80 ГБ, и что одна NVIDIA H100 (80 ГБ HBM3) вмещает два экземпляра модели одновременно. Здесь тоже не бьётся.

Сами веса триллионной плотной модели в FP16 занимают 2 терабайта. Даже при четырёхбитном квантовании (сжатии весов с потерей точности) — около 500 ГБ. Положить это в 80 ГБ невозможно в принципе. Оптимизация GQA влияет на KV-cache, то есть на «накладные» расходы при генерации, но не на веса; доля кэша в общей памяти у такой модели как раз мала. Утверждение про 80 ГБ можно прочитать только так: либо модель не триллионная, либо применялось агрессивное квантование, о котором не сказано, либо цифры взяты «примерно» и не проверялись.

Скорость. Сводка 50-страничного контракта на 64k токенов за 19 секунд на одном A100 — при той же логике это означает вывод порядка 3–4 тысяч токенов в секунду с одного ускорителя, который физически не способен удержать модель в памяти. Реалистичные цифры для моделей такого класса — единицы–десятки токенов в секунду на один GPU даже с batching.

Экономика. Расчёт «$0,30 за миллион токенов → $0,21 после экономии на памяти» и «$9 тыс. экономии в год на 45 млн токенов в день» тоже стоит проверить самостоятельно. Во-первых, стоимость владения self-hosted моделью — это не только токены: сюда входят GPU-часы, простоя, инженерная команда, резервирование мощностей. Во-вторых, для сервиса с 45 млн токенов в день (примерно 16,5 млрд токенов в год) разница в $0,09 за миллион даёт около $1,5 тыс. в год, а не $9 тыс. Формула в исходных материалах, похоже, посчитана по другому тарифу.

Бенчмарки: против кого мы меряемся

Заявленные результаты: 57% pass@1 на HumanEval (против 46% у Mistral 7B, 48% у LLaMA 2-70B и 61% у GPT-4-Turbo), 68% на MBPP, BLEU 0,84 на Code-Alpaca, 73,2% на MMLU, 58,9% на китайском CEVAL.

Проблема тут методологическая. HumanEval — набор из 164 задач на Python, появившийся в 2021 году; он давно попал в обучающие корпуса, и разница в 5–10 пунктов между моделями может объясняться простым переобучением на эти задачи. Формат pass@1 (одна попытка, без повторов) к тому же чувствителен к температуре сэмплирования и к тому, в каком виде подаётся промпт. Модели, объявленные лидерами, обычно пересчитывают эти цифры при разных условиях.

То же с MMLU: 73,2% — уровень 2023 года. Современные закрытые модели стабильно держатся выше 80–88%, и открытые модели последних поколений тоже. Сравнивать триллионную модель с LLaMA 2-70B и Falcon-180B — значит сравнивать её с прошлым, а не с настоящим.

Про CEVAL и китайский язык справедливо замечено: 12% обучающих токенов на китайском — это мало. Для мультиязычного продукта это означает обязательное дообучение (fine-tuning) на своих данных либо специализированные адаптеры, и обе опции съедают часть экономии.

Что на самом деле нового

Если отбросить сомнительные числа, остаётся содержательное ядро.

Первое — юридическая рамка. Разрешение коммерческого использования открытых весов крупных моделей долгое время было серой зоной: LLaMA 2 распространялась под собственной лицензией с ограничениями по числу пользователей, Falcon — под более строгой. Формат Apache 2.0 + «Open-Use» снимает главный барьер для бизнеса. Но оговорка про «вредоносное использование» (malicious use) без определения термина — это риск: регулируемые отрасли (финтех, здравоохранение) будут толковать её расширительно и предпочтут закрытого вендора с контрактной ответственностью.

Второе — сдвиг дискуссии о стоимости. Даже если цифры из анонса завышены, сам вектор верный: открытая модель с эффективным вниманием действительно снижает цену за токен по сравнению с закрытым API, потому что исключает маржу вендора. Вопрос в том, насколько большой остаётся разница после того, как посчитаешь GPU-инфраструктуру.

Третье — экосистемный эффект. Открытые веса запускают цепочку: community-инструктуны (заявлено +4% на AlpacaEval для варианта Mistral-4-Instruct), эксперименты с Mixture-of-Experts поверх плотной основы (+2,3% на MMLU при задержке до 1,1× от базовой), стандартизация токенизаторов и бенчмарков. Это реальная польза, не зависящая от того, сходятся ли цифры в пресс-релизе.

Риски и открытые вопросы

Безопасность. Встроенная модерация работает на уровне токенов, то есть фильтрует генерацию поштучно. Такие фильтры стабильно обходятся адверсарными промптами. Для открытой модели это почти неизбежный сценарий: дообучение на вредоносных данных полностью нейтрализует фильтр. Для компании, которая разворачивает модель в продакшене, ответственность целиком ложится на неё — нужны внешние слои безопасности и регулярные аудиты.

Вычислительное неравенство. Обучение триллионной модели по-прежнему требует зетта-масштаба вычислений, доступного единицам. Демократизируется инференс, а не исследования. Практическое следствие: архитектурные решения Mistral AI без широкого независимого рецензирования могут стать де-факто стандартом просто потому, что альтернатив нет.

Проверяемость. Главная проблема этого релиза — не архитектура, а качество документации. Модель, о которой не опубликованы состав обучающих данных, точная методика обучения, условия бенчмарков и реальные требования к железу, сложно принимать инженерное решение. Разрыв между заявленным и измеримым здесь — на порядки, и это само по себе аргумент против слепого переноса в продакшен.

Практический вывод

Если у вас есть инженерная команда и собственные GPU-мощности, веса стоит скачать и прогнать на своей задаче — это единственный способ получить честные цифры по задержке, памяти и качеству. Типичный сценарий, где открытая модель такого класса окупается, — узкие корпоративные workload'ы: автодополнение кода, суммаризация внутренних документов, извлечение данных из длинных договоров. Общие чат-ассистенты «для всего» по-прежнему сильнее у закрытых моделей.

Для финансовых и юридических расчётов закладывайте стоимость инфраструктуры целиком, а не только цену за миллион токенов, и не опирайтесь на цифры из пресс-релиза. Лицензионную оговорку про «вредоносное использование» покажите юристам до, а не после интеграции.

Mistral Large 4 важна скорее как сигнал: открытые веса добрались до того масштаба, который раньше был привилегией закрытых лабораторий. Но сигнал — это ещё не подтверждённое достижение. Пока компания не опубликует технический отчёт с воспроизводимыми цифрами, разумнее считать релиз громким обещанием, чем готовым инженерным решением.