Moonshot AI выпустила веса Kimi-K3 и бросила вызов OpenAI и Anthropic – модель работает почти как топовые, но в 2-3 раза дешевле

Moonshot AI сделала серьёзный вызов крупным игрокам на рынке ИИ, среди которых Anthropic и OpenAI. Последние модели этих компаний, Claude Fable и GPT-5.6 Sol соответственно, теперь сталкиваются с новым конкурентом.

По внутренним бенчмаркам Moonshot, Kimi K3 полностью превосходит предыдущие поколения Claude и GPT, а также вплотную приближается к Fable и Sol. При этом модель обходится примерно в 2-3 раза дешевле в эксплуатации, а при попадании запроса в кэш экономия может достигать десятикратной.

Технический отчёт Moonshot, судя по всему, подтверждает бенчмарки, опубликованные на прошлой неделе. Компания раскрыла, какое именно ПО использовалось для тестирования.

Для сравнения стоимости инференса Moonshot указывает, что её собственные затраты "измерены внутренне" против публичной цены за токены у других компаний. Цифры выглядят внушительно.

За входные токены Kimi K3 стоит $3 за миллион. Для сравнения Fable обходится в $10 за миллион, а Sol в $5 за миллион. Это стандартная цена без кэширования, и она уже смотрится выгодно.

Структура кэширования Kimi K3 обеспечивает около 90% попаданий для задач по программированию. Это превращает $3 в $0,30 за миллион токенов, если сценарий использования часто задействует кэш. Похожая картина складывается и для выходных токенов.

Одна из вероятных причин такой эффективности Kimi K3, использование сочетания MXFP4 для весов и MXFP8 для входных активаций. Оба типа данных имеют относительно низкую точность и потому требуют значительно меньше видеопамяти.

Из 2,8 триллиона параметров Kimi одновременно активируется лишь 104,2 миллиарда. Такой подход дополнительно снижает нагрузку.

Любопытно, что в отчёте Moonshot упоминается только видеокарта Nvidia H20, применявшаяся для части тестов по программированию. Это довольно слабый по нынешним меркам чип.

Этот GPU не имеет нативной поддержки типов данных MX с плавающей запятой, в отличие от подпадающих под экспортные ограничения чипов серии Blackwell B.

Таким образом, оптимизации Kimi K3 делают модель особенно пригодной для работы на менее производительном железе. При этом запуск на Nvidia Blackwell или другом кремнии с нативной поддержкой MXFP теоретически мог бы сделать её ещё более экономичной, чем показано в бенчмарках. Подтвердить эту гипотезу помогут только новые официальные данные.

Кроме того, Kimi K3 не использует традиционное постоянно растущее хранилище ключ-значение. Вместо этого модель полагается на обработчик состояния фиксированного размера под названием Kimi Delta Attention, что также теоретически экономит и видеопамять, и время выполнения.

Система смешивания экспертов (MoE) здесь особенно разреженная, с активацией лишь 16 экспертов из 896 одновременно. Это дополнительно сокращает стоимость инференса. В целом Moonshot стремилась к оптимизации на каждом уровне инференса, чтобы избежать лишних накладных расходов и снизить затраты.

Профессор поймал 32 студентов на списывании с ИИ с помощью невидимой ловушки в задании

Энтузиаст добавил Nvidia Tesla V100 в игровой ПК за $266 и получил 32 ГБ видеопамяти для запуска ИИ-моделей

Это может стать неприятной новостью для OpenAI и Anthropic. Теперь практически любой обладатель приличных ИИ-ускорителей способен превратиться в их прямого конкурента.

Открытые веса Kimi K3 создают впечатление, что "бесплатное" ПО почти так же хорошо, как проприетарные аналоги, но при этом гораздо дешевле в эксплуатации. Стоит отметить, что открытые веса не означают открытый исходный код, ведь процесс обучения и датасет остаются секретами Moonshot.