Nvidia заплатила $20 миллиардов за технологию конкурента и его главного инженера

Nvidia объявила о сделке на $20 миллиардов по приобретению интеллектуальной собственности компании Groq (не путать с ИИ Grok Маска). Хотя речь не идет о покупке всей компании, Nvidia получает ключевых инженеров, включая основателя Groq Джонатана Росса, который ранее работал над созданием TPU-чипов в Google. Это крупнейшая сделка Nvidia в сфере искусственного интеллекта после покупки Mellanox.

ИИ-чип Groq показал потрясающую производительность в больших языковых моделях

Groq специализируется на чипах LPU (Language Processing Unit) – процессорах для запуска больших языковых моделей вроде ChatGPT. Главное отличие от продуктов Nvidia в том, что LPU оптимизированы не для обучения нейросетей, а для инференса – процесса, когда уже готовая модель выдает ответы пользователям в реальном времени. Именно на инференсе работают чат-боты и ИИ-ассистенты, которых сейчас массово запускают технологические компании.

Архитектура Groq отличается от GPU-ускорителей Nvidia тем, что использует статическое планирование вычислений и огромные объемы быстрой памяти SRAM прямо на чипе. Это дает предсказуемую скорость работы без задержек – на тестах с моделью Llama 2 чип Groq выдавал 241 токен в секунду, опережая решения Nvidia в сценариях с одиночными запросами.

Сделка структурирована как лицензирование технологии с массовым наймом персонала Groq, что позволяет Nvidia избежать антимонопольной проверки при сохранении фактического контроля над разработками стартапа. При этом облачный сервис GroqCloud продолжит работать независимо.

Покупка дает Nvidia не только доступ к готовой технологии инференса, но и устраняет одного из немногих конкурентов, способных превзойти компанию в определенных сценариях использования ИИ.