Энтузиаст встроил процессор RISC-V прямо в веса нейросети Qwen и запустил на нём Doom
ИИ-инженер Дивьянш Агравал представил Qwenputer, экспериментальную модификацию языковой модели Qwen 3.5 4B. В её веса скомпилирован 32-битный процессор на архитектуре RISC-V. Встроенный CPU выполняет арифметические операции и запускает код на C и MicroPython без внешних сред выполнения и вызова сторонних инструментов.
По давней традиции энтузиастов новый вычислитель прошёл проверку классической Doom. Шутер 1993 года запускается внутри нейросети, хотя и работает очень медленно. Игру уже запускали на калькуляторах, тестах на беременность и бактериях, и вот теперь в этом списке появились веса большой языковой модели.
Главная особенность Qwenputer в том, что процессор не обучали. Обычные LLM получают свои навыки в ходе тренировки на огромных массивах данных, но здесь веса задаются напрямую. Агравал описывает свою реализацию так:
Это 11 слоёв трансформера перед собственными слоями Qwen, и ни один из их весов не выучен – каждый вычисляет компилятор.
По сути, компилятор переводит логику работы процессора в набор матриц, которые модель обрабатывает так же, как любые другие свои параметры. Qwen отправляет инструкции встроенному CPU и считывает результат, не обращаясь к внешнему окружению. Это решает известную проблему языковых моделей с точными вычислениями, ведь LLM предсказывают токены, а не вычисляют числа, и обычно для расчётов им нужен вызов интерпретатора Python или калькулятора.
Не менее интересно решение с оперативной памятью. Роль RAM выполняет состояние слоёв Gated DeltaNet, которые Qwen 3.5 использует в своей гибридной архитектуре наряду с классическим механизмом внимания. Gated DeltaNet хранит информацию о контексте в рекуррентной матрице состояния, обновляющейся с каждым новым токеном.
Такие динамически меняющиеся параметры называют "быстрыми весами", и Агравал считает их использование в качестве памяти "довольно изящным трюком". Разработчик признаёт, что сама идея не нова и в исследованиях обсуждается давно. А вот подобная модификация Qwen 3.5, судя по всему, проведена впервые.
Корректность работы процессора подтверждена тестами. Агравал отметил:
Он проходит официальные riscv-tests, результаты его программ совпадают с qemu, и он выполнил 18 миллионов инструкций в автономном режиме без единой ошибки.
Набор riscv-tests служит эталонной проверкой соответствия спецификации архитектуры RISC-V. QEMU, в свою очередь, широко используемый эмулятор, с результатами которого принято сверять работу новых реализаций процессоров.
На процессоре и памяти Агравал не остановился и добавил в модель файловую систему. Раз RAM уже была реализована, это расширение разработчик назвал относительно простым. Хранилище тоже построено на состоянии DeltaNet и содержит 1024 слота, в которых помещается до 512 файлов.
Файловая система может работать как постоянное хранилище. Для этого достаточно сохранить состояние модели в конце диалога, и при следующем запуске все файлы окажутся на месте.
Все дополнения заметно увеличили требования к ресурсам. Размер модели вырос примерно вдвое по сравнению с исходной Qwen 3.5 4B и составляет почти 19 ГБ. Для тестирования нынешней версии Агравал рекомендует рабочую станцию с видеокартой на 24 ГБ видеопамяти или больше.
Разработчик продолжает работу над Qwenputer и старается ускорить модель и упростить написание кода для встроенного процессора. Пока проект сугубо экспериментальный и создавался скорее для исследования возможностей, чем для решения конкретной практической задачи.
Подробное описание Qwenputer опубликовано в блоге Агравала. Исходный код доступен на GitHub под лицензией MIT, а саму модель уже можно скачать с Hugging Face.
- Furiosa AI удвоит производство чипов для ИИ до 50 000 единиц
- OpenAI и Broadcom представили Jalapeño – первый чип компании для ИИ, созданный всего за 9 месяцев
- ИИ начинает превосходить инженеров в узких задачах проектирования чипов
Об авторе
