Ветеран разработки Windows запустил ИИ на 47-летнем компьютере с 64 КБ памяти – и раскрыл главный секрет нейросетей

Дейв Пламмер, ветеран разработки Windows, известный своими экспериментами с ретро-железом, снова вышел на сцену – на этот раз с тезисом о природе современного ИИ.

В своём новом видео он запустил трансформерную модель на 47-летнем компьютере PDP-11 с процессором 6 МГц и всего 64 КБ оперативной памяти, чтобы доказать – никакой магии за искусственным интеллектом нет.

Модель называется Attention 11 и написана целиком на ассемблере PDP-11 разработчиком Дамьеном Бюре. Задача, которую она решает, выглядит предельно просто – научиться переворачивать последовательность из восьми цифр. Однако именно эта простота обнажает суть – модель не заучивает примеры, а должна вывести структурное правило, применимое к любому входному набору. По мнению Пламмера, это и есть то самое, что делают современные языковые модели вроде ChatGPT.

Технические ограничения системы потребовали жёсткой оптимизации. Модель содержит всего 1 216 параметров, использует арифметику с фиксированной точкой, а на этапе прямого прохода точность обрезается до 8 бит – каждый такт на счету, чтобы обучение завершилось до "тепловой смерти Вселенной", как сам Пламмер это формулирует.

Несмотря на все ограничения, PDP-11/44 с дополнительной платой кэша справился с задачей примерно за 3,5 минуты и 350 шагов обучения, достигнув 100% точности.

Мы наблюдаем обнажённую анатомию самого процесса обучения. Модель начинает тупой. Потери начинают высокими. Точность спотыкается, как человек, пытающийся собрать мебель IKEA в кузове движущейся машины. А потом где-то на пути веса устанавливаются в паттерн. И механизм внимания обнаруживает карту инверсии. И машина пересекает ту невидимую черту – от угадывания к знанию.

Главный тезис эксперимента Пламмер формулирует прямо: современный ИИ – это не мистический феномен, а сугубо механический процесс коррекции ошибок, масштабированный до колоссальных размеров.

Эта старая машина не думает в каком-то мистическом смысле. Она просто перемалывает арифметику, обновляя несколько тысяч тщательно сохранённых чисел. И в этом вся игра. Гламур современного ИИ в основном исходит из того, что всё это делается в ошеломляющем масштабе. Но сам акт обучения уже полностью присутствует здесь, в миниатюре.

Напоследок Пламмер делает вывод, актуальный для всей индустрии: в условиях нарастающего дефицита вычислительных ресурсов компании, готовые вернуться к старомодной одержимости эффективностью и оптимизацией, получат серьёзное конкурентное преимущество. Он отмечает, что ограничения – не враг инженерии. Ограничения – это то, что вынуждает творческую инженерию происходить.