Мужчина с нейроимплантами создаёт музыку силой мысли – её уже записала панк-группа

Нейрокомпьютерные интерфейсы обычно рассматривают как медицинский инструмент – для восстановления утраченных функций. Но в лаборатории Калтеха такую систему превратили ещё и в музыкальный инструмент.

69-летний психолог Гален Бакволтер использует шесть мозговых имплантов не только для управления компьютером и частичного восстановления ощущений прикосновения, но и для управления музыкальными тонами в реальном времени. Нейронную активность он уже превратил в звук и использовал в записи и музыке группы Siggy.

История начинается с травмы: в 16 лет Бакволтер неудачно нырнул и оказался парализован ниже груди. Он сделал карьеру в психологии и не оставил музыку. В 2024 году он присоединился к исследованию нейроинтерфейсов в Калтехе и перенёс операцию – в моторную кору имплантировали шесть чипов Utah Array от Blackrock Neurotech.

Каждый чип содержит 64 канала – всего 384 потока нейронных данных. Когда Бакволтер мысленно представляет движение (например, сгибает палец), система распознаёт сигнал и интерпретирует намерение. Это позволяет управлять курсором, а также вызывать ощущения прикосновения – и теперь ещё и создавать звук через отдельный аудиоинтерфейс.

Идея музыки возникла из простого вопроса – как "звучит" мозг. Бакволтер наткнулся на видео, где электрическую активность грибов превращали в звук, и решил попробовать то же самое с нейросигналами.

ПО разработал аспирант Калтеха Шон Дарси. Оно сопоставляет активность нейронов с высотой тона: каждый канал передаёт частоту импульсов нейронов, а при мысленном движении одни нейроны активируются, другие – затихают.

Дарси закрепил за воображаемыми движениями отдельные ноты. Например, «движение» пальца повышает активность – и тон становится выше, снижение активности даёт обратный эффект. Комбинируя такие сигналы, Бакволтер может управлять несколькими тонами одновременно, хотя больше двух даются с трудом.

Чтобы сделать систему ближе к инструменту, добавили виртуальную клавиатуру с порогом активации: звук появляется только при достижении нужного уровня сигнала. Это превращает поток данных в дискретные ноты. При этом интерфейс нестабилен – перед каждой сессией систему приходится перекалибровывать.

Для Бакволтера это не побочный эффект, а принципиальный вопрос. Он считает, что нейроинтерфейсы не должны ограничиваться медицинскими задачами: важно развивать и творческие сценарии, а не рассматривать людей с имплантами только как источник данных.

Парализованный ветеран управляет рейдами в World of Warcraft силой мысли спустя 100 дней с имплантом Neuralink

Группа Siggy уже применила это на практике. В альбом Wirehead (15 марта) вошёл трек с нейронными звуками Бакволтера. Во время записи Дарси управлял параметрами системы, а сам Бакволтер "играл" – изменяя активность мозга.

Сейчас команда работает над музыкой, полностью созданной из нейросигналов. Конечная цель – система вроде диджейской установки, управляемой напрямую активностью моторной коры.