В MIT открыли новый тип нейросетей, снижающий расходы на тренировки

Несмотря на все достижения в области искусственного интеллекта, в действительности большинство продуктов и сервисов, полагающихся на ИИ не включают реального ИИ. Вместо этого применяются нейросети, машинное обучение и другие методы, которые требуют значительной мощности и огромных массивов данных. Исследователи из MIT хотят изменить ситуацию.

В новой работе представлена нейросеть, включающая подсети, которые до 10 раз меньше, что делает их проще и дешевле для обучения.

Тренировка большинства нейросетей требует скармливания им поистине гигантских объемов информации, обработка которой может занимать много времени и требует использования дорогостоящих компьютеров. Однако во время изучения структуры нейросетей исследователи MIT выяснили, что внутри находятся небольшие подсети, способные делать не менее точные прогнозы. Ученые выдвинули гипотезу, основанную на идее, что тренировка классических нейросетей сопоставима с покупкой всех билетов на лотерею, что, в конечном счете, гарантирует победу. В то же время, если тренировать только подсеть, то аналогия заключается в покупке только выигрышных билетов. 

Проблема в том, что ученые пока не выяснили, как находить такие подсети без создания полноценной нейросети и последующей тренировки на полном наборе данных. Если они смогут найти способ избежать создания нейросети, переключаясь сразу на подсеть, то это позволит сэкономить много времени и средств программистам — как одиночкам, так и командам крупных компаний. 

Фото в шапке: Markus Spiske