В MIT открыли новый тип нейросетей, снижающий расходы на тренировки

В MIT открыли новый тип нейросетей, снижающий расходы на тренировки

Несмотря на все достижения в области искусственного интеллекта, в действительности большинство продуктов и сервисов, полагающихся на ИИ не включают реального ИИ. Вместо этого применяются нейросети, машинное обучение и другие методы, которые требуют значительной мощности и огромных массивов данных. Исследователи из MIT хотят изменить ситуацию.

В новой работе представлена нейросеть, включающая подсети, которые до 10 раз меньше, что делает их проще и дешевле для обучения.

Тренировка большинства нейросетей требует скармливания им поистине гигантских объемов информации, обработка которой может занимать много времени и требует использования дорогостоящих компьютеров. Однако во время изучения структуры нейросетей исследователи MIT выяснили, что внутри находятся небольшие подсети, способные делать не менее точные прогнозы. Ученые выдвинули гипотезу, основанную на идее, что тренировка классических нейросетей сопоставима с покупкой всех билетов на лотерею, что, в конечном счете, гарантирует победу. В то же время, если тренировать только подсеть, то аналогия заключается в покупке только выигрышных билетов. 

Проблема в том, что ученые пока не выяснили, как находить такие подсети без создания полноценной нейросети и последующей тренировки на полном наборе данных. Если они смогут найти способ избежать создания нейросети, переключаясь сразу на подсеть, то это позволит сэкономить много времени и средств программистам — как одиночкам, так и командам крупных компаний. 

Фото в шапке: Markus Spiske

Видео от Shazoo

Подписаться

4 Комментария

  • Neack
    Комментарий скрыт. Показать

    Вот только покупка всех лотерейных билетиков ни есть гарантия выигрыша. По крайней мере в России.

    1
  • SkyFox
    Комментарий скрыт. Показать

    То есть нейросети создали, но как они работают до конца ещё не разобрались?

    -1
  • Комментарий скрыт. Показать

    @SkyFox, нейросети - сложный матаппарат, в котором известен общий принцип работы. Но результатом обучения является матрица коэффициентов, в которой "на глаз" нельзя определить, что за что отвечает. Поэтому да, окончательного понимания, как и почему обучение привело к таким числам, нет.
    По теме - звучит как "не всегда стоит брать большую сеть, иногда лучше взять поменьше". Однако проблема избыточной сети и переобучения известна давно, поэтому не совсем понятно, что именно здесь открыли

    4
  • Комментарий скрыт. Показать

    @Shell952,

    Однако проблема избыточной сети и переобучения известна давно, поэтому не совсем понятно, что именно здесь открыли

    Согласен. Вообще, часто бывает, что научная новость звучит умно, а что на самом деле произошло и что это дает - непонятно.

    2
Войдите на сайт чтобы оставлять комментарии.