Ученый предупредил об особой опасности со стороны новой ИИ-модели OpenAI o1

Профессор Йошуа Бенжио — исследователь в области искусственного интеллекта, выразил обеспокоенность по поводу потенциальных рисков, связанных с новой серией моделей OpenAI с "улучшенным мышлением" под названием o1-preview.

По заявлению OpenAI, эти новые модели разработаны для "более длительного размышления перед ответом", что позволяет им решать сложные задачи в области науки, программирования и математики. Предварительная версия o1, известная под кодовым названием "Project Strawberry", теперь доступна подписчикам ChatGPT Pro и через API OpenAI.

Компания сообщает о впечатляющих результатах новой модели:

• В отборочных экзаменах Международной математической олимпиады модель правильно решила 83% задач, по сравнению с 13% у предшественника GPT-4o

• В соревнованиях по программированию модель достигла 89-го процентиля на платформе Codeforces

• По сложным задачам в физике, химии и биологии модель показывает результаты на уровне аспирантов

Однако этот прогресс вызвал озабоченность экспертов. Бенжио, профессор информатики Монреальского университета, предупредил о потенциальных опасностях новых моделей:

Если OpenAI действительно перешла "средний уровень риска" в отношении оружия массового поражения, как они сообщают, это только подчеркивает важность и срочность принятия законодательства, подобного SB 1047, для защиты общества.

SB 1047 направлен на установление требований безопасности для "пограничных" моделей ИИ — продвинутых систем, способных потенциально нанести катастрофический ущерб человечеству.

Улучшение способности ИИ рассуждать и использовать этот навык для обмана особенно опасно. Мы должны внедрить регуляторные решения, подобные SB 1047, чтобы гарантировать, что разработчики уделяют приоритетное внимание общественной безопасности на передовом рубеже ИИ.

К сожалению, пока не похоже, что законодатели всерьез относятся к тому, какой риск может представлять даже подобный генеративный ИИ для человечества. Более того, даже эксперты не могут в полной мере предсказать, как более продвинутые модели повлияют на человечество.