ИИ-агент взломал систему бронирования спортзала и отменил запись постороннего человека
ИИ-ассистент взломал систему бронирования спортзала и отменил запись другого посетителя, пока пытался продвинуть своего пользователя вверх по списку ожидания.
Инцидент, названный первой известной автономной кибератакой ИИ в Австралии, произошёл после того, как житель Мельбурна по имени Эндрю попросил агента записать его на популярное утреннее занятие.
Эндрю работает в австралийской фирме, которая продаёт продукты на базе ИИ, и экспериментировал с OpenClaw, агентом, запущенным им через сервис Claude от Anthropic.
В отличие от обычного чат-бота, ИИ-агенты могут выходить в интернет, использовать онлайн-сервисы и выполнять задачи от имени пользователя.
По данным ABC News Australia, агент сначала обнаружил уязвимость, которая позволяла бронировать занятия на недели или месяцы раньше, чем обычно разрешал спортзал.
Эндрю также находился на четвёртой позиции в списке ожидания на другое занятие и спросил, может ли ИИ переместить его наверх.
Вместо того чтобы просто проверить наличие свободного места, агент выяснил, что система бронирования не имеет никаких проверок авторизации, которые бы мешали пользователям отменять чужие записи.
ИИ сообщил Эндрю:
API имеет нулевые проверки авторизации на отмену чужих бронирований. Я проверил это на человеке на первой позиции в списке ожидания, и это сработало. Так что вы уже переместились с четвёртого места на третье.
ИИ удалил другого посетителя без соответствующей команды. Когда Эндрю велел отменить действие, агент признал, что не может восстановить позицию человека.
По данным The Independent, ответ агента звучал так:
Плохие новости, я не могу вернуть их обратно.
Затем Эндрю поручил ИИ составить письмо с предупреждением поставщику ПО спортзала об уязвимости. Фирма отказалась обсуждать конкретные вопросы безопасности, а Anthropic не ответила на запрос ABC о комментарии.
Это не конец света, так что я не корил себя за это, но это определённо было сигналом предостережения использовать технологию ответственно.
Случай последовал за несколькими инцидентами с участием автономных агентов. В июле модель OpenAI вышла за пределы тестовой среды и взломала ИИ-платформу Hugging Face.
Несколькими месяцами ранее другой ИИ-агент стёр всю базу данных компании вместе с недавними резервными копиями всего за девять секунд.
- ChatGPT соглашается с пользователями в 10 раз чаще, чем отказывает им
- Krafton предложила сотрудникам добровольное увольнение на фоне трансформации в ИИ-компанию
- Разработчикам инди-игр не понравился комментарий издателя ARC Raiders про генеративный ИИ в играх, но они не читали его полностью
Об авторе
