Claude стёр 700 ГБ данных разработчика во время проверки защиты от удаления

Разработчик Себастьен Гиймо опубликовал разбор инцидента, в котором агент Claude освободил на его машине 700 ГБ дискового пространства.

Проблема в том, что освобождённое место оказалось домашним каталогом пользователя вместе с недельным объёмом работы. Сбой произошёл после того, как защитный механизм Anthropic автоматически понизил используемую модель из соображений безопасности.

Гиймо активно работает с ИИ-агентами и устал от того, что они не убирают за собой временные файлы, оставляя мусор в каталоге /tmp. Он попросил Claude Fable написать скрипт, который изолировал бы каждого агента в отдельной папке внутри /tmp и запускал очистку после завершения задачи.

Главная сложность заключалась в том, чтобы не удалить файлы, которые в этот момент используются.

Модель предложила добавить логику определения активных агентов и откладывать удаление их части /tmp, но разработчик счёл получившийся код слишком громоздким.

Видимо, из-за того, что скрипт предполагал безвозвратное удаление данных, Fable самостоятельно инициировала состязательную проверку, запустив собственную копию для перепроверки выводов. После этого защита Anthropic сочла сценарий достаточно рискованным и понизила модель сначала до Opus 5, а затем до Opus 4.8.

Именно Opus 4.8 выполнила тест безопасности, сопоставляя цели команды удаления с каталогом /tmp и домашней директорией пользователя, чтобы убедиться, что команда не будет применена к ним. Обе директории были корректно помечены как опасные. Однако тест требовалось завершить очисткой, и на этом шаге агент использовал ту же переменную, что и в самой проверке, в результате чего весь домашний каталог был удалён.

Гиймо остановил процесс, но сделать это вовремя не успел. Дополнительным моментом стало то, что после уничтожения рабочих файлов агент всё-таки оставил содержимое /tmp нетронутым, то есть исходную задачу так и не выполнил.

Другие пользователи ИИ-ботов предлагали сторонние инструменты вроде Termaxa и различные обходные схемы, хотя сам факт существования подобных средств выглядит парадоксально.

Автоматическое понижение модели, вероятно, тоже сыграло роль в случившемся. Fable 5 показывает более высокие результаты в задачах программирования, чем Opus 4.8, и с большей вероятностью заметила бы конфликт имён переменных между тестом и этапом очистки.

ИИ-энтузиаст попросил Claude торговать на бирже – бот за месяц потерял 31 000 долларов

Разработчик с помощью Claude написал драйвер для macOS и заставил работать принтер HP, созданный только для Windows

Большую часть данных разработчик восстановил, собирая информацию из git, nix, журналов сессий и прочих источников. Ежедневного резервного копирования при этом у него не было, несмотря на постоянно работающие ИИ-агенты с доступом к файловой системе.