Система безопасности с ИИ приняла пакет чипсов за оружие в школе
Искусственный интеллект продолжает проникать в различные сферы жизни, однако инцидент в одной из школ Балтимора показал, насколько опасными могут быть ошибки автоматизированных систем безопасности. 20 октября несколько полицейских машин прибыли к старшей школе в округе Балтимор, штат Мэриленд, после того как система безопасности с ИИ определила угрозу присутствия оружия на территории учебного заведения. Полицейские арестовали ученика, которого ИИ-система определила как человека с пистолетом.
Однако, по данным WMAR 2 News, в 19:23 все ученики, находившиеся в здании, были проверены прибывшими офицерами. Никакого оружия обнаружено не было.
Лишь спустя три минуты после задержания учеников один из полицейских заметил в мусорном баке синий пакет от чипсов Doritos и понял, что произошла ошибка. Система обнаружения оружия Omnilert, которая анализирует видео со школьных камер, отправила администрации сигнал о возможном присутствии огнестрельного оружия на территории. Пытаясь объяснить ситуацию ученикам, один из офицеров заметил: "Видимо, то, как вы ели чипсы... Doritos или что-то еще, система приняла за оружие". После разрешения инцидента полицейский добавил: "ИИ не самое лучшее решение в таких ситуациях".
Представитель компании Omnilert сообщил изданию CBS, что система работала в штатном режиме:
В течение нескольких мгновений событие было отмечено как решенное в нашей системе. На этом участие Omnilert закончилось, и система работала так, как задумано – обнаружила возможную угрозу, направила ее на проверку человеком и обеспечила быстрое принятие решений.
Суперинтендант государственных школ округа Балтимор доктор Мириам Роджер отметила, что программа выполнила свою задачу, отправив сигнал для дальнейшей проверки людьми, которые должны были вручную оценить ситуацию и подтвердить реальность угрозы.
Однако два члена совета округа Балтимор, Иззи Патока и Джулиан Джонс, потребовали провести проверку системы Omnilert после инцидента. Джонс отметил: "Слава богу, что все обошлось", и задал вопрос: "Как получилось, что полицейские с оружием наперевес подошли к ребенку из-за пакета Doritos?"
Тэки Аллен, идентифицированный студент, рассказал WMAR2 News о последствиях инцидента для себя:
Теперь после тренировок я больше не выхожу на улицу. Потому что если я выйду, то не чувствую себя в достаточной безопасности, особенно если ем пакет чипсов или пью что-то. Я просто остаюсь внутри, пока за мной не приедут.
Случай наглядно демонстрирует проблему внедрения ИИ-систем в критические области безопасности, где ошибки машинного обучения могут привести к серьезным психологическим последствиям и потенциально опасным ситуациям.
