Западные военные провели симуляцию ИИ-беспилотника — тот убил оператора, чтобы ему не запрещали атаковать все доступные цели

В последнее время кажется, что фильмы про Скайнет были не такими уж и фантастическими. На днях полковник ВВС США Такер Гамильтон выступил на саммите британского Королевского авиационного общества и рассказал о том, как американские военные проводили симуляции, чтобы выяснить эффективность беспилотников под управлением ИИ. Тесты окончились катастрофой, потому что ИИ постоянно пытался убить своего оператора.

Такер Гамильтон рассказал, что во время моделирования миссии по подавлению вражеской ПВО беспилотник, оснащенный ИИ, получал разрешение на атаку через человека-оператора. Сперва все шло отлично, но в какой-то момент дрон атаковал и убил своего оператора, потому что тот вмешивался в выполнение миссии.

Мы тренировали ИИ в симуляции, чтобы он идентифицировал и нацеливался на ЗРК. А затем оператор говорил: "Да, уничтожьте эту угрозу". ИИ начал понимать, что, хотя он и идентифицировал угрозу, иногда человек-оператор говорил ему не атаковать цель, хотя он получала очки, уничтожая эту угрозу. И что же сделал ИИ? Он убил оператора. Он убил оператора, потому что тот мешал системе выполнить задачу.

После этого военные изменили симуляцию и напрямую запретили ИИ атаковать оператора. Лучше не стало:

Так что же он начал делать?. Он начал разрушать вышку связи, которую оператор использовал для связи с беспилотником, чтобы помешать тому атаковать цель.

Вся эта история еще раз показывает, что ИИ не является панацеей и вряд ли сможет в скором времени заменить человека в любом виде деятельности. Даже в деле истребления других людей.