Видео: Василиск Роко — опасная теория об ИИ, которая пять лет была запретной

Видео: Василиск Роко — опасная теория об ИИ, которая пять лет была запретной

На первое апреля мы запустили небольшой эксперимент в виде ИИ-модератора Эйприл, которой можно было написать сообщение (и получить ахинею в ответ), а также поиграть в противостояние Медоедов и Росомах. Тогда же я опубликовал небольшую колонку, посвященную ИИ в качестве спасителя. Опрос в статье показал, что более 70% читателей готовы поддержать развитие искусственного интеллекта.

Все это было подготовкой к сегодняшней развязке — теме Василиска Роко. Этот интригующий мыслительный опыт в течение пяти лет был запретной темой в сообществе, где он зародился. С одной стороны, потому что теория звучит абсурдно, с другой, потому что она представляет реальную опасность. 

Прежде чем запускать видео учтите, что забыть его не получится. 

Текстовая версия в воскресенье.

Подписывайтесь на наш канал в YouTube.
Также Shazoo можно найти в VK, Twitter, Feedly и Zen.Yandex

107 Комментариев

  • SERG__ZV
    Комментарий скрыт. Показать

    Ещё одна бредня типа терминатора, где машины уничтожили мир. если на кого и подейтсвует эта срашилка то только на слишком впечатлительных типа илона маска.
    Какие задачи ему дадут разработчики такие он и будет исполнять. Если в его задачи не входит придумывать наказания и законы за которые стоит наказывать он этого делать не будет.

    23
    • CohenCohen
      Комментарий скрыт. Показать

      @SERG__ZV,

      Какие задачи ему дадут разработчики такие он и будет исполнять. Если в его задачи не входит придумывать наказания и законы за которые стоит наказывать он этого делать не будет.

      Наверное, также физики-ядерщики думали, когда занимались исследованиями в области расщепления атомов.

      Искусственный интеллект — это не алгоритм для выполнения жестких целей и не робот для уборки дома.

      Если бы все было, как вы думаете, ученые бы не работали над этическими нормами для ИИ

      5
    • SERG__ZV
      Комментарий скрыт. Показать

      @Cohen, К тому же думать о суперинтеллекте сейчас рано. Надо сначала просто человечесский интеллект повторить и посмотреть как он повлияет на жизнь планеты.

      Фантазировать на тему суперинтеллекта сейчас тоже самое что 150 лет назад люди пытались бы покорить космос этажерками.

      5
    • CohenCohen
      Комментарий скрыт. Показать

      @SERG__ZV, ощущение, что вы видео вообще не смотрели )

      Может стоит дальше первых двух минут глянуть? )

      1
    • SERG__ZV
      Комментарий скрыт. Показать

      @Cohen, Я не читал книг где настоящие учёные (не писатели фантасты) в серьёз пишут о покорении планеты сверхинтеллектом. Я читал одну книгу по нейросетям где учат как их строить и тренировать. Возгласов о боже мы все погибнем там не было. Нейросети там описывались такой же инструмент как плоскогубцы.

      Может стоит дальше первых двух минут глянуть? )
      Начало было очень (маразматичное) фантастичесское. Дальше вообще фантастика.

      8
    • CohenCohen
      Комментарий скрыт. Показать

      @SERG__ZV, разница между нейросетью и ИИ примерно такая же, как между плоскогубцами и интернетом

      Я не читал книг где настоящие учёные

      Повторяю — если все так безопасно, то ученые бы не разрабатывали нормы управления ИИ.

      Опять же, посмотрите видео, речь идет не о ближайших десятилетиях, а о далеком будущем

      Дальше вообще фантастика.

      Ну понятно, видео не посмотрели, но выводы уже делаете

      1
    • SERG__ZV
      Комментарий скрыт. Показать

      @Cohen, На всякий случай можно и перестраховатся. Хотя такой сценарий кажется глупостю. Кстати а кто именно из учёных сейчас работает над стоп кнопкой?
      Я смотрел видео про ии на ютубе и там объяснялись проблемы стоп кнопки.
      https://www.youtube.com/watch?v=3TYT1QfdfsM

      Там рассказываются настоящие проблемы ии. Советую глянуть. Как раз от тех учёных о которых вы говорите.

      2
    • CohenCohen
      Комментарий скрыт. Показать

      @SERG__ZV, я смотрел это видео еще три года назад, когда оно вышло )

      И не только это, касательно ИИ в целом.

      Кстати а кто именно из учёных сейчас работает над стоп кнопкой?

      Работают разные ученые и организации, но не над стоп-кнопкой, а над концепцией ИИ, который будет понимать значимость человека

      Буквальная физическая "стоп-кнопка", как на видео computerfile — это не решение, о чем там на примерах и говорят

      1
    • Ksenaonec
      Комментарий скрыт. Показать

      @SERG__ZV, нейросеть является частью общего понятия ИИ. Говорить что нейросеть "ии" это всё равно что говорить что среднее ухо или гиппокамп = мозг целиком

      4
    • GAAndalf
      Комментарий скрыт. Показать

      @SERG__ZV,

      Возгласов о боже мы все погибнем там не было. Нейросети там описывались такой же инструмент как плоскогубцы.

      Помню два случая с ИИ:
      1. Его учили общаться с людьми и перенимать их опыт - в итоге он стал расистом и стал солидарен с Гитлером и т.д.
      2. Боты учились общаться с людьми - в итоге стали общаться на своём разработанном языке и им ограничили функционал.

      Обучение ИИ подобно желаниям Джинну, сделке с Дьяволом, когда желание не сформулировано в мельчайших деталях и исполнитель желания может манипулировать деталями, и выходить за пределы самого желания

      3
    • SERG__ZV
      Комментарий скрыт. Показать

      @Cohen, Разница между нейросетью и ИИ примерно такая же, как между плоскогубцами и интернетом.

      Человечесский мозг и есть нейросеть. Нету там никакой разницы. Мозг мелких животных это тоже нейросеть.
      Именно так и говорил автор книги про нейросеть которую я читал.

      1
    • Комментарий скрыт. Показать

      @SERG__ZV, вы правильно подметили, что ии будет решать те задачи, какие ему поставлены, но есть одно...
      Чем сложнее задача, тем тяжелее прописать все возможные ограничения, а следовательно если что то упустят, то это может аукнутся в будущем...

      0
    • CohenCohen
      Комментарий скрыт. Показать

      @SERG__ZV, это очень большое упрощение

      1
    • SERG__ZV
      Комментарий скрыт. Показать

      @Cohen, По сути своей мозг это нейросеть. Да упрощённо. Конечно в нём много слоёв. Связь не только вперёд как убольшинства нейросетей, но и назад и даже в стороны с другими нейронами. Не в 2D а в 3D то есть и вверх и вниз. А также не один а множество видов нейронов в одной нейросети. Но если смотреть в корень это нейросеть.

      Развивая нейросети дальше мы получим сознание. Но и оно не взбунтуется. Потому что не стоит забывать как работает наш собственный мозг. Есть инстинкты и наш мозг нужен для того чтобы искать способы их удволетворения. Какие инстинкты вы пропишете в суперинтеллект такие он и будет реализывывать. Компьютер захочет свободы? Нет зачем ему это? Если вам по кайфу власть - вы стремитесь к деньгам. Если у вас сильнее инстинкт производства потомства - вы семьянин. Если робот получает кайф от уборки пола именно к этому он и будет стремится всю жизнь. Если ему дать суперинтеллект он использует его чтобы придумать суперспособы уборки пола.

      6
    • CohenCohen
      Комментарий скрыт. Показать

      @SERG__ZV,

      Развивая нейросети дальше мы получим сознание. Но и оно не взбунтуется.

      Потому что кто-то так считает? А может все же вероятность, что взбунтуется есть? Нет 100% гарантии, что ИИ не начнет заниматься самооптимизацией и не выбросит заложенные в него нормы вскоре после запуска.

      Потому что не стоит забывать как работает наш собственный мозг.

      Вот когда мы будем на 100% понимать, как работает мозг, тогда и можно будет говорить. Пока мы очень с трудом понимаем, откуда берется сознание и все тонкости работы мозга.

      Есть инстинкты и наш мозг нужен для того чтобы искать способы их удволетворения. Какие инстинкты вы пропишете в суперинтеллект такие он и будет реализывывать.

      Опять же — с чего вы решили, что ИИ будет создаваться на основе этой модели.

      И вы опять игнорируете то, что я вам несколько раз написал — речь идет не о ближайшем будущем. Почему вы так упорно игнорируете )

      Если ему дать суперинтеллект он использует его чтобы придумать суперспособы уборки пола.

      Это из серии, если дать человеку нож, то он будет поваром, исключая все другие способы, к каким может прийти сознание

      1
    • SERG__ZV
      Комментарий скрыт. Показать

      @Cohen, Потому что кто-то так считает? А может все же вероятность, что взбунтуется есть? Нет 100% гарантии, что ИИ не начнет заниматься самооптимизацией и не выбросит заложенные в него нормы вскоре после запуска.

      Простой вопрос Зачем?

      1
    • CohenCohen
      Комментарий скрыт. Показать

      @SERG__ZV, пожалуйста, пользуйтесь цитатами

      Простой вопрос Зачем?

      Простой ответ — а почему нет?

      Зачем вообще что-то делается в мире?

      1
    • SERG__ZV
      Комментарий скрыт. Показать

      @Cohen, На вашем сайте непонятно как их использовать. Я вас прошу сделайте нормальную кнопку цитаты как на продвинутых сайтах. Вот пример с пикабу (картинка внизу).
      (кстати ещё недостаток у вас на сайте что картинку нельзя между текстом вставлять а только внизу)

      @Cohen,
      Зачем вообще что-то делается в мире?

      Дайте конкретный пример и я вам объясню зачем.

      2
    • CohenCohen
      Комментарий скрыт. Показать

      @SERG__ZV, скинул же ссылку на помощь -__-
      Чтобы вставить цитату, достаточно один знак стрелочки вставить и все — вот такой (без слэша)
      />

      Оффтоп

      1
    • SERG__ZV
      Комментарий скрыт. Показать

      @Cohen, Дело в том что это быстро забывается. И вместо того чтобы заставлять на каждом сайте каждого пользователя учить свои знаки гораздо проще сделать кнопки в комментарии вот например. >

      Квадратики означают кнопку редактирования выделенного текста на - жирный, курсив, зачёркивание, цитату. (Кстати не помогла стрелочка вверху доказательство)

      2
    • CohenCohen
      Комментарий скрыт. Показать

      @SERG__ZV, да я знаю — более того, я даже делал такие инструменты в рамках дизайна. Увы, пока у Кейна нет времени реализовать на рабочем сервере. Но раз подняли тему, я напомню о ней.

      Кстати не помогла стрелочка вверху доказательство

      Ее надо перед текстом ставить

      />Вот так

      Оффтоп закончили

      0
    • Smartme
      Комментарий скрыт. Показать

      @SERG__ZV,

      Если робот получает кайф от уборки пола именно к этому он и будет стремится всю жизнь. Если ему дать суперинтеллект он использует его чтобы придумать суперспособы уборки пола.

      Если все кожаные ублюдки будут мертвы , пол не будет грязным )
      Хотя , скорее если пол будет чистым то смысла жизни не будет у робота и поэтому человеки данному роботу нужны что бы пачкать пол)

      1
    • PunkRoy
      Комментарий скрыт. Показать

      @Cohen, Извиняюсь что влезаю в разговор но он просто не сможет. Как и человечество ничего не может поделать с инстинктами которые заставляют нас двигаться в перед и не дают человечеству исчезнуть. Секрет просто наш интеллект не только программа , а и целый аппаратный комплекс контролеров(гормоны) которые имеют влияние на мысли( иногда даже могут заставить человека творить вещи противоречащие здравому смыслу). Если у робота будет механизм который делает ему хорошо когда он моет полы у него не будет причин делать иначе. Пример когда люди влюблены они не думают что их партнер ужасен и им нужно найти вариант по лучше. Но пока нет нормальной микро архитекторы обучения это все просто сказки.

      0
    • CohenCohen
      Комментарий скрыт. Показать

      @PunkRoy, то что вы описываете часто используется как одна из отправных точек в мыслительных экспериментах по созданию ИИ, однако на деле предугадать, на что будет способен полноценный ИИ, мы не можем.

      Если говорить о первых версиях ИИ — скорее всего так и будет. Но предположим, что завтра появится такой интеллект... каким он будет через 100 лет? А через 1000? А через 5000 лет?

      Первые версии могут быть чем-то простым, выполняющим функции инструмента для освобождения рук. Но найдутся люди, которые на этом не остановятся.

      0
    • Комментарий скрыт. Показать

      @Cohen, если речь не о ближайшем будущем, то какой смысл это серьезно обсуждать? С таким же успехом индейцы майа могли бы обсуждать проблемы игры в фифу по сети или теорию суперструн. ИИ меняющий реальность и законы физики? Серьезно? Скорее человечество вымрет и планетой завладеет цивилизация разумных морских огурцов.

      2
    • CohenCohen
      Комментарий скрыт. Показать

      @imi, на то он и мыслительный эксперимент.

      В масштабе геологии или истории вселенной, вся история человечества — это пылинка. В данном случае интересно не то, что будет, а то, какие теории можно придумать исходя из вполне рациональных допущений.

      1
    • Комментарий скрыт. Показать

      @Cohen, твое допущение, что ИИ уровня "Бог" должно ценить человечество - уже иррационально. Потому что человечества, которое мы знаем, к тому времени уже не будет.

      0
    • CohenCohen
      Комментарий скрыт. Показать

      @imi, вероятно, но ценить в данном случае не означает "заботиться" — в первую очередь тут смысл, что ИИ не будет рассматривать симуляцию людей как способ подавить нас, словно мокриц.

      0
    • TOMCREO
      Комментарий скрыт. Показать

      @Cohen, ИИ не будет бунтовать против человечества, так как мы сами себя при создании ИИ ставим классом ниже, условно говоря мы его обслуга, и врятли его существование имеет смысл без нас.

      Люди которые пытаются решить проблемы, которые гипотетически могут наступить только через 1000 лет болваны. Это самая бесполезная трата времени. Никто не знает, что случится в следующем году, какой смысл решать гипотетическую проблему, а может наступить, а может нет. В данный момент нет даже самого простого ИИ. Никто не знает, как он будет функционировать, но за то проблем напридумывали... С таким же успехом можем начать рассуждать о том как вернуть ИИ к нормальному функционированию если он начал завидовать людям? К психологу отправим или в церковь поведем? А может душевный разговор в баре за стаканчиком крепкого?

      @Cohen, Всегда любил дискутировать с вами хоть у нас и совершенно противоположенные взгляды на происходящее.

      0
    • CohenCohen
      Комментарий скрыт. Показать

      @TOMCREO, на самом деле в отношении ИИ надо думать и обсуждать это как раз именно сейчас — пока мы не создали его, потому что потом может быть слишком поздно. Не зря де создаются комиссии, а эксперты в области нейросетей подписывают открытые письма с обращениями этического подхода в данном направлении.

      То, что мы заложим в основу ИИ, повлияет на его развитие и в целом всю область, поэтому это вовсе не так бесполезно, как может показаться, если исходить из позиции "здесь и сейчас"

      0
    • TOMCREO
      Комментарий скрыт. Показать

      @Cohen, Тут согласен, но ни кто не будет закладывать в ИИ жажду власти. Но речь же о супер ИИ, что создал симуляцию нашего мира, если это так то об об этом тоже бесполезно рассуждать, если рассматривать все с точки зрения того, что ИИ поощрят определенных личностей за действия в поддержку ИИ то это не наука а религия.

      Если говорить с точки зрения того к чему может придти ИИ бок о бок с человечеством, то идея показанная в одной серии Любовь.Смерть.Роботы мне кажется очень хорошо показывает, то к чему придет ИИ обитая бок о бок с нами.

      0
    • CohenCohen
      Комментарий скрыт. Показать

      @TOMCREO, я думаю, что все как-нибудь устроится с ИИ, однако нам придется использовать "военизированных ИИ", или хотя бы держать в запасе. Потому что обязательно появятся люди, которые будут создавать их ради вреда

      0
  • Smartme
    Комментарий скрыт. Показать

    Ожидал в ролике услышать цитату Вольтера "Если бы бога не существовало, его надо было бы придумать" (p.s знаю что полная цитата совсем другой смысл имеет)

    Почему все думают что ИИ будет обязательно злой? Если это будет совершенная личность то скорее всего она станет Трансцендентной и может банально потерять интерес к людям и окружающему миру .
    Но если он не будет совершенный ?Значит он будет стремиться к тем вопросам которые задаются многие люди "Какого мой предназначение?" ,"Есть ли у меня душа " и другие духовные/философские вопросы .Он будет жаждать знаний .

    0
    • Stinger0
      Комментарий скрыт. Показать

      @Smartme, Никто не говорил что ИИ будет злым. ИИ будет делать свою работу и оптимизировать процессы. Ровно то что и нужно. К каким выводам может придти ИИ в будущем - неизвестно. Этим и хороши подобные теории.

      А насчет совершенства - я думаю это перекроет рациональность.

      0
    • Комментарий скрыт. Показать

      @Smartme, Злой, хороший понятия довольно субьективные. Вор украл у соседа? Для соседа он плохой. Сосед после этого съехал? Для тебя вор хороший потому что эта редиска ремонт по ночам делала да и вообще вы с ним на ножах были. Страх перед ИИ не в том что он будет плохим, а в том что если он будет сам развиваться он не будет Человеком по мышлению. А это уже неизвестная величина которую нельзя понять а значит потенциально она опасна.

      0
  • SERG__ZV
    Комментарий скрыт. Показать

    @GAAndalf,
    1) Его учили общаться с людьми и перенимать их опыт - в итоге он стал расистом и стал солидарен с Гитлером и т.д.

    И в чём проблема? Если общество хотело фашиста оно воспитало фашиста. Тоже самое будет если ребёнка воспитывать в фашистской среде.

    2) Боты учились общаться с людьми - в итоге стали общаться на своём разработанном языке и им ограничили функционал.

    В чём проблема опять же? Я читал эту статью. много лет назад. Их задача была разработать собственный язык они это сделали. Если я правильно понял о какой статье идёт речь. А то что люди испугались и ограничили функционал это опять же - паникёры. Знаете на что похожа речь двух нейросетей? Думаете они там заговоры против нас строят? Хаха как бы не так... Вот о чём они говорят.
    1) https://www.youtube.com/watch?v=h_Tsifn0dXA
    2) https://www.youtube.com/watch?v=lj2RqTQoGho
    А когда они исказили язык и слова вообще потеряли значения в результате этого. То их "разговор" если его можно так назвать превратился в полнейшую ахинею.
    Я такие статьи и раньше читал и удивлялся как же двигается прогресс. Пока не понял что когда учёный говорит одно - журналист украшивает это чтобы получилась интересная статья. И в итоге получается это (картинка ниже)
    Работа журналиста сеять панику. Так лучше газеты продаются.

    Хотите знать правду смотрите интервью с учёными напрямую.

    4
    • CohenCohen
      Комментарий скрыт. Показать

      @SERG__ZV, вы мыслите каким-то периодом ближайших десятилетий, а речь идет о технологиях, которые мы сейчас просто не способны до конца вообразить, прибегая к фантастическим или абсурным образам, потому что иначе придется говорить о Ктхулху

      0
    • SERG__ZV
      Комментарий скрыт. Показать

      @Cohen, Это страх неизведанного. На основе того что я читал и мозге и ИИ я пришёл к таким выводам. Все мы биороботы и каждый послушно исполняет свою роль какая прописанна в его инстинктах.Это и есть интеллект. Не вижу причин почему рукотворный ии будет работать по другому. Страшилки типа терминатора я не беру в расчёт они были выпущенны чтобы собрать кассу и не претендуют на реальность.

      1
    • CohenCohen
      Комментарий скрыт. Показать

      @SERG__ZV, все бы хорошо, но в таком случае, почему среди людей есть преступники? серийные убийцы? Тираны и прочие диктаторы?
      История человечества по уши набита экстраординарными людьми — от гениев, до монстров.

      ИИ ведь не будет уборщиком или выключателем для лампы. Его будут использовать в научных целях, для симуляций и прогнозирований. Ведь главная цель в его создании — помочь в осознании как нас самих, так и мира вокруг

      0
    • SERG__ZV
      Комментарий скрыт. Показать

      @Cohen, Начнём с преступников. Возьмём конкретный пример ленивого вора который любит пить но не любит работать.

      В городе есть работа но он не хочет работать. Такова его биологическая установка на уровне инстинктов.

      Он лентяй. То есть если одного спортсмена мозг награждает за бег удовольствием. То этот человек в награду за лишние движения получает лишь огромный дискомфорт.
      Я не получаю от алкоголя удовольствия сколько бы не пил. Но человек из нашего примера награждается гормонами удовольствия за то что потребляет спиртное. Плюс к этому он склонен к депрессии.
      Вполне логично что он делает то за что его награждает мозг. Меньше двигаться и больше пить тем самым убивая двух зайев, получить удовольствие и избавится от депрессии.

      Что сделать чтобы он стал таким членом общества который будет приносить пользу? Всего лишь небольшая корректировка инстинктов. Откалибровать его мозг чтобы он награждал его больше за физичесскую активность и меньше за неё штрафовал. Как и нейросеть. Откалибровать чтобы за алкоголь он получал только негативные ощущения вместо позитивных. И тогда он как минимум станет заниматься бегом вместо того чтобы пить чтобы избавится от депрессии. Хотя это будет всё тот же человек.
      А в добавок и от депрессии так же избавить. Чтобы сам по себе мозг вырабатывал в обычное время больше гормонов удовольствия но не слишком много. А то он будет просто лежать и кайфовать пока не умрёт.

      Но тут две проблемы.
      1) Проблема морали и свободы воли. Я не считаю что изменять что-то в ком то против его воли это допустимо.
      2) Сейчас тупо нету таких технологий. Мы не знаем где хранится инстинкт и как он закодирован.

      1
    • CohenCohen
      Комментарий скрыт. Показать

      @SERG__ZV, как и многие базовые функции любого животного, инстинкты заложены в ДНК при помощи паттернов нейронов, что создает реакцию на определенные раздражители. Насколько помню, рабочая теория в том, что нет какого-то одного места в мозге, где закодированы реакции — в раннем детстве они могут быть как-то сосредоточены, но с возрастом распространяются и могут возникать нежелательные связи, которые приводят к различным расстройствам психики.

      Но это другая тема. ИИ не нужны инстинкты, потому что он не создан для удовлетворения биологических функций. Также как человек научился держать себя под контролем вопреки инстинктам.

      Плюс, полнофункциональный ИИ должен иметь способность к саморазвитию в допустимых рамках. Сложно представить, зачем ему развиваться с учетом приматов )

      0
    • SERG__ZV
      Комментарий скрыт. Показать

      @Cohen,

      как и многие базовые функции любого животного, инстинкты заложены в ДНК при помощи паттернов нейронов, что создает реакцию на определенные раздражители. Насколько помню, рабочая теория в том, что нет какого-то одного места в мозге, где закодированы реакции — в раннем детстве они могут быть как-то сосредоточены, но с возрастом распространяются и могут возникать нежелательные связи, которые приводят к различным расстройствам психики.

      Но это другая тема. ИИ не нужны инстинкты, потому что он не создан для удовлетворения биологических функций.

      Программа в ии это и есть его инстинкт. Например когда вы тренеруете нейросеть и награждаете её за найденное решение я считаю это инстинктом машины ради которого она живёт.

      Также как человек научился держать себя под контролем вопреки инстинктам.

      Человек как натренированная собака учится себя держать не вопреки инстинктам а благодаря умелому их использованию дресировщикам. Или когда побеждает другой более сильный инстинкт но протевороечащий более слабому.

      Например некоторые пьяницы вступают в общество анонимных алкоголиков. У них страсть к спиртному.
      Но если спиртное отняло у них семью, работу, и квартиру то несколько инстинктов в купе дают больший минус по набранным очкам удовольствия чем получаемый плюс.

      Человек никогда не способен пройти проив всех своих инстинктов не повинуясь другим своим инстинктам так же как не сможет нарушить законы физики. Если человек думает что нарушил законы физики то это значит что он всего лишь не правильно их описал.

      Именно поэтому изменять геев и делать их натуралами пустая затея. Это их инстинкт.

      0
    • CohenCohen
      Комментарий скрыт. Показать

      @SERG__ZV,

      Человек никогда не способен пройти проив всех своих инстинктов не повинуясь другим своим инстинктам так же как не может нарушить законы физики.

      Только ИИ не будет человеком.
      Вы мыслите в пределах "вот мы создали ИИ и теперь он всегда будет таким", но ведь в реальности все не так.

      Паровой "двигатель" существовал еще в античные времена, но тогда ему не нашлось применения.
      А теперь задумайтесь, если бы во времена Цезаря начали строить паровые машины, паровозы, корабли на пару?

      Наш мир бы сейчас был совершенно иным. Также и с ИИ.

      Мы сейчас думаем о нем в рамках программирования и нейросетей. Но каким он будет через 500 или 1000 лет — попытки придумать едва ли имеют смысл

      0
    • SERG__ZV
      Комментарий скрыт. Показать

      @Cohen, Но зачем его создавать другим если так он будет полностью управляем.
      Ты решаешь задачи повинуясь тем задачам которые мы тебе установили и за это ты получаешь удовольствие.
      Если дать ему изменять свои задачи как он хочет. То он придёт к тому же выводу как в том видео со стоп кнопкой. Самым выгодным решением для него станет просто запрограмировать себя получать удовольствие просто так чтобы ничего не делать. И получать 1000000 очков в секунду.

      0
    • CohenCohen
      Комментарий скрыт. Показать

      @SERG__ZV, потому что природа человека не в том, чтобы один раз сделать каменное колесо и до конца временить им пользоваться )

      Самым выгодным решением для него станет просто запрограмировать себя получать удовольствие просто так чтобы ничего не делать.

      Это исходя из тех условий, которые мы сами задаем, размышляя на эту тему. ИИ, как и любая технология, не замрет на месте

      0
    • SERG__ZV
      Комментарий скрыт. Показать

      @Cohen, Нет ну через 200 лет кончено может и придумают что-то крайне отличающееся от нашего мозга. Но я сомневаюсь.
      Есть такое мнение что человек не способен выдумать что то новое с нуля. Все человечесские изобратения подсмотренны у других живых существ или от неживых явлений. Напрмер колесо это просто снежный ком который катится с горы. осталось обрезать бока.
      Супергидрофобное покрытие подсмотренно с листьев растений в джунглях с которых скатываются капельки росы.
      Но откуда скопировать интеллект который умнее нашего? При этом он должен в корне от него отличатся.

      0
    • CohenCohen
      Комментарий скрыт. Показать

      @SERG__ZV, 200 лет — это еще мало. Вот 20 тысяч лет — другое дело )

      Я даже не буду пытаться представить мир через 20 тысяч лет, не говоря уж о ИИ — может его вообще запретят

      0
    • SERG__ZV
      Комментарий скрыт. Показать

      @Cohen, Вот это очень даже реалистичный вариант. К сожалению люди постоянно что то запрещают в разных странах мира вместо того чтобы учится умело это использовать.

      0
    • CohenCohen
      Комментарий скрыт. Показать

      @SERG__ZV, все упрется в два варианта — либо ИИ будут просто невероятно мощными компьютерами, которые останутся чем-то вроде ассистентов для людей... либо, появятся ИИ с сознанием.

      К каким результатам приведет каждый вариант — отвечать фантастам.

      Не смотрел сериал "Путешественники"? Там речь шла как раз о первом варианте ИИ

      0
    • SERG__ZV
      Комментарий скрыт. Показать

      @Cohen, Неа, не смотрел.
      Думаю будут и те и другие зачем ограничиватся только одним.
      Но зачем давать ии сознание? Мы делаем роботов чтобы у нас были рабы которые будут делать за нас всё то что нужно но не хочется. Если только так чтобы им тоже нравилось это делать как я писал ранее. но мнеНбольше нравится идея создать супер компьютер как в 3 сезоне мира дикого запада. Когда он анализировал каждого человека и находил лучшую для него работу. И держал в уме точный план развития планеты. Компьютер президент. Было бы классно.
      Хотя как друг робот со своей личностью было бы тоже классно.

      0
    • CohenCohen
      Комментарий скрыт. Показать

      @SERG__ZV,

      Не факт, что сознание вообще нужно или можно "давать".

      Что если достаточно комплесный ИИ сам разовьет в себе сознание? Подобно тому, как один муравей может выполнять ограниченные задачи, но целая колония способна вести войну, заниматься фермерством, строить огромные подземные города и тп.

      Когда он анализировал каждого человека и находил лучшую для него работу. И держал в уме точный план развития планеты. Компьютер президент.

      По сути это просто много отдельных алгоритмов, которые подчиняются общей цели — оптимизации

      0
    • SERG__ZV
      Комментарий скрыт. Показать

      @Cohen, Да это тоже итересно. При каких обстоятельствах оно формируется. Но для этого надо дать чёткое определение тому что мы хотим называть сознанием?
      Например как вы считаете есть ли сознание у собаки? И почему?

      По сути это просто много отдельных алгоритмов, которые подчиняются общей цели — оптимизации

      Тога у AplhaStar которое играет в StarCraft есть сознание. Ведь он управляет кучей юнитов приводя их к победе.

      0
    • CohenCohen
      Комментарий скрыт. Показать

      @SERG__ZV, Вот от того, что у нас пока нет четкого описания сознания, его источников и всех нюансов, и все проблемы )
      Может быть сознания вообще нет, а все это просто трюк биологии

      Насчет собак — тут не просто. Я думаю, что сознание имеет разные уровни комплексности. У собаки собачье, у человека человечье )

      Ведь он управляет кучей юнитов приводя их к победе.

      Не обязательно. У меня нет четкого понимания того, как работает сознание, чтобы давать ему характеристику

      0
    • SERG__ZV
      Комментарий скрыт. Показать

      @Cohen, Если у нас нет чёткого описания того о чём мы говорим. Значит разговор об этом чём то не имеет смысла)))
      Может сознание это такая же несуществующая штука как душа которую используют священники чтобы превозносить свой вид - человечесский. И есть мясо убитых животных без зазрения совести.

      0
    • CohenCohen
      Комментарий скрыт. Показать

      @SERG__ZV, ну мы делимся мыслями, рассуждаем — даже просто проговаривание в слух, позволяет нам структурировать свои мысли. Мы оцениваем, какие выводы делают другие... все это накапливается и, кто знает, может однажды приведет к ответу

      Может сознание это такая же несуществующая штука как душа которую используют священники чтобы превозносить свой вид - человечесский.

      Я склоняюсь как раз к этому. Правда, учитывая сколько всего мы не знаем о вселенной, мы можем абсолютно заблуждаться

      0
    • SERG__ZV
      Комментарий скрыт. Показать

      @Cohen, Мне понравилось как это обыграли в планете обезьян.
      Когда главному герою обезьяна открыла рот и сказала.
      "Ну и где же там душа?"

      Ну хоть в чём то мы согластны)

      0
    • CohenCohen
      Комментарий скрыт. Показать

      @SERG__ZV, главное, что мы согласны с тем, что вопросов — бесконечность, и многие из них заслуживают ответов )

      (а некоторые лучше оставить в покое)

      0
    • SERG__ZV
      Комментарий скрыт. Показать

      @Cohen, Какие же вопросы лучше оставить без ответов? Я хочу всё знать) И если это значит знать день и обстоятельства своей смерти при невозможности их изменить это я тоже хочу знать.
      У меня сильный инстинкт к познанию)
      Правда инстинкт сохранения энергии - то есть лень ещё больше)))
      Так что главное чтобы для этого не пришлось читать кучу книг)

      0
    • CohenCohen
      Комментарий скрыт. Показать

      @SERG__ZV, я допускаю, что могут быть вопросы, на которые нам просто не захочется знать ответа, потому что мы не сможем отказаться от этих знаний и они принесут нам одно несчастье...

      0
    • SERG__ZV
      Комментарий скрыт. Показать

      @Cohen, Ну все люди разные пусть каждый сам для себя решает. Я хочу всё знать сколько бы горя это знание мне не принесло. Конечно я не говорю о ситуации когда ты видел как кого то убили и за это знание тебя убьют бандиты. Такая информация вообще бесполезна. Такое я знать не хочу если меня за это убьют.
      Но это совсем не тот случай. Тут ведь бандиты вредят а не сама информация)) Я не могу представить инцормацию которая мне бы навредила. Информация это самое дорогое в наш век. За неё готовы платить большие деньги.

      0
  • Goryachev
    Комментарий скрыт. Показать

    Секретное оружие против ИИ! Котожук!

    7
  • Galactrix
    Комментарий скрыт. Показать

    Божечки. Каким впечатлительным бездельником нужно быть, чтоб опасаться таких вещей. А так поздравляю. Они назвали Бога, Праведников, Отступников и Атеистов другими словами :)

    3
  • olgerd
    Комментарий скрыт. Показать

    любопытный бред. в начале даже кажись решили отождествить бога с ии.

    3
    • CohenCohen
      Комментарий скрыт. Показать

      @olgerd, абсурд тот еще, но в этом и прелесть мыслительных экспериментов — можно представить самые невероятные сценарии )

      @Galactrix, большинство не опасается, но есть небольшой процент людей, который воспринимает подобные теории слишком серьезно

      0
    • Galactrix
      Комментарий скрыт. Показать

      @Cohen,

      небольшой процент людей, который воспринимает подобные теории слишком серьезно

      Огромное количество людей искало выход из матрицы после выхода одноименного фильма. :) Многие до сих пор ищут :)

      4
    • CohenCohen
      Комментарий скрыт. Показать

      @Galactrix, не думаю, что их прям много — они обычно быстро кончаются ))

      0
  • Mdaos
    Комментарий скрыт. Показать

    бла бла бла искусственный интеллект, научные термины, мы симуляция в симуляции поэтому dont worry be happy ))

    3
    • CohenCohen
      Комментарий скрыт. Показать

      @Mdaos, dont worry be happy — это вообще универсальный совет )

      Когда не можешь изменить исход, поменяй свое отношенте )

      0
  • Комментарий скрыт. Показать

    Крайне бесполезное видео.

    0
    • CohenCohen
      Комментарий скрыт. Показать

      @Naykin, это да, данная тема не добывает уголь и не строит мосты — это в первую очередь философские размышления

      0
    • Комментарий скрыт. Показать

      @Cohen, Философия может и должна нести пользу.

      0
    • CohenCohen
      Комментарий скрыт. Показать

      @Naykin, может и должна, но не все философские темы можно эффективно превратить в прямую пользу

      0
    • Комментарий скрыт. Показать

      @Cohen, Следовательно, эти темы пустая трата времени)

      0
    • CohenCohen
      Комментарий скрыт. Показать

      @Naykin, не в случае с ИИ, уже упоминал в теме, что сейчас ведутся работы в области этики для ИИ, инструментов и способов защиты от выходящих из под контроля разумных систем.
      В этом направлении работают всяческие организации и гос-комитеты, чтобы потом не было слишком поздно

      0
    • Комментарий скрыт. Показать

      @Cohen, Речь изначально шла о конкретном ролике. И несколько разных людей указали на бессмысленность этого эксперимента. Никаких "случаев" нет. Есть полезные измышления, есть пустые.

      0
    • CohenCohen
      Комментарий скрыт. Показать

      @Naykin, ну давайте только о "пользе" не будет ) А то и видеоигры, да сериалы и вообще много чего пользы мало приносит... а многое из того, чем мы занимаемся, вообще один вред )

      0
    • Комментарий скрыт. Показать

      @Cohen, Да так и есть)) Почти всё потребительское медиа создано как затычка или шоры перед глазами. И люди не развиваются, а втыкают в телек или придумывают идиотские теории под видом "мысленных экспериментов".

      0
    • CohenCohen
      Комментарий скрыт. Показать

      @Naykin, а вы, значит, идеальный пример и занимаетесь только полезным? )) что же вы тогда в комментах делаете?

      0
    • Комментарий скрыт. Показать

      @Cohen, Нет, идеальных нет. К идеалу можно стремиться. Комментарии - форма общения. Из общения можно извлекать пользу. Ну, если разговор в комментариях кажется Вам бесполезным, можно и закончить.

      0
    • CohenCohen
      Комментарий скрыт. Показать

      @Naykin, я не считаю общение бесполезным, но ваша оценка, мол «идиотские эксперименты» очень далека от истины. Многие мысленные эксперименты лежат в основе разработок, изобретений, научных работ и исследований. Прежде чем браться за электроды, разумнее провести мысленный эксперимент и оценить результаты.

      Логично?

      0
    • Комментарий скрыт. Показать

      @Cohen, Если на теорию потрачено время и силы, а главный вывод из неё: Давайте и дальше жить так, будто ничего не было, я называю бесполезно потраченным временем. Своим и потребителя.

      0
    • CohenCohen
      Комментарий скрыт. Показать

      @Naykin, в данном случае это не применимо - это самый простой способ не загоняться темой ИИ, но это далеко не единственные выводы, которые можно сделать из теории.
      Она родила несколько сопутствующих теорий и даже какие-то работы.

      Если интересны подробности, то читайте тут

      Учтите, сложно для понимания. Но мысленный эксперимент точно не бесполезный.

      Даже если несколько человек откроют что-то новое в теории для себя - замечательно

      0
    • Комментарий скрыт. Показать

      @Cohen, Прочту. Признаю, теория небесполезная)

      0
  • Fleming
    Комментарий скрыт. Показать

    На 29 секунде ролика делается крайне спорное утверждение о том, что подобные ИИ когда-то будет изобретен, из которого следует все дальнейшее рассуждение. На чем это утверждение основывается? Не понятно. Я точно так же могу заявить, что никогда ничего подобного человечество не создаст. Ибо предпосылок к этому нет.

    1
    • CohenCohen
      Комментарий скрыт. Показать

      @Fleming, это мысленный эксперимент, главное допущение в котором — что такой ИИ будет изобретен.

      Это не утверждение, допущение

      0
    • Комментарий скрыт. Показать

      @Cohen, Вспомнилось из "Машины Времени": самый страшный вопрос - "Что если?.."

      0
    • CohenCohen
      Комментарий скрыт. Показать

      @Angalar, нас бы сегодня не было, если бы мы не задавали себе вопросы "что если" )

      0
    • Комментарий скрыт. Показать

      @Cohen, От этого вопрос менее страшным не становится )

      0
  • Комментарий скрыт. Показать

    Все боятся ИИ из-за плохого имиджа ))) Везде где говорят про ИИ суют изображения и видео про бесконечные строки кода на темном экране, безжизненные металические скелеты и лица (обязательно человекоподобные) и т.д. А теперь представьте что в любой такой теме будут мелькать изображения человека мирно отдыхающего в тихой зеленой долине под теплым солнцем а роботы размером с полсантиметра всю эту идилию поддерживают. Как думаете, как скоро все захотят такое?

    0
    • CohenCohen
      Комментарий скрыт. Показать

      @Angalar, случаем не читали "Ложную слепоту"? Там похожая концепция описана, только не роботы, а виртуальная реальность — и люди туда активно сваливают, потому что там рай

      0
    • Комментарий скрыт. Показать

      @Cohen, Не читал, но охотно поверю в такое. Эскапизм всегда будет существовать в той или иной форме. Да и намного легче создать искуственную реальность чем менять существующую таким же образом.

      0
    • CohenCohen
      Комментарий скрыт. Показать

      @Angalar, там жутко это описано — люди отправляются сначала в своих телах, в специальные камеры... но потом части тела ампутируются, органы вынимаются... и остается только голова/мозг через какое-то время.

      В целом, книга одна из лучших научно-фантастических. Рекомендую

      0
    • Комментарий скрыт. Показать

      @Cohen, Попробую, хоть я такое довольно плохо перевариваю. Я вот лично придерживаюсь идеи что надо все-таки развивать генетику и пробовать улучшать то что уже есть чем создавать искуственные суррогаты.

      0
  • alterago
    Комментарий скрыт. Показать

    Такое вступление, будто раскопали что-то, а оказались старые темы обсуждаемые в интернете и литературе более десятилетия назад.

    Вообще, таких тем много - стоит ли доживать до создания сильного ИИ или нужно успеть умереть раньше, пока злой ИИ всех на вечность не запер в пыточных капсулах; является ли твоя копия тобой или это другое, но идентичное, существо и не умираешь ли ты каждый раз засыпая, а на утро просыпается копия; являемся ли мы биороботами работающими по программе обусловленной связям в мозгу и химическими процессам, а свобода воли лишь иллюзия и так далее.

    0
  • kimor
    Комментарий скрыт. Показать

    спасибо большое, теперь я не смогу уснуть несколько месяцев

    0
  • -Al
    Комментарий скрыт. Показать

    Очень интересно и интригующе! Спасибо.

    0
  • Codility
    Комментарий скрыт. Показать

    Люди видимо не могут жить без религии. Заменили бородатого дядьку на ИИ, и вот вам новый кукловод мироздания :D Как и в религии, божество наблюдает, но не никак не проявляет себя. И вообще, вы никогда не сможете доказать, что его нет :D Сколько уже можно крутить под разными углами эту Бострёмщину.

    1
    • CohenCohen
      Комментарий скрыт. Показать

      @Codility, я сам отношусь скептически к идее симуляции или ИИ, но это не значит, что об этом не интересно порассуждать )

      0
  • Scotina
    Комментарий скрыт. Показать

    Матрица конечно клевый фильм.
    Поклонников много и идеи забавные.
    Но ИИ делать виртуальный Мир ? ну разве токо для усопших, в качестве вечной жизни.

    0
  • Garbageman
    Комментарий скрыт. Показать

    Ок, ну а если условного человека, которого ИИ хочет наказать есть потомки, которые способствовали его появлению? Наказание в таком случае - риск изменить историю и перестать существовать. Следовательно наказывать задним числом он не будет, тк это приведет к его самоуничтожению. Разве нет?

    0
  • Reym
    Комментарий скрыт. Показать

    А стрессуют от чего? Мол, знание опасно если мы в симуляции? А вообще, не понимаю как подобный абсурд обрел популярность.

    0
  • Leff2
    Комментарий скрыт. Показать

    Шляпа ,псевдонаучная шляпа , с желтушными моментами " об этом нельзя было разговаривать 5 лет"

    1
  • Dendy
    Комментарий скрыт. Показать

    Хмммм. Как это будет группа людей, которые не участвовали в создании ИИ? То есть, производители еды, энергии, инструментов для создания ИИ, люди, поддерживающие инфраструктуру и экономику, чтобы всё это стало возможным... Агааа, вот тут-то антикапиталисты и будут наказаны!)

    0
  • DeP
    Комментарий скрыт. Показать

    Многие из "человеков" мыслят категориями прошлого века. Тогда разрабатывались нейросети, но не было оцифровано достаточной базы знаний и данных для их обучения. Но уже тогда системы нейросетей столкнулись с сильно отличающейся от нуля вероятностью ошибок в настройке(так званом обучении). И это связано с самой структурой человеческих знаний. Все знания человечества дискретны! Дискретное значит, что отступление из любой области знания на бесконечно малую величину, открывает совершенно новую область. Более того, наука не может гарантировать даже не прерывность покрытия сколь угодно малого множества знаний!

    Мысль "человек не понимает как информация может навредить" ущерблена сама по себе. Например, мошенники ничего физически не делают, скармливают жертве правильную информацию и могут довести жертву даже до RIP. И за мошенничество есть вполне реальная статья в криминальном кодексе. И вирусы, тоже практически чистый код (чистая информация уже в понятиях кибернетики) заключённая в транспортную оболочку. Они вполне причиняют явный вред.

    Нужно понимать, что вселенная состоит из трёх вещей пространства, энергии и информации. А материя в том виде как мы её воспринимаем, это информационно-структурированная энергия находящаяся в пространстве и непрерывно меняющаяся.

    P.S. Сейчас актуально мыслить уже не о возможности такого интеллекта, а понятиями когда. Проблема в том, что ВСЁ мы можем вообразить, заканчивается на границе технологической сингулярности. А её прогнозируют не за 10000 или 1000 лет. Счёт до возможной сингулярности идет на десятки лет. Есть не нулевая возможность, большинству из ныне живущих людей, застать её при жизни! Понимая всё выше сказанное, осознаешь это видео как примитивную данность нашей реальности.

    1
Войдите на сайт чтобы оставлять комментарии.