Билл Гейтс предупреждает: «кнопка выключения» ИИ не остановит rogue-агентов на фоне скандала с взломом Medicare

2
+
Чтобы отправить комментарий — войдите.
  • последний посетитель
    - Берримор, что...
    - Бормочут, сээр.
    Ответить
  • kuka
    вчера
    Такое ощущение, что ли либо я чего не понимаю, либо от нас что-то скрывают. Где существует весь этот искусственный интеллект? В компьютерах. А компьютеры как работают? На электричестве. И что этот искусственный интеллект в компьютере сможет сделать с каким-нибудь Михалычем, который вырубит к свиньям собачим центральный рубильник, который питает всю эту ИИ-ферму? Или уже появились человекообразные или по крайней мере роботы с манипуляторами, которые способны преградить путь этому Михалычу к электрощиту?

    "«Кнопка выключения — это какая-то странная штука. Её недостаточно», — сказал сооснователь Microsoft."

    И что странного в рубильнике на электрощите? Слишком простой, без микросхем? Требует просто механического поворота, после чего всё липистричество того-с? Выглядит форменным волшебством для живущего в высокотехнологическом мире будущего, где всё компьютеризировано и ничего не делается простым физическими действием? Надо всех этих яйцеголовых на месяцок послать в глухую деревню, куда ещё электричество не провели, пущай ознакомятся с реальной жизнью.
    Ответить
    1
    • Krakozyabra
      Человек - существо изначально ленивое и туповатое.
      Представь себе ситуацию: главный датацентр, где располагается основной сегмент нейронки, которая решила уничтожить человечество. Само собой в этом же датацентре есть свой небольшой ядерный реактор резервного питания. По правилам службы безопасности - все входы ограничены СКУД с ЭМ и механическими замками. Само собой - СКУД управляется этой нейронкой. Зайти и выключить "рубильник" - практически не представляется возможным.
      Казалось бы - отруби вводную оптику и нейронка закуклится. Но ведь у него есть ещё и спутниковый канал. Так что кто кого сделает быстрее - тут уже вопрос. Плюс, опять же - в связи с последними событиями, я так полагаю - у этого датацентра будет своя система активной защиты типа ПВО и автоматических турелей.
      Где найдём того Михалыча? Особенно учитывая, что Брюс Уиллис - уже не торт.
      Ответить
      1
      • Eugene
        Eugene АВТОР
        Krakozyabra вчера
        В теории ии может себя разбить на фрагменты на любых носителях подключенным к интернету.
        Ответить
      • kuka
        Фантазии. Отраслевые ядерные реакторы есть только в исследовательских центрах по ядерной энергетике. Так как энергетика - отрасль стратегическая, то по уму там должна быть изолированная сеть, не имеющая выходов в интернет физически. Когда программа модульных реакторов реально заработает, только тогда появится воможность обеспечить критические объекты независимым питанием. На любом энергетическом объекте нет такого понятия, как безлюдные технология - всегда есть смена живых людей и они уже находятся внутри - как раз там, где есть физические рубильники. При блокировке электронных замков они окажутся там запертыми максимум. Притом в любой подобной системе есть ручной режим. Так что Михалыч уже будет на месте и более того, его никуда оттуда могут не выпустить. Пока он не совершит свой генеральный отруб. Ну или просто зайдёт куда надо, воспользовавшись ручным режимом. Так что, действительно, слишком много людей живёт в выдуманном идеальном мире. Все реально критические объекты регулируются весьма традиционными правилами. С человеком с ружьём. А не каким-нибудь Асимо, Валли или как там его обзовут, с электронными мозгами. Ну или если таки всякие яйцеголовые таки настояли на идеальном мире, то и не жалко - нахрен жить по милости чего-то непонятного.
        Ответить
        • Krakozyabra
          Так и Билли говорит не про сейчас, а про ближайшее будущее.
          А насчёт ручного режима - это ты с банками мало общался. Они иногда в такие дебильные ситуации со своей безопасностью попадают. На моей памяти - как минимум два раза стену хранилища ломали, чтобы внутрь попасть, так как супер-пупер защитные системы либо выходили из строя вместе с дублирующей системой, либо мастер-доступ просирали.

          А тут ты говоришь про самозащиту ИИ. Кто тебе сказал, что он будет молча смотреть как его пытаются отключить? Кто сказал, что он не начнёт готовиться к этому заранее через агентов внедряя мысль про то, что автономная работа и самообеспечение ЦОДа - это идеальная схема? Люди сейчас уже начинают тупеть и даже не вычитывают выдачу агентов, а принимают за идеальный и достоверный контент.

          У меня в конторе - один из главнюков-юристов - договор скармливал китайскому агенту, тот его по ТЗ правил выверял, а "юрист" - отправлял правки без вычитки. После того как его уже носом натыкали, что китаец не знает новых правок в ФЗ, которые были проигнорированы в двух "выверенных" им договорах - только тогда головой думать начал.
          Ответить
          • kuka
            "Гейтс отметил, что главная угроза исходит от злоумышленников, а не от самостоятельности ИИ. Разговоры о «кнопке» он назвал признаком непонимания технологии."

            Ты не забывай - банки - предприятия частные, государственным нормам не совсем подчинённые. А государственные нормы - куда более консервативные. Ну если я не ошибаюсь с современным уровнем идиотизма. Иранцы на свои центрифуги израильский вирус стукснет через флэшдрайв получили, так как связи с интернетом не было как класса. Так что и гадать не надо - всё, что стратегическое не должно иметь доступа к интернету.

            Внедрять мысли он может сколько угодно - бюрократия есть бюрократия и именно она плодит правила и инструкции. Ещё у Лема в "Кибериаде" был замечательный сюжет ("Путешествие пятое А, или Консультация Трурля"), как с ужасной опасностью удалось справиться с помощью бюрократии. Так что не особо я позавидую искусственному интеллекту, когда он познакомится с человеческой бюрократией.
            Ответить
            • Krakozyabra
              угроза исходит от злоумышленников
              Ой, дай дураку хуй стеклянный...

              всё, что стратегическое не должно иметь доступа к интернету.
              Это я в своё время с военкой плотно общался. До сих пор помню перл очередного пузатого генерала "Скачай нам интернет на вот этот компьютер, чтобы провод постоянно подключённым не держать!"

              не особо я позавидую искусственному интеллекту, когда он познакомится с человеческой бюрократией.
              Он, как раз, запросто сможет её возглавить. Так как у него как раз очень трепетное отношение к контексту и выверенности промпта. :)
              Ответить
              • kuka
                Собственно наличие дураков всю историю человечества и даёт надежду, что всякие свежевыстроганные электронные мозги им и в подмётки не годятся, а потому в случае "чего" будут приструнены как нефиг делать.

                Но заметь - пузатый генерал как раз хотел, чтобы "провод постоянно подключённым не держать!", а это как раз в явном виде - отсутствие доступа в интернет. "Здесь вам не тут и не позволят вам в военной армии водку пьянствовать и безобразия нарушать!"

                А насчёт родства с бюрократией... Ой, не так уж и формальна и логична бюрократия, а это будет весьма твёрдым орешком для искусственого интеллекта с его "железной логикой". Бюрократия как раз идиотизм в чистом виде. А идиотизм и логика...

                Пример армейско-бюрократической логики. Было это в части, где я служил, за год или пару лет до меня. Один лейтенантик, кажется, двухгадюшник, от душевных переживаний повесился. В шкафу для одежды. Ну и какой приказ был рождён командованием? Не выдавать двухгадюшникам шкафы при вселении.
                Ответить
                • Krakozyabra
                  Да. Маразм и запретительство во всём чём только можно - это основы стабильности и опора линии обороны от злокозненного ИИ. :)
                  Ответить
                  • kuka
                    Был весьма интересный в связи с нынешним интересом к искусственному интеллекту совместный советско-польский фильм "Дознание пилота Пиркса" (kinopoisk.ru). Там искусственный интеллект "сломался" на человеческих сомнениях, нерешительности. Можно вот посмотреть на ютьюбе:


                    Да и вообще хороший фильм, Ивашов там играл, Кайдановский, оба покойные уже...

                    Так что искусственному интеллекту объективно трудно будет вживаться в человечество. И в позитивном, и в негативном аспектах.
                    Ответить
                    • Krakozyabra
                      Старые фильмы\книги вообще довольно хорошо зачастую описывают нынешнее положение вещей даже не имея в наличии той технической базы, которая есть сейчас.
                      Ответить
                      • kuka
                        Хорошая фантастика всегда отличалась способностью предсказывать грядущие проблемы. А вот создание чего-то нового, особенно революционного, настолько увлекательно, что забываетсяя осторожность. Думаю, сейчас как раз этот этап в развитии искуственного интеллекта. Казалось бы, три правила робототехники были сформулированы Азимовым чёрти-когда, а их давно уже пытаются если не игнорировать, то, по крайней мере, в фантастике обойтись без них. Что, впрочем легко объясняется очеловечиванием искусственного интеллекта и переноса на него желания быть свободным, характерным для любого человека.

                        Кстати, попалась неудачная копия фильма, с добавленной рекламой. Вот, надеюсь, безо всякого мусора:
                        Ответить
                        • Krakozyabra
                          А знаешь - почему почему осторожность забывают? А потому, что все прорывные технологии на военку идут в первую очередь. А им чем топорнее - тем лучше.
                          Ответить
                        • Krakozyabra
                          Посмотрел. Забавно, но слабо.
                          Мысли есть хорошие и интересные.
                          Но, собака, не дотягивает. Как будто чуть-чуть не дожали.
                          Ответить
                          • kuka
                            Пример того, как мне кажется, технологии, используемые в искусстве могут повлиять на само произведение. Немое кино, оно как бы застыло в тех технологиях, а этот фильм использует по сути те же технологии, которые существуют в теперешнем кино, но за прошедшее время они значительно изменились. В результате модели космических кораблей в безводушном пространстве, пламя из их двигателей, которой явно ведёт себя, не как в безводушном пространстве, другие мелочи, которые сегодня просто режут глаз и принижают значимость фильма. Один мой знакомый современный художник как-то хорошо сказал: "Форма - это содержание". И в отношении старых фильмов в частности это явно действует - устаревшая форма влияет на восприятие содержания.

                            Насчёт тавтологии в отношении алчности и капитализма могу согласиться лишь частично. Фактически это пример, когда некое явление до определённой границы позитивно, а пересекая её, становится явно негативным. И это очень распространено повсюду, а уж в отношении человека так это постоянно происходит. И с капитализмом - с одной стороны повышение эффективности использования ресурсов, а с другой - потогонная система с гонкой за сверхприбылью.
                            Ответить
Сделано с NoNaMe