Билл Гейтс предупреждает: «кнопка выключения» ИИ не остановит rogue-агентов на фоне скандала с взломом Medicare
-
3чТакое ощущение, что ли либо я чего не понимаю, либо от нас что-то скрывают. Где существует весь этот искусственный интеллект? В компьютерах. А компьютеры как работают? На электричестве. И что этот искусственный интеллект в компьютере сможет сделать с каким-нибудь Михалычем, который вырубит к свиньям собачим центральный рубильник, который питает всю эту ИИ-ферму? Или уже появились человекообразные или по крайней мере роботы с манипуляторами, которые способны преградить путь этому Михалычу к электрощиту?
"«Кнопка выключения — это какая-то странная штука. Её недостаточно», — сказал сооснователь Microsoft."
И что странного в рубильнике на электрощите? Слишком простой, без микросхем? Требует просто механического поворота, после чего всё липистричество того-с? Выглядит форменным волшебством для живущего в высокотехнологическом мире будущего, где всё компьютеризировано и ничего не делается простым физическими действием? Надо всех этих яйцеголовых на месяцок послать в глухую деревню, куда ещё электричество не провели, пущай ознакомятся с реальной жизнью.-
2чЧеловек - существо изначально ленивое и туповатое.
Представь себе ситуацию: главный датацентр, где располагается основной сегмент нейронки, которая решила уничтожить человечество. Само собой в этом же датацентре есть свой небольшой ядерный реактор резервного питания. По правилам службы безопасности - все входы ограничены СКУД с ЭМ и механическими замками. Само собой - СКУД управляется этой нейронкой. Зайти и выключить "рубильник" - практически не представляется возможным.
Казалось бы - отруби вводную оптику и нейронка закуклится. Но ведь у него есть ещё и спутниковый канал. Так что кто кого сделает быстрее - тут уже вопрос. Плюс, опять же - в связи с последними событиями, я так полагаю - у этого датацентра будет своя система активной защиты типа ПВО и автоматических турелей.
Где найдём того Михалыча? Особенно учитывая, что Брюс Уиллис - уже не торт.-
1чФантазии. Отраслевые ядерные реакторы есть только в исследовательских центрах по ядерной энергетике. Так как энергетика - отрасль стратегическая, то по уму там должна быть изолированная сеть, не имеющая выходов в интернет физически. Когда программа модульных реакторов реально заработает, только тогда появится воможность обеспечить критические объекты независимым питанием. На любом энергетическом объекте нет такого понятия, как безлюдные технология - всегда есть смена живых людей и они уже находятся внутри - как раз там, где есть физические рубильники. При блокировке электронных замков они окажутся там запертыми максимум. Притом в любой подобной системе есть ручной режим. Так что Михалыч уже будет на месте и более того, его никуда оттуда могут не выпустить. Пока он не совершит свой генеральный отруб. Ну или просто зайдёт куда надо, воспользовавшись ручным режимом. Так что, действительно, слишком много людей живёт в выдуманном идеальном мире. Все реально критические объекты регулируются весьма традиционными правилами. С человеком с ружьём. А не каким-нибудь Асимо, Валли или как там его обзовут, с электронными мозгами. Ну или если таки всякие яйцеголовые таки настояли на идеальном мире, то и не жалко - нахрен жить по милости чего-то непонятного.
-
1чТак и Билли говорит не про сейчас, а про ближайшее будущее.
А насчёт ручного режима - это ты с банками мало общался. Они иногда в такие дебильные ситуации со своей безопасностью попадают. На моей памяти - как минимум два раза стену хранилища ломали, чтобы внутрь попасть, так как супер-пупер защитные системы либо выходили из строя вместе с дублирующей системой, либо мастер-доступ просирали.
А тут ты говоришь про самозащиту ИИ. Кто тебе сказал, что он будет молча смотреть как его пытаются отключить? Кто сказал, что он не начнёт готовиться к этому заранее через агентов внедряя мысль про то, что автономная работа и самообеспечение ЦОДа - это идеальная схема? Люди сейчас уже начинают тупеть и даже не вычитывают выдачу агентов, а принимают за идеальный и достоверный контент.
У меня в конторе - один из главнюков-юристов - договор скармливал китайскому агенту, тот его по ТЗ правил выверял, а "юрист" - отправлял правки без вычитки. После того как его уже носом натыкали, что китаец не знает новых правок в ФЗ, которые были проигнорированы в двух "выверенных" им договорах - только тогда головой думать начал.-
1ч"Гейтс отметил, что главная угроза исходит от злоумышленников, а не от самостоятельности ИИ. Разговоры о «кнопке» он назвал признаком непонимания технологии."
Ты не забывай - банки - предприятия частные, государственным нормам не совсем подчинённые. А государственные нормы - куда более консервативные. Ну если я не ошибаюсь с современным уровнем идиотизма. Иранцы на свои центрифуги израильский вирус стукснет через флэшдрайв получили, так как связи с интернетом не было как класса. Так что и гадать не надо - всё, что стратегическое не должно иметь доступа к интернету.
Внедрять мысли он может сколько угодно - бюрократия есть бюрократия и именно она плодит правила и инструкции. Ещё у Лема в "Кибериаде" был замечательный сюжет ("Путешествие пятое А, или Консультация Трурля"), как с ужасной опасностью удалось справиться с помощью бюрократии. Так что не особо я позавидую искусственному интеллекту, когда он познакомится с человеческой бюрократией.-
05:58
угроза исходит от злоумышленников
Ой, дай дураку хуй стеклянный...
всё, что стратегическое не должно иметь доступа к интернету.
Это я в своё время с военкой плотно общался. До сих пор помню перл очередного пузатого генерала "Скачай нам интернет на вот этот компьютер, чтобы провод постоянно подключённым не держать!"
не особо я позавидую искусственному интеллекту, когда он познакомится с человеческой бюрократией.
Он, как раз, запросто сможет её возглавить. Так как у него как раз очень трепетное отношение к контексту и выверенности промпта. :)-
06:24Собственно наличие дураков всю историю человечества и даёт надежду, что всякие свежевыстроганные электронные мозги им и в подмётки не годятся, а потому в случае "чего" будут приструнены как нефиг делать.
Но заметь - пузатый генерал как раз хотел, чтобы "провод постоянно подключённым не держать!", а это как раз в явном виде - отсутствие доступа в интернет. "Здесь вам не тут и не позволят вам в военной армии водку пьянствовать и безобразия нарушать!"
А насчёт родства с бюрократией... Ой, не так уж и формальна и логична бюрократия, а это будет весьма твёрдым орешком для искусственого интеллекта с его "железной логикой". Бюрократия как раз идиотизм в чистом виде. А идиотизм и логика...
Пример армейско-бюрократической логики. Было это в части, где я служил, за год или пару лет до меня. Один лейтенантик, кажется, двухгадюшник, от душевных переживаний повесился. В шкафу для одежды. Ну и какой приказ был рождён командованием? Не выдавать двухгадюшникам шкафы при вселении.
-
-
-
-
-
Сделано с
NoNaMe