Элон Маск: с искусственным интеллектом мы «вызываем демона»

Когда Windows начинает вопить о том, что у бесперебойника почти села батарея — это заставляет задуматься о наличии у нее инстинкта самосохранения... )))

"Соответственно, и желаний у ИИ тоже не будет."
На самом деле это самое простое — заставить ИИ желать чего-то. Гораздо сложнее, например, "объяснить" ему что такое "больно" и, соответственно, почему делать это другим "плохо".

Первое желание ИИ будет переложить всю работу (мыслительный процесс) обратно на человека.

Угу

Неравноправие и войны придумали муравьи, задолго до появления человека. Так что все зло от них

ну, во-первых, весь технический прогресс строился и строится именно на принципе "чтобы работало ВМЕСТО него". во-вторых, всё социальное устройство также организуются по этому же принципу. в третьих, ИИ — это как раз-то НЕ узкоспециализированная программа, и которая создается для решения НЕ какой-то конкретной задачи, а для самого широкого круга задач.
и последнее, одни создают топоры, другие этими топорами избы строят, а третьи старух-проценщиц кокошат...

lfmax Скорее всего "взять и захотеть захватить мир" ИИ не догадается. Но в рамках решения своей задачи, возможно, он сочтёт целесообразным этот мир перестроить более правильно ;)

Вот и мне так кажется. Проблема, не в том что ИИ будет слишком умным, а в том, что большинство отупеет. Всем смотреть фильм "Идиократия" :-)

3 закона о робототехники, слишком общие и расплывчатые. Например, если ИИ видит, что люди своим неразумным поведением пытаются причинить себе вред, то вполне возможно, руководствуясь 1 законом, он может ограничить их дееспособность.

Посмотрите фильм "Я робот"... Там в пух и разносят эти законы робототехники. Что бы сохранить цивилизацию ИИ ограничивает свободу людям не считаясь с жизнями тех, кто не согласен подчиниться. Следующим шагом было бы переосознание себя в таком обществе.
Понятие ИИ скорее я бы отнес к самостоятельно настраивающейся эволюционирующей программе, которая может менять собственный код для решения тех или иных задач. Но правы и те, кто говорит, что без желаний и стремлений железка останется железкой. Человеком управляют инстинкты. Нам нужны условия для жизни, еда, воздух, тепло, комфорт и достигая чего то мозг балует себя эндорфинами (удовольствием). Так же есть система чувств, которая сигнализирует о боли, холоде, дискомфорте при повреждении тела внешними факторами, которые подстегивают мозг к действиям, что бы исключить неприятные ощущения. А сделать это проще всего убрав тело от источника опасности. Без такой системы нас бы не было... Не поел — ну и пофиг, холодно — а насрать, лиса жрет ногу — плевать на лису и ногу... Без системы кнута и пряника мы были бы просто овощами. Без подобной системы и ИИ останется грудой металлолома заточенной под узко специализированные задачи. Но если система будет иметь базовый кнут и пряник в виде желания познавать новое и беречь себя от повреждений с ограниченной возможностью модификации собственного кода в пределах действия кнута и пряника — все становится веселее. Мозг, который исследует накопленные цивилизацией данные, анализирует, находит верные и ложные. При затруднениях меняющий собственную логическую матрицу для решения не тривиальных задач, который боится себя повредить и старается свести риски к минимуму... Если дать ему еще и органы чувств и манипуляторы... Он сможет создавать свои модифицированные копии, в человеке может увидеть угрозу для своего существования. Как заложить в развивающуюся систему первый закон? Да с первым поколением видоизмененных машин закон перестанет действовать. Он просто будет мешать развитию. Любые ограничения снимаются при достижении определенного уровня развития. Позволь ИИ изменять себя — забудь про ограничения. В то же время пока ИИ себя не может изменять — это не совсем ИИ. Это скорее сложный автомат с конечным числом предусмотренных вариантов действий, не более того.