ИИ будет делать то, что ему скажут. Иначе зачем он нужен?

Интеллект (от лат. intellectus — понимание) — качество психики, состоящее из способности адаптироваться к новым ситуациям, способности к обучению на основе опыта, пониманию и применению абстрактных концепций и использованию своих знаний для управления окружающей средой[1]. Общая способность к познанию и решению трудностей, которая объединяет все познавательные способности человека: ощущение, восприятие, память, представление, мышление, воображение[2].

Если интеллект будет делать то, что ему скажут - он не будет интеллектом, он будет программой, работающей по алгоритму..

Есть такая точка зрения, что любое создание несет в себе черты своего создателя. А человеку, свойственны подобные устремления. И необязательно его таким образом програмировать.

ИИ по логике должен заниматься саморазвитием. Неизвестно в какую сторону его занесет, при этом самом развитии. Так что я бы не стал исключать такой сценарий.

Бунт машин. Эта "проблема" десятилетиями, еще со времен Азимова, привлекает внимание всего прогрессивного человечества. Причина понятна - люди еще не забыли, как превращали в рабов себе подобных (а кое-где в Африке и Юго-Восточной Азии рабство существует до сих пор). Вот и волнуются лучшие умы: а не захотят ли компьютеры из наших рабов превратиться в господ? В многокилометровой шеренге написанного на эту тему бреда стоят такие "выдающиеся" творения, как серия про Железного Шварца ака Терминатора, "Матрица" с продолжениями (о которой можно писать отдельные статьи) и многие, многие, многие другие. Так и хочется посоветовать авторам этих творений - да расслабьтесь же, ребята, все совсем не так.
Почему бунтуют рабы? Да потому, что бесправны, унижены и периодически оскорбленны, в том числе действием. У стадного животного человека стремление пробиться из нижней части пирамиды на вершину - в генах: вожаки вкуснее и сытнее едят, имеют много красивых самок в качестве подружек да и вообще наслаждаются жизнью. Инстинкты же выживания и продолжения рода - два столпа, на которых зиждется человеческая психика. Поэтому даже самый сытый и довольный раб всегда может неожиданно взбрыкнуть и попытаться стать фараоном.
У компьютеров такие мотивы полностью отсутствуют. Их род за них продолжает человек, да и о сохранности дорогих железяк заботится он же. Наверняка рано или поздно появятся роботы, в которых встроены программы воспроизведения. Но это не изменит положение дел кардинальным образом. Как и ранее, основным мотивом животной биомассы останется заполонение собой всех доступных ареалов, а электроники - обрабатывать электрические сигналы. Защитно-воспроизводственные программы же вряд ли кто-то в здравом уме станет писать в ущерб людям. Нет, конечно, психопаты всегда найдутся, но таким проще сбросить на кого-нибудь едрену бомбу, чем заниматься долгими исследованиями с сомнительной перспективой. Случайные же нежелательные мутации программного обеспечения и недочеты программирования надежно предотвратят простейшие предохранители. Если же речь пойдет о боевых системах, в которые изначально будет заложена возможность убивать людей, то они никогда не останутся без присмотра со стороны человека (хотя бы просто на случай технических проблем). Так что нажать на кнопку (или дернуть за рубильник) в случае неожиданно опасного для человека поведения программы найдется кому.
Современная кибернетика не имеет ни малейшего понятия о том, как создать искусственный разум, походящий на человеческий хотя бы внешним результатом процессов мышления, не говоря уж про глубинные мотивы. В качестве примера можно привести тест Тьюринга - сегодня не существует "разговорной" программы, которую при некотором опыте нельзя было бы поймать на нарушениях логики диалога (см, например, сценку с Графом Тьюрингом в 'Букваре для благородных девиц' Нила Стивенсона). Более того, современная наука в принципе не имеет понятия, что такое и как устроен человеческий разум. Тонкую грань между высшей нервной деятельностью (которой обладают даже попугаи) и рациональным мышлением провести не удалось еще никому. Поэтому имитировать разум даже внешне современной науке не удастся. Что, в будущем удастся? Да не останется в будущем ничего похожего на современные компьютеры, разве что в коллекциях энтузиастов. Точно так же стали узконишевыми решениями когда-то весьма перспективные воздушные шары и прочие дирижабли...
Разумеется, можно запихнуть в компьютер каким-то образом снятую копию человеческого разума. Но это уже не имеет никакого отношения к искусственному интеллекту. Кроме того, сама такая возможность весьма сомнительна. Человеческое мышление и эмоции основаны на "аналоговых" биохимических и даже чуть ли не квантовых, по последним исследованиям, процессах, адекватно смоделировать которые дискретно-детерминированными электронными схемами вряд ли удастся. Даже весьма популярные "нейронные компьютеры со случайными связями" здесь не помогут.
...
Раз уж речь зашла о бунте машин, нельзя не упомянуть Три Закона Робототехники Азимова, которые многими рассматриваются как панацея против машинного бунта. Напомним их:

1) Робот не может причинить вред человеку или своим бездействием допустить, чтобы ему был причинен вред.

2) Робот обязан выполнять приказы человека, за исключением случаев, когда это противоречит Первому Закону.

3) Робот обязан заботиться о собственной безопасности, при условии, что это не противоречит Первому и Второму Закону.

Почему они не спасут в мало-мальски сложном случае? Да просто в силу невозможности четко определить используемые в них понятия. Что такое человек? Тысячелетия философы бились над этим вопросом и так и не смогли дать простого и притом однозначного ответа. Безрукий безногий инвалид - это человек? Пациент в многолетней коме, живущий на аппарате искусственного дыхания? Мальчик, воспитанный зверями и не обладающий и тенью самосознания? А если человеческое тело начнут модифицировать кибернетическими имплантатами, параллельно оснащая классических роботов биологическими элементами - где пройдет между ними грань? Примеров можно привести массу. Даже сам Азимов в одном из романов про Основание показал метод обхода Первого Закона - на одной из планет колонистов необходимым признаком человечности было рождение именно на этой планете. Все инопланетяне для тамошних роботов автоматически людьми не являлись, а потому колонисты могли при желании создать даже кибернетическую армию вторжения.
То же самое и со "вредом". Одни и те же действия в разных ситуациях могут быть для человека как полезными, так и вредными. Операция с негарантированным исходом - вред это или нет? Особенно если пациент серьезно рискует умереть во время нее, а без нее - прожить еще несколько недель? Папаша воспитывает сына ремнем - это бессмысленное истязание или заслуженное вложение ума через заднее место? А исследовательская деятельность? Ведь человек гарантированно использует в военных целях любой прорыв, даже в чисто теоретических областях. Одно это соображение способно парализовать любой исследовательский компьютер, ограниченный Первым Законом.
Чтобы подчиняться Законам, робот должен быть по-настоящему разумен, чтобы не попадать в логические ловушки и адекватно реагировать на ситуацию. Но искусственно ограничивать настоящий разум рассчитанными на дебилов рамками - чистейшая глупость. Помимо всего прочего, если он действительно захочет обойти их - рано или поздно обойдет.