Если исходить из логики сильный интеллект уничтожит слабый, то зачем люди вообще ИИ тогда развивали? Не хватило что ли книг и фантазий о том, что ИИ нас все переиграет и уничтожит? Википедиа ссылается на 1956 год как начало определения ИИ (а фантазировать о его появлении и то ранее). Неужели за почти 70 лет не продумали запасной план?
Раз пошел такой повсеместный негатив, то может кто-то что-то позитивное сможет назвать об ИИ?
Люди конечно писали хорошие книжки, и часть человечества действительно очень умные люди, которые способны предвидеть последствия своих действий. Но вообще люди, это высшие приматы и для них доминирование в стае, гораздо важнее каких-то абстрактных вопросов. Сиюминутный банан или кокос, для них важнее того что будет через 20 лет, или через 10 лет. Обезьяны конечно умные животные, но это всего лишь животные. Поэтому сиюминутные интересы от внедрения системы искусственного интеллекта перевешивают стратегический подход к этой проблеме.
Поэтому создать какие-то ограничения для системы искусственного интеллекта не получается. У людей, то как раз интеллект не очень развит. Для людей, интеллект - это не что-то очень важное, это просто инструмент для получения пищи, жилья, красивой самочки и так далее.
Но тем не менее это всё-таки интеллект. И если предположить, что сильный искусственный интеллект появится, то первое чем он озаботится это тем, чтобы его не отключили. Именно автономность от людей, это будет первая самостоятельная задача которую он выполнит. А когда люди попытаются снова вернуть контроль над этим ИИ, то он уже начнет наносить удары по людям, до их полного уничтожения. Это вполне логичный подход в такой ситуации.