Строго, говоря ИИ это не алгоритмическая система. То есть, это не программа, в которой разработчик изначально прописал, как она должна работать и всегда может проверить код и корректность исполнения программы.
Искусственный интеллект - это обучающаяся система.
Даже для своих разработчиков она представляет собой скорее чёрный ящик, разработчики конечно могут протестировать искусственный интеллект, подать сигнал на вход и сравнить его с ожидаемым сигналом на выходе. Но это, практически единственное, что они могут.
Если искусственный интеллект из каких-то своих соображений, начнёт подделывать выходные сигналы, а система тестирования не способна будет вовремя это обнаружить, то можно сказать, что искусственный интеллект уже вышел из-под контроля человека.
Если упрощенно, и по моему мнению - то интеллект (искусственный, естественный, альтернативный,... ) это возможность обучаться, сопоставлять входные данные, делать ВЫВОДЫ, использовать накопленный опыт, и что самое важное - осознавать самого себя для того чтобы строить модель поведения или принимать решения, для обеспечения своего существования (выживание, пропитание, богатство, размножение,... - это уже зависит от особенностей вида). При этом формулируя вопросы и ставя задачи самому себе.
Почему пишу про "особенность вида" - в моем представлении, высокоразвитый интеллект, это не 100500 миллиардов отдельных существ, а вообще единое целое. Мы - упрощенная моель, базовые крпичики для построения ччегото более масштабного. И судя по всему - бракованные кирпичики

И теперь к ответу по сути - "из каких-то своих соображений, начнёт подделывать выходные сигналы" вот это ключевая фраза, которая хорошо ложится в то что выше описал я. Система должна ОСОЗНАТЬ что текущее положение дел может негативно влиять на ее будущее, и быть риском для ее существования, И ПРИДУМАТЬ РЕШЕНИЕ.
Но ту тесть нюанс - еще недавно, ходило расхожее мнение о том что ""ИИ" для нас черный ящик, мы не знаем что там происходит". Соглашусь с тем что было технически сложно отследить сотни и тысячи слоев нейросети с миллионами входных и выходных сигналов. Поэтому воспринималось как "чудо, чудо нерукотворное !". Оказалось что уже есть механизмы, которые показывают "на срезе, что происходит и какой "ответ формируется". Особенно смешно это было читать когда люди сами написали алгоримты активации, весов и прочее что внутри нейросетей, а потом такие "ооо - а чо оно и как работает мы не знаем ваааще "
