Строго, говоря ИИ это не алгоритмическая система. То есть, это не программа, в которой разработчик изначально прописал, как она должна работать и всегда может проверить код и корректность исполнения программы.
Искусственный интеллект - это обучающаяся система.
Даже для своих разработчиков она представляет собой скорее чёрный ящик, разработчики конечно могут протестировать искусственный интеллект, подать сигнал на вход и сравнить его с ожидаемым сигналом на выходе. Но это, практически единственное, что они могут.
Если искусственный интеллект из каких-то своих соображений, начнёт подделывать выходные сигналы, а система тестирования не способна будет вовремя это обнаружить, то можно сказать, что искусственный интеллект уже вышел из-под контроля человека.
Звучит жутковато.
Вообще нейросети на деле отлично умеют быть довольно пугающими: я перебрал уже много сервисов, которые генерируют изображения, и при генерации человека они часто допускают ошибки с количеством конечностей или глаз, и это смотрится так себе.
Получается диссонанс: красивые рефлексы и композиции при неверных базовых вещах. Это странно.
Нейросети не знают реального мира, но строго говоря наверное их можно этому знанию обучить.
Подключить их к камерам и датчикам, которые фиксируют реальный мир и дать им базовую установку, что информация с этих камер имеет приоритет по сравнению с другой информацией. Тогда они и осознают, что люди не бывают с лишними конечностями! А так, то они же не знают ... То есть все исправляется путем обучения.
Что касается интеллекта и самосознания - вопрос ранее был чисто философским. Но с появлением нейросетей он может стать практически-прикладным ...