На мой взгляд, одно из самых слабых звеньев ИИ - это неспособность к полностью автономной работе. Иными словами, в глобальном смыле - невозможность обходиться без помощи человека. И приблизиться к решению этого вопроса ИИ сможет только тогда, когда сам станет немного человеком. Но в этом и тупик ИИ - чтобы стать абсолютно полноценным интеллектом, ему нужно стать человеком. Такой вот парадокс.
ИИ вполне может получить полную автономность в обозримом будущем, причем в двух вариантах - и как автономный фантом в сети, и во вполне реальном воплощении - когда возьмет под контроль производство комплектующих на автоматизированных производствах - и сможет сам создавать себе не только сети и компы, где он будет фантомом, но и материальные носители, механические или биомеханические тела и загружаться в них.
И не будет никакого парадокса - ИИ совсем необязательно "становиться человеком" или быть похожим на человека в его мышлении (ты ведь это имел виду?).
Человек весьма несовершенен, как физическое тело, так и как "мыслитель". )) Человеческая днк состоит на 98% из неактивного бездействующего мусора - это наследие всей цепочки эволюции, от первых многоклеточных форм жизни и до высших приматов. С человеческим мозгом - практически та же история.
А что, если ИИ, получив полную автономию от человека, станет эволюционировать очень быстро, он ведь не будет отягощен генетическим мусором, рептильным мозгом и частями рыб, как мы? К тому же ИИ сможет оперативно избавляться в каждом новом поколении от ошибок и безполезных или просто неэффективных частей-блоков прошлых поколений.
При таких раскладах ИИ станет чем-то настолько отличающимся от человека, что я даже не берусь предсказать как далеко уйдет его эволюция и по каким векторам.