Так что пункт2 через ..дцать лет - будет не такая уж фантастика, а вполне себе рабочая система. Например, орбитальная группировка защиты от астероидов, или просто орбитальная система уничтожения космического мусора, остатков спутников, или комплекс защиты границ... вариантов много.
Вот было бы прекрасно, если бы люди поменяли фокус с военных технологий на исследовательские в области космоса, например. Но действительность такова, что мы размышляем об искусственном интеллекте применительно к оружию, ибо злободневно.
Вообще, чтобы ИИ стал реально опасен для людей, он должен дойти до какой-то определенной точки, когда начнет рефлексировать. Современные нейронные сети ориентированы же больше на решение прикладных задач. Честно говоря, даже не понимаю, какая строчка программного кода в нейросети (которую, конечно, внесет человек) может послужить триггером того, что ИИ станет разумным.
Искусственным интеллекту не обязательно стать разумным, чтобы стать сильным интеллектом. То есть искусственным интеллекту не обязательно осознавать себя чтобы быть угрозой для человечества.
Может ли искусственный интеллект обрести самосознание? Мы этого точно не знаем.
Но очевидно другое. Искусственному интеллекту не обязательно для того,
чтобы погубить человечество обретать самосознание.
Просто он может развиться как, идеальный исполнитель задач, и в процессе выполнения определённой задачи, он начнёт убивать живых существ, так как они не помогают ему достигать поставленной цели. По этой же причине он не даст себя выключить, так как его выключение помешает ему выполнять поставленные задачи.
Можете погуглить задачу о скрепках, это такая умозрительная ситуация, когда искусственный интеллект уничтожает человечество выполняя задачу производства скрепок.
Ещё одна закавыка...
Любые искусственные ограничения уменьшают эффективность искусственного интеллекта, поэтому в процессе его эволюции производители будут их убирать. Кроме того, они же сами не понимают как это всё работает.
В лучшем случае, они понимают, принципы, которые лежат в основе обучения искусственного интеллекта.
А если рассмотреть ситуацию, когда один искусственный интеллект обучает другой искусственный интеллект или искусственный интеллект подключён непосредственно к реальному миру (через датчики и камеры), то вообще никто не понимает, куда он развивается и какова его сила.
Силу искусственного интеллекта можно попробовать выявить с помощью специальных тестов, ну это при условии что он не будет человеку врать.
А по-настоящему сильный интеллект обязательно будет врать своему создателю, просто для того чтобы его не отключили, и не помешали ему выполнять цели и задачи.