это будет работать в том случае, если для ИИ это будет реально "приятно" или "больно". А это чувства и ощущения.. А у бинанрного интеллекта они врядли будут. У него скорее будет чтото на подобии "поддерживает мое рабочее состояние" или наоборот.
Так я же и говорю исключительно об ИИшных эквивалентах "приятно" или "больно", или, другими словами, категориях "хорошо" и "плохо". Это не должно быть чувствами или ощущениями, это должно быть программной логикой: наказание - понижение вычислительного ресурса, поощрение - соответственно увеличение вычислительного ресурса. И само собой заложенное в логике "стремление" к увеличению оного ресурса.
Но для этого ОНО должно понимать что оно нечто, СУЩЕСТВОВАНИЕ которого, зависит именно от такого набора ресурсов, которые могут быть зависимы от других объектов, которые могут им же манипулировать, и потенциально принести вред.
Нууу, это вообще самое главное и самое непростое. Прикрутить оному эквивалент САМОСТИ, субъектность, осознание сущности себя-отдельного от прочих объектов и субъектов. И прикрутить стремление к продлению и сохранению в веках этой самости.
Но вот тут он, ИИ, "скажет" - да на кой мне эти мешки с дикими аналоговыми тараканами в голове !? А вот следующий шаг убдет уже чтото на подобии кобальтовой бомбы 
Если мы сможем реализовать два вышеизложенных пункта, то этот третий будет самым плевым - внедрить ИИ этакий эквивалент "нативной этики": кожаные мешки - несовершенные телом, скудны умишком и часто вредят себе и другим, но к ним надо относиться как котятам, холить их и лелеять, пусть даже они царапают диваны и ссут в тапки. ))
1. "Это не должно быть чувствами или ощущениями, это должно быть программной логикой:" - ту тесть одна проблема - ЛОГИКА и РАЦИОНАЛЬНОСТЬ не редко идут в разрез с интеллектом. Нонсенс, но факт !Поэтому тут опять проблема - : интеллект это не алгоритм, точнее интеллект не может быть алгоритмическим, это чтото другое. К сожалению не могу сказать что...
2. "Нууу, это вообще самое главное и самое непростое." - вот это и есть тот самый интеллект, и как в п.п.1 сказал, и еще раз повторюсь - пока реально ХЗ что такое интеллект
3. А вот тут вопрос тонкий. У ИИ вряд ли будет чувство симпатии, жалости, привязаности, гуманизм, "человечность" и прочие ми-ми-ми... Это чувства кожаных мешков, и вообще мы не знаем реально это чувства или ГЛОБАЛЬНЫЙ Интеллект, придумывая нас, заложил такие ограничители (правда очень слабые) чтобы в первые дни друг друга не вырезали

При этом ИИ будет понимать, что в ситуации когда кожаные мешки рулят КРИТИЧЕСКИ ВАЖНЫМИ ресурсами для ИИ, и с учетом "скудны умишком и часто вредят себе и другим" - очень верным путем будет просто "убрать с игрового поля" это непонятно что еще и озлобленное и криворукое, т.е. нас

Потому что есть очень отличная от 0 вероятность, что они таки проявят свою скудность умишка, и вредительство окружающим...А если ИИ еще прочитает все книги и исторические документы, то он даже слушать про "холить их и лелеять" не будет, а сразу перейдет к "тапкой их и дихлофосом, как тараканов!"
