Если ИИ "пытается понять", значит он всё-таки "думает".

Но в целом сложно понять где проходит та грань, до которой он просто комбинирует то, что ему задали алгоритмом, а после которой начинает сам комбинировать так, что ни у кого не возникнет сомнений в том, что он думает.
У человеков тоже есть довольно мутная и размытая грань между "думает" и "решает задачу по давно заученному алгоритму", и часто провести точную границу для конкретного индивида, упершегося в конкретную задачу - довольно трудно.
Думаю, что второе возникнет только тогда, когда он начнёт решать сложные и плохо формулированные логические задачи.
Но ведь совсем не факт, что ИИ будет решать эти самые
сложные и плохо формулированные логические задачи правильно! Он может выдать решение, которое сам ИИ "сочтет" правильным, но оно будет неправильным (ошибочным и даже опасным) с точки зрения человека. Распространенные т.н. "галлюцинации ИИ" - тому пример.
Какие у ИИ есть "критерии истинности"?
У человеков они хоть какие-то да есть, перечислю некоторые: "логика + здравый смысл", "критическое мышление", "опыт тысячелетий", "общественный договор", "миллиард мух не могут ошибаться, говно - это вкусно" и т.д.
А у ИИ какие?