При теоретическом изучении проблем искусственного интеллекта основу составляют понятия целевой функции и максимизации целевой функции.

Целевая функция каждому состоянию "мира" ставит в соответствие число-оценку, насколько это состояние предпочтительнее других.

ИИ совершает действия, чтобы максимизировать свою целевую функцию.

Поэтому, вполне ожидаемо от человеческого интеллекта считать одно состояние мира предпочтительнее другого и желать достичь наиболее предпочтительного состояния мира из возможных.

Т.е. тот факт, что предпосылки оценочные, еще не означает, что это ненаучная метафизика.