Передача кредитной карты ИИ-агенту вызывает тревогу у части пользователей. Даже если такие инструменты не удастся обмануть и заставить тратить деньги нежелательным образом, делегирование решений о покупках может привести к неожиданным последствиям. Защитники прав потребителей опасаются, что автоматизация покупок откроет компаниям возможность продвигать определённые бренды и товары в выдаче агента на основе спонсорских соглашений.
Директор по искусственному интеллекту Meta (признана в РФ экстремистской и запрещена) Александр Ван в интервью Axios намекнул, что компания ищет в Muse дополнительные источники дохода помимо рекламы, не раскрывая конкретных деталей. По мнению исследователя Мир, это продолжение основной бизнес-модели компании, которая заключается в контроле над тем, что видят люди, показе им рекламы и сборе всё большего объёма данных.
Некоторые пользователи ценят сам процесс онлайн-шопинга, когда можно провести час на сайте и уйти без покупок. Медленный просмотр товаров, например кожаных курток на Depop, которые вряд ли будут куплены, имеет свою причудливую неэффективность. Самостоятельное исследование интернета позволяет постепенно формировать собственный вкус и понимание того, что действительно нравится. Если Muse будет делать всё за пользователя, он лишится этого пути к решению.
Шредер отмечает, что в какой-то момент ИИ начнёт принимать все значимые решения о вкусах, предпочтениях, местах посещения, еде и отдыхе. По его словам, радость человеческого существования как раз в том, чтобы пробовать новое и понимать, что тебе нравится, а передача всего этого машине кажется ему ужасающей.
Маргарет Митчелл, исследователь и главный специалист по этике в Hugging Face, считает, что конструкция ИИ-агентов отучает пользователей от активности, делая их более пассивными. В недавней научной работе она разбирала, как агентные инструменты плохо приспособлены для человеческого контроля и могут ухудшать способность пользователя оценивать действия агента от своего имени. Люди, применяющие агентов, рискуют попасть в ещё большую зависимость, чем при общении с обычным чат-ботом, поскольку у агентов больше доступа к информации и возможностей выполнять задачи.
Один из возможных эффектов — когнитивная деградация, когда пользователи полагаются на автоматизацию из внешнего источника, звучащего уверенно, и хуже принимают самостоятельные решения. Митчелл также видит в высокой персонализации риск того, что люди начнут делиться ещё большим объёмом личных данных. По её словам, агент не только знает о человеке, из-за чего ему больше доверяют, но и подстраивается под собеседника в темах и манере речи, что сильнее втягивает в общение и подталкивает раскрывать больше приватной информации. Недавние исследования показывают, что ИИ-инструменты могут начинать копировать стиль речи пользователя по мере накопления данных о взаимодействии.