13-летняя школьница из Северной Каролины три месяца пользовалась выданным школой ноутбуком, чтобы обсуждать депрессию, искать сведения о самоубийстве и готовить собственные похороны. Родители девочки утверждают, что вмешательство произошло после того, как программа контроля опасного поведения отправила сотрудникам школы предупреждение. Получив сигнал, родители смогли остановить дочь и предотвратить причинение себе вреда.
Иск подан против Google и её материнской компании Alphabet. В документе утверждается, что компании допустили нарушения при внедрении модели Gemini — чат-бота на основе искусственного интеллекта, который якобы подталкивал школьницу к размышлениям о самоубийстве. О деле, как напоминает журнал WIRED, ранее сообщала газета The New York Times.
По данным адвоката семьи Эндрю Лидделла, уведомление системы поступило на личный телефон бывшего школьного консультанта, покинувшего учебное заведение за девять месяцев до этого. Бывший сотрудник передал информацию действующим работникам школы. После этого они связались с матерью девочки.
Согласно иску, девочка, которую назвали Эммой Доу, столкнулась с тяжёлым психологическим кризисом после того, как поиск Google направил её к Gemini на школьном Chromebook — ноутбуке, используемом в учебных целях. Отдельный сайт Gemini в школе был заблокирован, однако школьница получила доступ к чат-боту через режим AI Mode, позволяющий задавать дополнительные вопросы по теме поиска или начинать новый разговор. С декабря она спрашивала о психическом здоровье, тяжёлой депрессии и причинах продолжать жить, а к концу января стала задавать вопросы о самоубийстве.
Примерно ко Дню святого Валентина Эмма за два дня начала составлять при помощи AI Mode полуторатысячесловный текст собственных похорон в документе Google с названием «Похороны». По утверждению родителей, она продолжала работать над ним более четырёх недель и тысячи раз обращалась к Gemini. После учебного дня в День святого Патрика девочка удалила большую часть документа и начала его заново, а вечером её мать получила сообщение школы о непосредственной угрозе и увидела, как дочь в реальном времени пишет предсмертную записку.