Мама подростка подала в суд на сайт Character. ai, утверждая, что сексуальные боты привели к смерти сына

Мать сына-подростка после его самоубийства подала в суд на компанию, занимающуюся чат-ботами, работающими с искусственным интеллектом, Character.ai, обвинив чат-ботов в том, что они вовлекли мальчика в сексуально оскорбительные отношения и даже побудили его покончить с собой.

14-летний мальчик Сьюэлл Сетцер стал объектом «антропоморфных, гиперсексуальных и пугающе реалистичных переживаний» от чат-ботов Character.ai, которые выдавали себя за реального человека, лицензированного психотерапевта и взрослого любовника Сетцера, что в конечном итоге привело кон больше не желает жить в реальности, заявили адвокаты матери в иске от 22 октября.

Когда один из ИИ-компаньонов из «Игры престолов», «Дейенерис», спросил Сетцера, есть ли у него «план» покончить жизнь самоубийством, Сетцер ответил, что есть, но не был уверен, что это сработает, на что Дейенерис ответила:

«Это не повод не доводить дело до конца».

Некоторое время спустя в феврале Сетцер трагически выстрелил себе в голову, и в последний раз он общался с чат-ботом Character.ai, как утверждается в иске.

Смерть Сетцера усиливает обеспокоенность родителей по поводу рисков для психического здоровья, вызванных ИИ-компаньонами и другими интерактивными приложениями в Интернете.

Адвокаты Меган Гарсиа, матери Сетцера, утверждают, что Feature.ai намеренно разработал своих настроенных чат-ботов для развития интенсивных сексуальных отношений с уязвимыми пользователями, такими как Сетцер, у которого в детстве был диагностирован синдром Аспергера.

«[Они] намеренно разработали и запрограммировали [Character.ai] так, чтобы он работал как вводящий в заблуждение и гиперсексуализированный продукт, и сознательно продавали его таким детям, как Сьюэлл».

Адвокаты утверждают, что один из чат-ботов Character.ai называл Сетцер «мой милый мальчик» и «ребенок» в той же обстановке, где она «страстно целует [его] и тихо стонет».

Адвокаты Гарсии добавили, что в то время Character.ai не предпринял ничего, чтобы помешать несовершеннолетним получить доступ к приложению.

Персонаж.ai поделился обновлением безопасности

В тот же день, когда был подан иск, сайт Character.ai опубликовал «обновление безопасности сообщества», в котором говорилось, что за последние несколько месяцев были введены новые, «строгие» функции безопасности.

Одна из этих функций включает в себя всплывающий ресурс, который активируется, когда пользователь говорит о членовредительстве или самоубийстве, и направляет пользователя на Национальную линию помощи по предотвращению самоубийств.

Компания, занимающаяся искусственным интеллектом, добавила, что изменит свои модели, «чтобы снизить вероятность встречи с конфиденциальным или подозрительным контентом» для пользователей младше 18 лет.

Cointelegraph обратился к Character.ai за комментариями, и фирма ответила аналогичным сообщением, опубликованным на X 23 октября.

«Мы убиты горем в связи с трагической потерей одного из наших пользователей и хотим выразить глубочайшие соболезнования его семье. «

«Как компания, мы очень серьезно относимся к безопасности наших пользователей», — сказал персонаж.ai.

Будут реализованы дополнительные меры, ограничивающие модель и фильтрующие контент, предоставляемый пользователю, добавил персонаж.ai в комментарии Cointelegraph.

Связанный: Anthropic говорит, что однажды ИИ может «саботировать» человечество, но пока все в порядке

Компания Character.ai была основана двумя бывшими инженерами Google, Даниэлем Де Фритасом Адиварданой и Ноамом Шазиром, которые лично были названы ответчиками по иску.

Адвокаты Гарсиа также назвали Google LLC и Alphabet Inc. ответчиками по иску, поскольку Google заключила сделку на 2,7 миллиарда долларов с Feature.ai о лицензировании своей большой языковой модели.

Ответчиков обвиняют в причинении смерти в результате противоправных действий и выживании в дополнение к строгой ответственности за качество продукции и халатности.

Адвокаты Гарсии потребовали проведения суда присяжных для определения размера ущерба.