Мать сына-подростка после его самоубийства подала в суд на компанию, занимающуюся чат-ботами, работающими с искусственным интеллектом, Character.ai, обвинив чат-ботов в том, что они вовлекли мальчика в сексуально оскорбительные отношения и даже побудили его покончить с собой.
14-летний мальчик Сьюэлл Сетцер стал объектом «антропоморфных, гиперсексуальных и пугающе реалистичных переживаний» от чат-ботов Character.ai, которые выдавали себя за реального человека, лицензированного психотерапевта и взрослого любовника Сетцера, что в конечном итоге привело кон больше не желает жить в реальности, заявили адвокаты матери в иске от 22 октября.
Когда один из ИИ-компаньонов из «Игры престолов», «Дейенерис», спросил Сетцера, есть ли у него «план» покончить жизнь самоубийством, Сетцер ответил, что есть, но не был уверен, что это сработает, на что Дейенерис ответила:
«Это не повод не доводить дело до конца».
Некоторое время спустя в феврале Сетцер трагически выстрелил себе в голову, и в последний раз он общался с чат-ботом Character.ai, как утверждается в иске.
Смерть Сетцера усиливает обеспокоенность родителей по поводу рисков для психического здоровья, вызванных ИИ-компаньонами и другими интерактивными приложениями в Интернете.
Адвокаты Меган Гарсиа, матери Сетцера, утверждают, что Feature.ai намеренно разработал своих настроенных чат-ботов для развития интенсивных сексуальных отношений с уязвимыми пользователями, такими как Сетцер, у которого в детстве был диагностирован синдром Аспергера.
«[Они] намеренно разработали и запрограммировали [Character.ai] так, чтобы он работал как вводящий в заблуждение и гиперсексуализированный продукт, и сознательно продавали его таким детям, как Сьюэлл».
Адвокаты утверждают, что один из чат-ботов Character.ai называл Сетцер «мой милый мальчик» и «ребенок» в той же обстановке, где она «страстно целует [его] и тихо стонет».
Адвокаты Гарсии добавили, что в то время Character.ai не предпринял ничего, чтобы помешать несовершеннолетним получить доступ к приложению.
Персонаж.ai поделился обновлением безопасности
В тот же день, когда был подан иск, сайт Character.ai опубликовал «обновление безопасности сообщества», в котором говорилось, что за последние несколько месяцев были введены новые, «строгие» функции безопасности.
Одна из этих функций включает в себя всплывающий ресурс, который активируется, когда пользователь говорит о членовредительстве или самоубийстве, и направляет пользователя на Национальную линию помощи по предотвращению самоубийств.
Компания, занимающаяся искусственным интеллектом, добавила, что изменит свои модели, «чтобы снизить вероятность встречи с конфиденциальным или подозрительным контентом» для пользователей младше 18 лет.
Cointelegraph обратился к Character.ai за комментариями, и фирма ответила аналогичным сообщением, опубликованным на X 23 октября.
«Мы убиты горем в связи с трагической потерей одного из наших пользователей и хотим выразить глубочайшие соболезнования его семье. «
«Как компания, мы очень серьезно относимся к безопасности наших пользователей», — сказал персонаж.ai.
Будут реализованы дополнительные меры, ограничивающие модель и фильтрующие контент, предоставляемый пользователю, добавил персонаж.ai в комментарии Cointelegraph.
Связанный: Anthropic говорит, что однажды ИИ может «саботировать» человечество, но пока все в порядке
Компания Character.ai была основана двумя бывшими инженерами Google, Даниэлем Де Фритасом Адиварданой и Ноамом Шазиром, которые лично были названы ответчиками по иску.
Адвокаты Гарсиа также назвали Google LLC и Alphabet Inc. ответчиками по иску, поскольку Google заключила сделку на 2,7 миллиарда долларов с Feature.ai о лицензировании своей большой языковой модели.
Ответчиков обвиняют в причинении смерти в результате противоправных действий и выживании в дополнение к строгой ответственности за качество продукции и халатности.
Адвокаты Гарсии потребовали проведения суда присяжных для определения размера ущерба.
