Новое исследование утверждает, что возможности ChatGPT ухудшаются с возрастом

Чат-бот OpenAI на основе искусственного интеллекта ChatGPT, похоже, со временем становится все хуже, и исследователи не могут понять, почему.

В исследовании, проведенном 18 июля, исследователи из Стэнфорда и Калифорнийского университета в Беркли обнаружили, что новейшие модели ChatGPT стали гораздо менее способными давать точные ответы на идентичный ряд вопросов в течение нескольких месяцев.

Авторы исследования не смогли дать четкого ответа, почему ухудшились возможности чат-бота с искусственным интеллектом.

Чтобы проверить, насколько надежны различные модели ChatGPT, трое исследователей, Линцзяо Чен, Матей Захария и Джеймс Зоу, попросили модели ChatGPT-3.5 и ChatGPT-4 решить ряд математических задач, ответить на деликатные вопросы, написать новые строки кода и провести пространственное мышление с помощью подсказок.

https://twitter.com/james_y_zou/status/1681519439613956099?ref_src=twsrc%5Etfw

Согласно исследованию, в марте ChatGPT-4 был способен идентифицировать простые числа с точностью 97,6%. В том же тесте, проведенном в июне, точность GPT-4 упала до 2,4%.

Напротив, более ранняя модель GPT-3.5 улучшила идентификацию простых чисел за тот же период времени.

По теме: Гэри Генслер из SEC считает, что ИИ может усилить режим правоприменения

Когда дело дошло до генерации строк нового кода, возможности обеих моделей существенно ухудшились в период с марта по июнь.

Исследование также показало, что ответы ChatGPT на деликатные вопросы — с некоторыми примерами, показывающими акцент на этнической принадлежности и поле — позже стали более лаконичными при отказе отвечать.

Более ранние версии чат-бота предоставили подробные объяснения, почему он не может ответить на некоторые деликатные вопросы. Однако в июне модели просто извинились перед пользователем и отказались отвечать.

«Поведение одного и того же сервиса [большая языковая модель] может существенно измениться за относительно короткий промежуток времени», — пишут исследователи, отмечая необходимость постоянного мониторинга качества модели ИИ.

Исследователи рекомендовали пользователям и компаниям, которые полагаются на услуги LLM в качестве компонента своих рабочих процессов, внедрить какую-либо форму анализа мониторинга, чтобы гарантировать, что чат-бот будет оставаться в актуальном состоянии.

6 июня OpenAI обнародовала планы по созданию команды, которая поможет управлять рисками, которые могут возникнуть из-за сверхинтеллектуальной системы искусственного интеллекта, что, как ожидается, появится в течение десятилетия.

AI Eye: ИИ, обученный контенту ИИ, сходит с ума, является ли Threads лидером по потерям данных ИИ?