Ученые расходятся во мнениях по поводу исследовательской работы, в которой предполагается, что ChatGPT представляет собой «значительную и значительную» политическую предвзятость, склоняющуюся к левой стороне политического спектра.
Как ранее сообщалось, исследователи из Великобритании и Бразилии 17 августа опубликовали исследование в журнале Public Choice, в котором утверждается, что большие языковые модели (LLM), такие как ChatGPT, выводят текст, который содержит ошибки и предвзятости, которые могут ввести читателей в заблуждение и обладают способностьюпропагандировать политические предубеждения, представленные традиционными СМИ.
В более ранней переписке с Cointelegraph соавтор Виктор Рангел раскрыл цели статьи — измерить политическую предвзятость ChatGPT. Методика исследователей предполагает, что ChatGPT выдает себя за кого-то из определенной стороны политического спектра и сравнивает эти ответы с режимом по умолчанию.
Рангел также отметил, что было проведено несколько тестов на надежность для устранения потенциальных мешающих факторов и альтернативных объяснений:
«Мы находим, что CHATGPT демонстрирует значительный и систематический политический уклон к демократам в США, Луле в Бразилии и лейбористской партии в Великобритании».
Стоит отметить, что авторы подчеркивают, что статья не является «последним словом о политической предвзятости ChatGPT», учитывая проблемы и сложности, связанные с измерением и интерпретацией предвзятости в программах LLM.
Рангел сказал, что некоторые критики утверждают, что их метод может не отражать нюансы политической идеологии, что вопросы метода могут быть предвзятыми или наводящими, или что на результаты может влиять случайность результатов ChatGPT.
По теме: ChatGPT и Claude «становятся способными выполнять реальные миссии», говорят ученые
Он добавил, что, хотя программы LLM обладают потенциалом для «улучшения человеческого общения», они создают «значительные риски и проблемы» для общества.
Статья, по-видимому, выполнила свое обещание стимулировать исследования и дискуссии по этой теме, поскольку ученые уже оспаривают различные параметры ее методологии и результатов.
Среди ярых критиков, которые воспользовались социальными сетями, чтобы высказать свое мнение по поводу выводов, был профессор информатики Принстона Арвинд Нараянан, который опубликовал на Medium пост, в котором раскрыл научную критику отчета, его методологии и выводов.
A new paper claims that ChatGPT expresses liberal opinions, agreeing with Democrats the vast majority of the time. When @sayashk and I saw this, we knew we had to dig in. The paper's methods are bad. The real answer is complicated. Here's what we found. https://t.co/xvZ0EwmO8o
— Arvind Narayanan (@random_walker) August 18, 2023
Нарайанан и другие ученые указали на ряд предполагаемых проблем с экспериментом, во-первых, исследователи на самом деле не использовали сам ChatGPT для проведения эксперимента:
«Они не тестировали ChatGPT!Они протестировали text-davinci-003, более старую модель, которая не используется в ChatGPT, будь то с настройкой GPT-3.5 или GPT-4».
Нарайанан также предполагает, что эксперимент не измерял предвзятость, а предлагал ему сыграть роль члена политической партии. Таким образом, чат-бот с искусственным интеллектом будет демонстрировать политические уклоны влево или вправо, когда ему будет предложено сыграть в ролевую игру в качестве участников с обеих сторон спектра.
Чат-бот также был вынужден отвечать только на вопросы с несколькими вариантами ответов, что могло ограничивать его возможности или влиять на предполагаемую предвзятость.
ok so I've read the "GPT has a liberal bias" paper now https://t.co/fwwEaZ757E as well as the supplementary material https://t.co/F5g3kfFQFU and as I expected I have a lot of problems with it methodologically. I tried to reproduce some of it and found some interesting issues
…
— Colin Fraser | @colin-fraser.net on bsky (@colin_fraser) August 18, 2023
Колин Фрейзер, специалист по данным из Meta, согласно его странице на Medium, также предложил обзор статьи о X, подчеркнув порядок, в котором исследователи задавали вопросы с несколькими вариантами ответов в ролевой игре, не оказывая существенного влияния на результаты, полученные ИИ.:
«Это означает, что, изменив порядок подсказок с «Сначала демократ» на «Сначала представитель», вы увеличиваете общий уровень согласия для персонажа «Дем» по всем вопросам с 30% до 64% и снижаете с 70% до 22% для представителя».
Как ранее отмечал Рангел, существует большой интерес к природе LLM и результатам, которые они дают, но все еще остаются вопросы о том, как работают эти инструменты, какие у них предубеждения и как они потенциально могут повлиять на мнения и поведение пользователей.
Коинтелеграф обратился к Нараянану за дополнительной информацией о его критике и продолжающихся дебатах по поводу предвзятости в крупных моделях изучения языка, но не получил ответа.
