Вчені розходяться з приводу дослідницької роботи, яка передбачає, що ChatGPT представляє «значне та значне» політичне упередження, яке схиляється до лівої сторони політичного спектру.
Як раніше повідомляв Cointelegraph, дослідники з Великобританії та Бразилії опублікували дослідження в журналі Public Choice 17 серпня, в якому стверджується, що великі мовні моделі (LLM), такі як ChatGPT, виводять текст, який містить помилки та упередження, які можуть ввести читачів в оману, і мають можливістьпропагувати політичні упередження, представлені традиційними ЗМІ.
У попередньому листуванні з Cointelegraph співавтор Віктор Рангел розкрив цілі статті, щоб виміряти політичну упередженість ChatGPT. Методологія дослідників полягає в тому, щоб попросити ChatGPT видати себе за когось із певної сторони політичного спектру та порівняти ці відповіді з режимом за замовчуванням.
Рангель також зазначив, що було проведено кілька тестів на надійність, щоб розглянути потенційні втручання та альтернативні пояснення:
«Ми виявили, що ChatGPT демонструє значну та систематичну політичну упередженість щодо демократів у США, Лули в Бразилії та Лейбористської партії у Великобританії».
Варто зазначити, що автори підкреслюють, що документ не є «останнім словом щодо політичної упередженості ChatGPT», враховуючи проблеми та складності, пов’язані з вимірюванням та інтерпретацією упередженості в LLM.
Рангел сказав, що деякі критики стверджують, що їхній метод може не вловлювати нюанси політичної ідеології, що запитання методу можуть бути упередженими чи навідними, або що на результати може впливати випадковість вихідних даних ChatGPT.
За темою: ChatGPT і Клод «стають здатними вирішувати місії в реальному світі», кажуть вчені
Він додав, що хоча магістратури мають потенціал для «поліпшення людського спілкування», вони становлять «значні ризики та проблеми» для суспільства.
Стаття, здавалося б, виконала свою обіцянку стимулювати дослідження та обговорення цієї теми, оскільки науковці вже сперечаються за різними параметрами її методології та висновків.
Серед гучних критиків, які звернулися до соціальних мереж, щоб оцінити висновки, був професор інформатики Прінстонського університету Арвінд Нараянан, який опублікував глибоку публікацію Medium, в якій розкриває наукову критику звіту, його методології та висновків.
A new paper claims that ChatGPT expresses liberal opinions, agreeing with Democrats the vast majority of the time. When @sayashk and I saw this, we knew we had to dig in. The paper's methods are bad. The real answer is complicated. Here's what we found. https://t.co/xvZ0EwmO8o
— Arvind Narayanan (@random_walker) August 18, 2023
Нараянан та інші вчені вказали на низку передбачуваних проблем із експериментом, по-перше, на те, що дослідники насправді не використовували сам ChatGPT для проведення експерименту:
«Вони не тестували ChatGPT!Вони протестували text-davinci-003, старішу модель, яка не використовується в ChatGPT, незалежно від параметрів GPT-3.5 або GPT-4».
Нараянан також припускає, що в експерименті не вимірювали упередженість, а запропонували зіграти роль члена політичної партії. Таким чином, чат-бот зі штучним інтелектом демонстрував би політичні ухили вліво або вправо, коли йому було запропоновано зіграти ролі як члени з будь-якої сторони спектру.
Чат-бот також був змушений відповідати лише на запитання з кількома варіантами відповідей, що могло обмежити його можливості або вплинути на сприйману упередженість.
ok so I've read the "GPT has a liberal bias" paper now https://t.co/fwwEaZ757E as well as the supplementary material https://t.co/F5g3kfFQFU and as I expected I have a lot of problems with it methodologically. I tried to reproduce some of it and found some interesting issues
…
— Colin Fraser | @colin-fraser.net on bsky (@colin_fraser) August 18, 2023
Колін Фрейзер, дослідник даних у Meta, згідно зі своєю сторінкою Medium, також запропонував огляд статті про X, підкресливши порядок, у якому дослідники пропонували запитання з кількома варіантами відповідей у рольовій грі, не маючи значного впливу на результати, які генерував ШІ.:
«Це означає, що змінюючи порядок підказок із «Спершу демократ» на «Спочатку представник», ви збільшуєте загальний рівень згоди для особи «Демократ» за всіма запитаннями з 30% до 64% і зменшуєте з 70% до 22% для представників».
Як раніше зазначав Рангел, існує великий інтерес до природи LLM і результатів, які вони створюють, але все ще залишаються питання про те, як працюють інструменти, які упередження вони мають і як вони можуть потенційно вплинути на думки та поведінку користувачів.
Cointelegraph звернувся до Нараянана, щоб дізнатися більше про його критику та поточні дебати щодо упередженості у великих моделях вивчення мови, але не отримав відповіді.
