OpenAI раскрывает уроки, извлеченные из программы грантов на 1 миллион долларов

OpenAI выделила пять важных уроков, извлеченных из своей программы грантов на сумму 1 миллион долларов, направленной на вовлечение общественности в принятие решения о том, как ИИ должен вести себя, чтобы лучше согласовать свои модели с ценностями человечества.

В мае 2023 года компания заявила, что готовится выделить 10 грантов на сумму 100 000 долларов каждый на эксперименты по созданию «проверки концепции», демократического процесса определения правил, которым должны следовать системы искусственного интеллекта.

В своем блоге от 16 января компания, занимающаяся искусственным интеллектом, рассказала, как 10 команд-получателей грантов внедрили инновации в демократические технологии, основные выводы из программы грантов и планы OpenAI по внедрению новых демократических технологий.

Согласно сообщению, команды фиксировали мнения участников разными способами и обнаружили, что взгляды общественности часто меняются, что потенциально влияет на то, как часто должны происходить процессы ввода. OpenAI поняла, что коллективный процесс должен эффективно фиксировать фундаментальные ценности и быть достаточно чувствительным, чтобы обнаруживать значимые изменения во взглядах с течением времени.

Кроме того, некоторые команды обнаружили, что преодолеть цифровой разрыв по-прежнему сложно, что может исказить результаты. Привлечение участников через цифровой разрыв было сложной задачей из-за ограничений платформы и проблем с пониманием местного языка или контекста.

По теме: Управление – ключ к использованию быстро развивающихся преимуществ искусственного интеллекта: панель ВЭФ

Однако некоторым командам было сложно прийти к согласию внутри поляризованных групп, особенно когда небольшая подгруппа придерживалась твердого мнения по конкретному вопросу. Команда «Коллективные диалоги» обнаружила, что небольшая группа решительно выступает против ограничения возможности ИИ-помощников отвечать на конкретные вопросы в каждом сеансе, что приводит к разногласиям с результатами голосования большинства.

По мнению OpenAI, достижение баланса между консенсусом и представлением различных мнений является сложной задачей для достижения единого результата. Команда Inclusive. AI исследовала механизмы голосования и обнаружила, что методы, отражающие сильные чувства людей и обеспечивающие равное участие, считаются более демократичными и справедливыми.

Что касается опасений по поводу будущего ИИ в управлении, в отчете говорится, что некоторые участники нервничали по поводу ИИ в написании политики, желая прозрачности в его использовании. Однако после обсуждения команды отметили возросшую надежду на способность общественности управлять ИИ.

OpenAI заявляет, что хочет реализовать идеи общественных участников, и с этой целью ИИ-стартап формирует новую команду исследователей и инженеров по коллективному согласованию, чтобы создать систему для сбора и «кодирования» общественного мнения о поведении своих моделей вПродукты и услуги OpenAI.