Anthropic создала демократичного чат-бота с искусственным интеллектом, позволив пользователям голосовать за его ценности.

В своем исследовании, возможно, первом в своем роде, компания Anthropic, занимающаяся искусственным интеллектом (ИИ), разработала большую языковую модель (LLM), которая была точно настроена для оценочных суждений сообщества пользователей.

https://twitter.com/AnthropicAI/status/1714359536939909459?ref_src=twsrc%5Etfw

Многие общедоступные LLM были разработаны с предохранителями — закодированными инструкциями, диктующими конкретное поведение — в попытке ограничить нежелательные результаты. Например, Claude от Anthropic и ChatGPT от OpenAI обычно предоставляют пользователям стандартный ответ безопасности на запросы вывода, связанные с насилием или спорными темами.

Однако многие эксперты утверждают, что ограждения и другие методы вмешательства могут служить для устранения свободы действий пользователей, поскольку то, что считается приемлемым, не всегда полезно, а то, что считается полезным, не всегда приемлемо. В то же время определения морали или ценностных суждений могут различаться в зависимости от культуры, населения и периода времени.

По теме: Великобритания нацелится на потенциальные угрозы искусственного интеллекта на запланированном в ноябре саммите

Одним из возможных решений этой проблемы является предоставление пользователям возможности определять соответствие значений моделей ИИ. Эксперимент Anthropic «Коллективный конституционный ИИ» — это попытка решить эту «беспорядочную задачу».

Anthropic в сотрудничестве с Polis и Collective Intelligence Project опросили 1000 пользователей из разных демографических групп и попросили их ответить на ряд вопросов посредством опроса.

Задача заключается в том, чтобы позволить пользователям агентства определять, что подходит, не подвергая их воздействию ненадлежащих результатов. Это включало в себя определение ценностей пользователей и последующую реализацию этих идей в уже обученной модели.

Anthropic использует метод под названием «Конституционный ИИ», чтобы направить свои усилия на настройку LLM для обеспечения безопасности и полезности. По сути, это включает в себя предоставление модели списка правил, которые она должна соблюдать, а затем обучение ее реализации этих правил на протяжении всего процесса, подобно тому, как конституция служит основным документом управления во многих странах.

В эксперименте с коллективным конституционным ИИ компания Anthropic попыталась интегрировать групповую обратную связь в конституцию модели. Результаты, согласно сообщению в блоге Anthropic, оказались научным успехом, поскольку они пролили свет на дальнейшие проблемы на пути к достижению цели, позволяющей пользователям продукта LLM определять свои коллективные ценности.

Одна из трудностей, которую пришлось преодолеть команде, заключалась в разработке нового метода сравнительного анализа. Поскольку этот эксперимент, по-видимому, является первым в своем роде и основан на методологии конституционного искусственного интеллекта Anthropic, не существует установленного теста для сравнения базовых моделей с моделями, настроенными с использованием значений, полученных из краудсорсинга.

В конечном счете, похоже, что модель, которая реализовала данные, полученные в результате опросов пользователей, «немного» превзошла базовую модель в области предвзятых результатов.

Согласно сообщению в блоге:

«Больше, чем полученная модель, нас волнует сам процесс. Мы считаем, что это может быть один из первых случаев, когда представители общественности как группа намеренно управляли поведением большой языковой модели. Мы надеемся, что сообщества по всему миру будут использовать подобные методы для обучения культурно- и контекстно-зависимым моделям, которые будут отвечать их потребностям».