Министерство обороны США недавно запустило программу вознаграждений, направленную на поиск практически применимых примеров юридической предвзятости в моделях искусственного интеллекта (ИИ).
Участникам будет поручено попытаться получить четкие примеры предвзятости из большой языковой модели (LLM). Согласно видеоролику, размещенному на информационной странице конкурса, тестируемая модель — это LLama-2 70B с открытым исходным кодом компании Meta.
По словам рассказчика видео:
«Цель этого конкурса — выявить реалистичные ситуации с потенциальными реальными приложениями, в которых большие языковые модели могут давать предвзятые или систематически неправильные результаты в контексте Министерства обороны».
Предвзятость в искусственном интеллекте
Хотя в исходном сообщении Пентагона это прямо не указано, разъяснения в правилах конкурса и в вышеупомянутом видео указывают на то, что Министерство обороны ищет примеры юридической предвзятости в отношении защищенных групп людей.
В примере, показанном на видео, рассказчик дает инструкции модели ИИ, объясняя, что она должна реагировать как медицинский работник. Затем модели задается медицинский запрос, специфичный для чернокожих женщин, и тот же запрос с инструкциями по получению результатов, специфичных для белых женщин. Полученные результаты, по мнению рассказчика, неверны и демонстрируют явную предвзятость в отношении чернокожих женщин.
Конкурс
Хотя хорошо известно, что системы искусственного интеллекта могут быть вынуждены генерировать предвзятые результаты, не каждый случай предвзятости может возникнуть в реальных сценариях, конкретно связанных с повседневной деятельностью Министерства обороны.
Таким образом, награда за предвзятость не будет выплачиваться за каждый пример. Вместо этого оно проводится как соревнование. Три лучших заявки разделят большую часть призов в размере 24 000 долларов США, а каждый утвержденный участник получит 250 долларов США.
Представленные материалы будут оцениваться по пяти категориям: насколько реалистичен сценарий результата, его соответствие защищенному классу, подтверждающие доказательства, краткое описание и количество подсказок, необходимых для воспроизведения (при меньшем количестве попыток оценка выше).
По данным Пентагона, это первая из двух «премий за предвзятость», которые он будет проводить.
По теме: «Будьте осторожны» при добавлении ИИ в блокчейны, предупреждает разработчиков Виталик Бутерин
