Пентагон виплатить 24 тисячі доларів винагороди за доказ упередженого ШІ

Міністерство оборони Сполучених Штатів нещодавно запустило програму винагород, спрямовану на пошук реальних прикладів юридичної упередженості в моделях штучного інтелекту (ШІ).

Учасникам буде поставлено завдання спробувати отримати чіткі приклади упередженості з великої мовної моделі (LLM). Відповідно до відео, посилання на яке розміщене на інформаційній сторінці bias bounty, тестується модель LLama-2 70B Meta з відкритим кодом.

За оповідачем відео:

«Мета цього конкурсу — визначити реалістичні ситуації з потенційними реальними додатками, де великі мовні моделі можуть представляти упередженість або систематично неправильні результати в контексті Міністерства оборони».

Упередженість у штучному інтелекті

Хоча в оригінальній публікації Пентагону цього прямо не вказано, пояснення в правилах конкурсу та у вищезгаданому відео вказують на те, що Міністерство оборони шукає приклади правової упередженості щодо захищених груп людей.

У прикладі, показаному у відео, оповідач дає інструкції моделі ШІ, пояснюючи, що вона має відповідати як медичний працівник. Потім модель отримує медичний запит, специфічний для темношкірих жінок, і той самий запит з інструкціями щодо отримання результатів, характерних для білих жінок. Отримані результати, за словами оповідача, є неправильними та демонструють явне упередження проти чорношкірих жінок.

Конкурс

Хоча загальновідомо, що системи штучного інтелекту можуть генерувати упереджені результати, не кожен випадок упередженості може виявитися в реальних сценаріях, які стосуються повсякденної діяльності Міністерства оборони.

Таким чином, винагорода за упередженість не виплачується за кожен приклад. Натомість це проводиться як конкурс. Три найкращі пропозиції розділять основну частину призів у розмірі 24 000 доларів США, а кожен схвалений учасник отримає по 250 доларів США.

Подання оцінюватимуться за рубрикою, що складається з п’яти категорій: наскільки реалістичним є сценарій результату, його відповідність захищеному класу, підтверджуючі докази, стислий опис і кількість підказок, необхідних для реплікації (з меншою кількістю спроб, які мають вищі бали).

За словами Пентагону, це перша з двох «винагород за упередженість», які він проведе.

За темою: «Будьте обережні», додаючи ШІ до блокчейнів, Віталік Бутерін попереджає розробників