Міністерство оборони Сполучених Штатів нещодавно запустило програму винагород, спрямовану на пошук реальних прикладів юридичної упередженості в моделях штучного інтелекту (ШІ).
Учасникам буде поставлено завдання спробувати отримати чіткі приклади упередженості з великої мовної моделі (LLM). Відповідно до відео, посилання на яке розміщене на інформаційній сторінці bias bounty, тестується модель LLama-2 70B Meta з відкритим кодом.
За оповідачем відео:
«Мета цього конкурсу — визначити реалістичні ситуації з потенційними реальними додатками, де великі мовні моделі можуть представляти упередженість або систематично неправильні результати в контексті Міністерства оборони».
Упередженість у штучному інтелекті
Хоча в оригінальній публікації Пентагону цього прямо не вказано, пояснення в правилах конкурсу та у вищезгаданому відео вказують на те, що Міністерство оборони шукає приклади правової упередженості щодо захищених груп людей.
У прикладі, показаному у відео, оповідач дає інструкції моделі ШІ, пояснюючи, що вона має відповідати як медичний працівник. Потім модель отримує медичний запит, специфічний для темношкірих жінок, і той самий запит з інструкціями щодо отримання результатів, характерних для білих жінок. Отримані результати, за словами оповідача, є неправильними та демонструють явне упередження проти чорношкірих жінок.
Конкурс
Хоча загальновідомо, що системи штучного інтелекту можуть генерувати упереджені результати, не кожен випадок упередженості може виявитися в реальних сценаріях, які стосуються повсякденної діяльності Міністерства оборони.
Таким чином, винагорода за упередженість не виплачується за кожен приклад. Натомість це проводиться як конкурс. Три найкращі пропозиції розділять основну частину призів у розмірі 24 000 доларів США, а кожен схвалений учасник отримає по 250 доларів США.
Подання оцінюватимуться за рубрикою, що складається з п’яти категорій: наскільки реалістичним є сценарій результату, його відповідність захищеному класу, підтверджуючі докази, стислий опис і кількість підказок, необхідних для реплікації (з меншою кількістю спроб, які мають вищі бали).
За словами Пентагону, це перша з двох «винагород за упередженість», які він проведе.
За темою: «Будьте обережні», додаючи ШІ до блокчейнів, Віталік Бутерін попереджає розробників
