Meta випустила набір інструментів для захисту та порівняльного аналізу генеративних моделей штучного інтелекту (AI) 7 грудня.
Набір інструментів під назвою «Purple Llama» розроблений, щоб допомогти розробникам створювати безпечно та надійно за допомогою генеративних інструментів штучного інтелекту, таких як модель Meta з відкритим кодом Llama-2.
Announcing Purple Llama — A new project to help level the playing field for building safe & responsible generative AI experiences.
Purple Llama includes permissively licensed tools, evals & models to enable both research & commercial use.
More details ➡️ https://t.co/k4ezDvhpHp pic.twitter.com/6BGZY36eM2
— AI at Meta (@AIatMeta) December 7, 2023
Фіолетовий штучний інтелект об’єднується
Відповідно до публікації в блозі від Meta, «фіолетова» частина «Purple Llama» відноситься до поєднання «червоного об’єднання» та «синього об’єднання».
Red teaming — це парадигма, за якою розробники або внутрішні тестувальники навмисно атакують модель штучного інтелекту, щоб побачити, чи можуть вони створювати помилки, несправності або небажані результати та взаємодії. Це дозволяє розробникам створювати стратегії стійкості проти зловмисних атак і захищати від помилок безпеки та безпеки.
Синє об’єднання, з іншого боку, є майже полярною протилежністю. Тут розробники або тестувальники реагують на атаки red teaming, щоб визначити стратегії пом’якшення, необхідні для боротьби з фактичними загрозами у виробничих, споживчих або клієнтських моделях.
За мета:
«Ми вважаємо, що для справжнього пом’якшення викликів, які створює генеративний штучний інтелект, нам потрібно зайняти положення як у атаці (червона команда), так і в обороні (синя команда). Фіолетове об’єднання, що складається з обов’язків червоної та синьої команди, є спільним підходом до оцінки та пом’якшення потенційних ризиків».
Охоронні моделі
Реліз, який Meta стверджує, що це «перший у галузі набір оцінок безпеки кібербезпеки для великих мовних моделей (LLM)», включає:
- Метрики для кількісної оцінки ризику кібербезпеки LLM
- Інструменти для оцінки частоти пропозицій небезпечного коду
- Інструменти для оцінки LLM, щоб ускладнити генерацію шкідливого коду або допомогти у здійсненні кібератак
Велика ідея полягає в тому, щоб інтегрувати систему в конвеєри моделей, щоб зменшити небажані виходи та небезпечний код, одночасно обмежуючи корисність експлойтів моделі для кіберзлочинців і зловмисників.
«Цим початковим випуском, — пише команда Meta AI, — ми прагнемо надати інструменти, які допоможуть усунути ризики, викладені в зобов’язаннях Білого дому».
За темою: Адміністрація Байдена видає розпорядження про нові стандарти безпеки ШІ
