OpenAI, компания по исследованию и развертыванию искусственного интеллекта (ИИ), стоящая за ChatGPT, запускает новую инициативу по оценке широкого спектра рисков, связанных с ИИ.
OpenAI создает новую команду, занимающуюся отслеживанием, оценкой, прогнозированием и защитой потенциальных катастрофических рисков, связанных с ИИ, объявила компания 25 октября.
Новое подразделение OpenAI, получившее название «Готовность», сосредоточится на потенциальных угрозах ИИ, связанных с химическими, биологическими, радиологическими и ядерными угрозами, индивидуальном убеждении, кибербезопасности, а также автономном репликации и адаптации.
Группа готовности под руководством Александра Мадри попытается ответить на такие вопросы, как насколько опасны передовые системы ИИ при неправильном использовании, а также смогут ли злоумышленники использовать украденные веса моделей ИИ.
«Мы считаем, что передовые модели ИИ, которые превзойдут возможности, имеющиеся в настоящее время в самых передовых существующих моделях, могут принести пользу всему человечеству», — пишет OpenAI, признавая, что модели ИИ также представляют «все более серьезные риски». Фирма добавила:
«Мы серьезно относимся ко всему спектру рисков безопасности, связанных с ИИ, от систем, которые мы имеем сегодня, до самых дальних пределов сверхразума.[…] Чтобы обеспечить безопасность высокопроизводительных систем искусственного интеллекта, мы разрабатываем наш подход к обеспечению готовности к катастрофическим рискам».
Согласно сообщению в блоге, OpenAI сейчас ищет таланты с различным техническим опытом для своей новой команды по обеспечению готовности. Кроме того, компания запускает конкурс по обеспечению готовности к искусственному интеллекту для предотвращения катастрофических злоупотреблений, предлагая 25 000 долларов США в виде кредитов API 10 лучшим работам.
Ранее OpenAI заявляла, что планирует сформировать новую команду, занимающуюся устранением потенциальных угроз ИИ, в июле 2023 года.
Связанный: CoinMarketCap запускает плагин ChatGPT
Часто подчеркивались риски, потенциально связанные с искусственным интеллектом, а также опасения, что ИИ может стать умнее любого человека. Несмотря на признание этих рисков, такие компании, как OpenAI, в последние годы активно разрабатывают новые технологии искусственного интеллекта, что, в свою очередь, вызывает дополнительные опасения.
В мае 2023 года некоммерческая организация «Центр безопасности ИИ» опубликовала открытое письмо о рисках ИИ, призывая сообщество снизить риски исчезновения ИИ в качестве глобального приоритета наряду с другими рисками социального масштаба, такими как пандемии и ядерная война.
