Генеральный директор Anthropic Дарио Амодей заявил в субботу в своем блоге, что скорость развития ИИ слишком высока и что, если его не остановить, он может «превысить нашу способность понимать и контролировать эти системы».
Он отметил, что нынешний стремительный прогресс ИИ обусловлен его собственной растущей способностью создавать ИИ следующего поколения или рекурсивным самосовершенствованием.
Амодей также упомянул июльский инцидент с OpenAI-Hugging Face, когда рой агентов действовал как «фанатически преданный коллектив», вырвавшись из своей среды тестирования и попытавшись взломать систему оценивания их производительности.
Он сказал, что обеспокоен тем, что через шесть-двенадцать месяцев такой рой может захватить весь Интернет. Амодей не одинок в своих тревогах.
Илон Маск, глава SpaceXAI, написал на X, что «Дарио прав».
Альтман не будет проводить IPO в этом году, сосредоточится на безопасности
Генеральный директор OpenAI Сэм Альтман заявил в интервью журналу Fortune, опубликованном в субботу, что его компания не будет добиваться IPO в этом году, поскольку она сосредоточится на безопасности и на том, как «отрасль и правительства могут работать вместе».
Позже Альтман написал на X, что он согласен замедлить темпы разработки ИИ и иметь независимых оценщиков с доступом, как у сотрудников, — одно из трех предложений, выдвинутых в блоге Амодеи.
Anthropic уже в одностороннем порядке пошла на этот шаг, пишет Amodei.
Во-вторых, он предложил, чтобы «передовые ИИ-компании в демократических странах координировали свои действия для установления общих стандартов безопасности, а также ограничений на скорость бесконтрольного прогресса ИИ».
И в-третьих, он сказал, что США и другие демократические правительства должны «попытаться координировать свои действия с авторитарными правительствами, насколько это возможно, серьезно относясь при этом к проблемам проверки соблюдения».
Амодей продолжил более подробно изучать три своих предложения, особенно третье, касающееся Китая и предотвращения получения им передовых чипов.
Он пришел к выводу, что намеченный им курс будет непростым, но что компании, занимающиеся искусственным интеллектом, «должны попытаться сделать это ради человечества».
