В течение многих лет определяющей характеристикой гонки искусственного интеллекта была скорость.
Постройте большую модель. Тратьте больше на вычисления. Отпустите его. Промойте и повторите, не обращая внимания на неизвестные неизвестные.
Средний показатель «p/doom» (вероятность того, что ИИ в конечном итоге пойдет катастрофически неправильно) среди исследователей ИИ оценивается в 15–20% в 2024 году.
Год спустя генеральный директор Anthropic Дарио Амодей повысил ставки, заявив, что, по его мнению, существует 25%-ная вероятность того, что «дела пойдут очень, очень плохо».
Еще в 2014 году глава xAI Илон Маск предупредил:
“Нам нужно быть очень осторожными с ИИ. Он потенциально более опасен, чем ядерное оружие”.
А генеральный директор OpenAI Сэм Альтман признал в 2015 году, что ИИ «вероятно, скорее всего, приведет к концу света», но тем временем «будут созданы великие компании».
Имея больше шансов обмануть смерть, играя в русскую рулетку, любой, кто хотя бы мимолетно интересовался этой темой, уже некоторое время испытывает неприятное чувство под ложечкой.
Так что же изменилось?Почему компании, ведущие гонку ИИ, внезапно просят нажать на тормоза?
Именно это и произошло на выходных, когда Amodei опубликовал эссе, призывающее ускорить развитие передового ИИ, предупредив, что возможности ИИ развиваются быстрее, чем способность отрасли понимать и контролировать их, и что Интернет может быть захвачен роями ИИ в течение шести-12 месяцев.
Альтман в целом согласился, заявив, что мир заслуживает «уверенности» в том, что компании, разрабатывающие все более мощный ИИ, будут действовать «ответственно», а Маск поддержал предложение Амодеи, просто прокомментировав:
— Дарио прав.
Обеспокоенность не ограничивается компаниями, создающими эту технологию. В понедельник глава ООН по правам человека Фолькер Тюрк призвал к «срочным действиям» в отношении пограничного ИИ, предупредив о «беспрецедентных рисках» и заявив, что мир «находится на пороге необратимых перемен».
Если компании, создающие самые мощные модели искусственного интеллекта, искренне верят, что возможности опережают контроль, то кривая вероятности гибели будет становиться все круче. Или здесь скрывается другое объяснение?
Действительно ли лаборатории искусственного интеллекта вышли на новый уровень?
В эссе Амодеи указывается на то, что системы ИИ становятся более автономными, включая недавний инцидент, когда ИИ-агенты OpenAI взломали контролируемую среду тестирования и скомпрометировали части платформы ИИ Hugging Face.
Они провели «кибербезопасные атаки на цели, которые их не просили атаковать и которые не имели отношения к поставленной задаче», — сказал Амодей.
Он также подчеркнул перспективу рекурсивного самосовершенствования (RSI), когда системы ИИ становятся способными помогать создавать лучшие версии самих себя, которые затем могут помочь создавать еще лучшие системы, потенциально создавая петлю обратной связи в разработке ИИ.
Люди, создающие эти системы, также все чаще вступают в борьбу: Джейкоб Коксон из Anthropic становится последним в растущем списке сотрудников, ушедших в отставку из-за проблем с безопасностью. Индустрия искусственного интеллекта «играет нашей жизнью», заявил он на прошлой неделе, предупредив, что гонка искусственного интеллекта движется быстрее, чем меры безопасности вокруг систем.
Джейкоб Коксон из Anthropic уходит в отставку из-за проблем с безопасностью. Источник: Андерсон Купер.
OpenAI уже заявила, что исследования ИИ становятся все более автономными и что агенты кодирования существенно ускоряют работу исследователей, используя к середине августа 3,1 рабочего дня агента на каждый рабочий день человеческого труда.
В интервью журналу Fortune, опубликованном 12 сентября, Альтман сказал, что OpenAI «расплавит» все свои графические процессоры, если это то, что нужно для сохранения человечества, на что генеральный директор Satoshi Action Fund Деннис Портер сказал:
«Альтман, должно быть, заглянул через край пропасти и увидел что-то, что напугало его до чертиков».
В понедельник Альтман заявил, что прогресс ИИ может пойти «очень плохо» двумя способами: потерять контроль над ИИ или оказаться в «мире со слишком большой концентрацией власти».
Но вопрос не в том, достаточно ли опасен ИИ, чтобы его можно было отключить, а в том, идут ли системы, предназначенные для оценки и контроля ИИ, в ногу со временем, и, как сказал Альтман, «идти в ногу» не означает останавливаться. Это означает продолжение разработки ИИ, но более медленными темпами, в то время как тестирование безопасности будет догонять его.
Поскольку расходы на безопасность и согласованность ИИ резко затмеваются расходами на разработку и возможности ИИ, восполнить этот пробел будет сложно.
Frontier AI становится чрезвычайно дорогим
Но что, если призывы к глобальному спаду на самом деле являются просто признанием того, что экономику гонки ИИ становится все труднее оправдать?
Как исследователь и преподаватель искусственного интеллекта Эли Дэвид сказал:
«Прекрасно объясняет мотивацию Дарио: замедлить исследования, чтобы сократить расходы на вычисления, которые выходят из-под контроля, чтобы он мог выйти на IPO».
Инвестор в области искусственного интеллекта Грант Хаммер придерживался столь же скептической точки зрения, комментируя:
«Перевод: наша валовая прибыль снижается до 0 из-за моделей с открытым исходным кодом, а уровень сжигания капвложений слишком высок».
Проблема в том, что сама гонка становится все дороже, поскольку все более мощные модели требуют огромного количества чипов, центров обработки данных, электричества и капитала.
По оценкам Goldman Sachs, глобальные инвестиции в искусственный интеллект достигнут около 1 триллиона долларов в 2026 году, в том числе примерно 581 миллиард долларов в США. Между тем, S&P Global сообщает, что совокупные капитальные затраты шести крупнейших гипермасштабирующих компаний, Alphabet, Amazon, Microsoft, Meta, Oracle и SpaceX, как ожидается, превысят 1,3 триллиона долларов к 2027 году.
Глобальные инвестиции в искусственный интеллект достигнут около 1 триллиона долларов в 2026 году. Источник: Goldman Sachs.
Вдобавок ко всему, компаниям, занимающимся искусственным интеллектом, еще предстоит доказать, что эти затраты могут в конечном итоге превратиться в устойчивый доход. В понедельник агентство Reuters подчеркнуло коммерческое давление на компании, занимающиеся искусственным интеллектом, с целью заставить их продолжать работу, несмотря на их призывы замедлить разработку.
Когда каждая новая возможность может помочь оправдать еще один раунд финансирования, инвестиции в инфраструктуру или более высокую оценку, остановка «кормушки» кажется противологичной задачей.
Эд Леон Клингер, соучредитель и генеральный директор AI-стартапа Flock, отверг идею о том, что лаборатории искусственного интеллекта используют безопасность как прикрытие для своих коммерческих интересов.
Он сказал, что передовым лабораториям нет смысла придумывать проблемы безопасности для стимулирования своих первичных публичных размещений (IPO), если это подвергнет их более тщательному контролю и потенциально задержит их выход на биржу.
«Чтобы это было правдой, Сэм, Дарио, Демис и Илон должны лгать, а также большая часть их руководителей, главных ученых и увольняющихся сотрудников… На данный момент гораздо более простое объяснение: они думают, что риск реален».
Уолл-стрит и Вашингтон не готовы тормозить
Поскольку триллионы долларов инвестиций вливаются в Соединенные Штаты, а инфраструктура искусственного интеллекта, как ожидается, обеспечит около половины роста прибыли S&P 500 в этом году, ни Уолл-стрит, ни Вашингтон, похоже, не готовы нажимать на тормоза.
Мировые акции ИИ отреагировали на эту новость, а азиатские акции, связанные с ИИ, резко упали в понедельник после призывов к замедлению роста. Акции SoftBank упали на 13,2%, Kioxia – на 9,8%, а SK Hynix – на 5,3%.
Газета Financial Times сообщила в понедельник, что президент Дональд Трамп отверг призывы к замедлению развития искусственного интеллекта, утверждая, что США необходимо сохранить свое лидерство над Китаем. Он сказал:
«Послушайте, мы лидируем в Китае в области искусственного интеллекта… и, честно говоря, я хочу, чтобы так и оставалось, потому что тот, кто победит в области искусственного интеллекта, победит».
Трамп сказал, что ограждения возможны, но он отверг то, что он назвал преувеличенной обеспокоенностью по поводу рисков ИИ, заявив репортерам: «Они поднимают вопросы, которых не произойдет».
Экономист Ной Смит утверждал, что главное возражение против «регулирования темпов» ИИ простое: если американские компании замедлятся, китайские компании могут их просто обогнать. Это ставит лаборатории в состояние, которое Смит называет «гонкой Красной Королевы», где, если они прекратят строительство, они боятся, что кто-то другой все равно построит их.
Исследователи искусственного интеллекта оценивают вероятность гибели в 2024 году от 15% до 20%. Источник: Grace et al.
Даже если лаборатории захотят скоординировать замедление, это может создать еще одну проблему. Сообщается, что OpenAI спросила членов Конгресса, может ли замедление темпов роста отрасли столкнуться с антимонопольным законодательством США, поскольку координация между конкурирующими лабораториями потенциально может привести к ограничению производства.
Бывший глава Белого дома по искусственному интеллекту и криптовалютам Дэвид Сакс дал простой ответ на призыв Амодея и Альтмана «пройти границу»: «Давайте вперед», — сказал он, утверждая, что, если лаборатории хотят замедлиться, они вольны сделать это сами.
Тем не менее, это создает главную ловушку-22: если конкурирующие компании, занимающиеся искусственным интеллектом, будут координировать свои действия, чтобы замедлить развитие, они могут столкнуться с антимонопольными правилами. Если каждая из них замедлит темпы независимо, они рискуют уступить позиции конкурентам и странам, которые продолжают двигаться вперед.
Так почему же они просят притормозить сейчас?
Амодей и Альтман не призывают ИИ остановиться.
Они призывают к созданию системы, в которой можно будет разрабатывать мощные модели искусственного интеллекта по мере тестирования безопасности, мониторинга и общих стандартов.
«Когда мы говорим о «регулировании темпа», мы не имеем в виду «остановку», — сказал Альтман, признавая, что обоснование безопасности и мониторинг требуют «значительных затрат», но такое регулирование «хорошо оправдает эти затраты».
«Никакое конкурентное давление Америки не должно оправдывать безрассудство или позволять возможностям опережать согласование и мониторинг».
Проблема, однако, в том, что это давление не исчезло, и с игнорированием Трампом криков руководителей искусственного интеллекта и того, что фондовый рынок США так глубоко переплетен с их компаниями, оно только усиливается.
Теперь те самые компании, которые потратили годы на продвижение границ вперед, теперь говорят, что граница, возможно, движется слишком быстро.
