29 июня компания Inflection AI из Пало-Альто объявила о завершении сбора средств на сумму 1,3 миллиарда долларов под руководством Microsoft, Рида Хоффмана, Билла Гейтса, Эрика Шмидта и NVIDIA. Новый капитал будет частично направлен на создание кластера графических процессоров NVIDIA H100 Tensor на 22 000 единиц, который, по утверждению компании, является крупнейшим в мире. Графические процессоры будут использоваться для разработки крупномасштабных моделей ИИ. Разработчики писали:
«По нашим оценкам, если бы мы вошли в наш кластер в недавнем списке суперкомпьютеров TOP500, он был бы вторым и близким к первой записи, несмотря на то, что он оптимизирован для ИИ, а не для научных приложений».
Inflection AI также разрабатывает собственную систему персонального адъютанта под названием «Pi». Фирма объясняет, что Пи является «учителем, тренером, доверенным лицом, творческим партнером и резонирующим органом», доступ к которому можно получить напрямую через социальные сети или WhatsApp. Общий объем финансирования компании достиг 1,525 миллиарда долларов с момента ее создания в начале 2022 года.
Несмотря на растущие инвестиции в крупные модели ИИ, эксперты предупреждают, что фактическая эффективность их обучения может быть серьезно ограничена текущими технологическими ограничениями. В одном примере, приведенном сингапурским венчурным фондом Foresight, исследователи написали, сославшись на пример большой модели ИИ со 175 миллиардами параметров, хранящей 700 ГБ данных:
«Предполагая, что у нас есть 100 вычислительных узлов и каждый узел должен обновлять все параметры на каждом шаге, каждый шаг потребует передачи около 70 ТБ данных (700 ГБ * 100). Если мы оптимистично предположим, что каждый шаг занимает 1 с, тогда потребуется 70 ТБ данных. будет передаваться в секунду. Этот спрос на пропускную способность намного превышает пропускную способность большинства сетей».
Продолжая приведенный выше пример, Foresight также предупредил, что «из-за задержки связи и перегрузки сети время передачи данных может намного превышать 1 с», а это означает, что вычислительные узлы могут проводить большую часть своего времени в ожидании передачи данных вместо выполнения реальных вычислений. В заключение аналитики Foresight объяснили, что с учетом текущих ограничений решение заключается в небольших моделях ИИ, которые «легче развертывать и управлять».
«Во многих сценариях приложений пользователям или компаниям не нужны более универсальные возможности рассуждений больших языковых моделей, они сосредоточены только на очень точной цели прогнозирования».
