29 червня компанія Inflection AI, що базується в Пало-Альто, оголосила про завершення збору 1,3 мільярда доларів під керівництвом Microsoft, Рейда Хоффмана, Білла Гейтса, Еріка Шмідта та NVIDIA. Новий капітал буде частково спрямований на створення кластера NVIDIA H100 Tensor GPU на 22 000 одиниць, який, як стверджує компанія, є найбільшим у світі. Графічні процесори будуть використовуватися для розробки великомасштабних моделей ШІ. Розробники написали:
«За нашими оцінками, якби ми включили наш кластер до нещодавнього списку TOP500 суперкомп’ютерів, він був би другим і був би близьким до найкращого запису, незважаючи на те, що він оптимізований для програм штучного інтелекту, а не наукових».
Inflection AI також розробляє власну персональну систему штучного інтелекту, яка отримала назву «Пі». Фірма пояснює, що Pi — це «вчитель, тренер, довірена особа, творчий партнер і резонатор», до якого можна отримати прямий доступ через соціальні мережі або WhatsApp. Загальний обсяг фінансування компанії сягнув 1,525 мільярда доларів з моменту її створення на початку 2022 року.
Незважаючи на зростаючі інвестиції у великі моделі штучного інтелекту, експерти попереджають, що ефективність їх фактичного навчання може бути серйозно обмежена поточними технологічними обмеженнями. В одному прикладі, наведеному сінгапурським венчурним фондом Foresight, дослідники пишуть, посилаючись на приклад великої моделі ШІ зі 175 мільярдами параметрів, яка зберігає 700 ГБ даних:
«Якщо припустити, що у нас є 100 обчислювальних вузлів і кожен вузол потребує оновлення всіх параметрів на кожному кроці, кожен крок вимагатиме передачі приблизно 70 ТБ даних (700 ГБ*100). Якщо ми оптимістично припустимо, що кожен крок займає 1 с, тоді знадобиться 70 ТБ данихпередаватися за секунду. Цей попит на пропускну здатність значно перевищує пропускну спроможність більшості мереж».
Продовжуючи наведений вище приклад, Форсайт також попереджає, що «через затримку зв’язку та перевантаження мережі час передачі даних може значно перевищувати 1 с», тобто обчислювальні вузли цілком можуть витрачати більшу частину свого часу на очікування передачі даних замість виконання фактичних обчислень. На закінчення аналітики Foresight пояснили, враховуючи поточні обмеження, що рішення полягає в невеликих моделях штучного інтелекту, які «легше розгортати та керувати».
«У багатьох прикладних сценаріях користувачам або компаніям не потрібна більш універсальна здатність аргументувати великі мовні моделі, а вони зосереджені лише на дуже чіткій цілі прогнозування».
