LPU Groq AI: прорывной ответ на проблемы графического процессора ChatGPT?

Новейшим инструментом искусственного интеллекта (ИИ), призванным привлечь внимание общественности, является Groq LPU Inference Engine, который в мгновение ока стал сенсацией в социальных сетях после того, как его публичные тесты производительности стали вирусными, превзойдя лучшие модели других крупных технологических компаний.

Groq, не путать с моделью искусственного интеллекта Илона Маска под названием Grok, на самом деле представляет собой не саму модель, а систему микросхем, посредством которой модель может работать.

Команда Groq разработала собственный «программно-определяемый» ИИ-чип, который они назвали языковым процессором (LPU), разработанным для целей вывода. LPU позволяет Groq генерировать примерно 500 токенов в секунду.

Для сравнения, общедоступная модель искусственного интеллекта ChatGPT-3.5, которая работает на дефицитных и дорогостоящих графических процессорах (GPU), может генерировать около 40 токенов в секунду. Платформу X заполонили сравнения Groq с другими системами искусственного интеллекта.

Groq is a Radically Different kind of AI architecture

Among the new crop of AI chip startups, Groq stands out with a radically different approach centered around its compiler technology for optimizing a minimalist yet high-performance architecture. Groq's secret sauce is this… pic.twitter.com/Z70sihHNbx

— Carlos E. Perez (@IntuitMachine) February 20, 2024

Коинтелеграф обратился к Марку Хипсу, главному евангелисту Groq, чтобы лучше понять этот инструмент и то, как он потенциально может изменить работу систем искусственного интеллекта.

Хипс рассказал, что основатель Groq Джонатан Росс изначально хотел создать системную технологию, которая предотвратила бы «разделение ИИ на имущих и неимущих».

В то время тензорные процессоры (TPU) были доступны Google только для их собственных систем, однако LPU появились потому, что:

«[Росс] и его команда хотели, чтобы любой человек в мире мог получить доступ к этому уровню вычислений, чтобы ИИ мог находить новые инновационные решения для мира».

Руководитель Groq объяснил, что LPU — это «аппаратное решение, разработанное с упором на программное обеспечение», благодаря которому природа конструкции упрощает путь передачи данных — не только по чипу, но и от чипа к чипу и по сети.

«Отсутствие необходимости в планировщиках, библиотеках CUDA Libraries, ядрах и т. д. повышает не только производительность, но и удобство разработки», — сказал он.

«Представьте, что вы едете на работу, и каждый красный сигнал светофора становится зеленым, когда вы нажимаете на него, потому что он знает, когда вы будете там. Или дело в том, что вам вообще не понадобятся светофоры. Вот что происходит, когда данные проходят через наш LPU».

По теме: Microsoft инвестирует 3 миллиарда евро в развитие искусственного интеллекта в Германии

Текущая проблема, с которой сталкиваются разработчики в отрасли, — это нехватка и стоимость мощных графических процессоров, таких как чипы Nvidia A100 и H100, необходимых для запуска моделей искусственного интеллекта.

Однако в Heaps заявили, что у них нет таких проблем, поскольку их чип изготовлен с использованием 14-нм кремния. «Такой размер кристалла уже 10 лет используется при проектировании микросхем, — сказал он, — и он очень доступен по цене и легко доступен. Наш следующий чип будет изготовлен по 4-нм техпроцессу и тоже будет производиться в США».

Он сказал, что системы графических процессоров по-прежнему имеют место, когда речь идет о развертывании оборудования меньшего масштаба. Однако выбор графического процессора или LPU зависит от множества факторов, включая рабочую нагрузку и модель.

«Если мы говорим о крупномасштабной системе, обслуживающей тысячи пользователей с высокой степенью использования большой языковой модели, наши цифры показывают, что [LPU] более эффективны по энергопотреблению».

Использование LPU еще предстоит реализовать многим крупным разработчикам в этой области. Хипс сказал, что к этому приводят несколько факторов, одним из которых является относительно новый «взрыв LLM» за последний год.

«Люди по-прежнему хотели универсальное решение, такое как графический процессор, который они могли бы использовать как для обучения, так и для вывода. Сейчас развивающийся рынок вынуждает людей искать дифференциацию, и общее решение не поможет им в этом».

Помимо самого продукта, Хипс также затронул слона в комнате — имя «Грок».

Несмотря на то, что собственный чат-бот Илона Маска с искусственным интеллектом «Grok» был создан в 2016 году и вскоре после этого был зарегистрирован товарный знак, собственный чат-бот Илона Маска «Grok» появился на сцене только в ноябре 2023 года и получил широкое признание в сфере искусственного интеллекта.

Хипс сказал, что были «фанаты Илона», которые предполагали, что они пытались «взять имя» или что это была своего рода маркетинговая стратегия. Однако, как только история компании стала известна, по его словам, «люди стали немного тише».

«Несколько месяцев назад это было непросто, когда об их LLM много писали в прессе, но сейчас, я думаю, люди обращают внимание на Грока, задавая вопрос».