Groq, новейшая модель искусственного интеллекта (ИИ), вышедшая на сцену, покоряет социальные сети благодаря своей скорости отклика и новым технологиям, которые могут обойтись без использования графических процессоров.
Groq стал сенсацией в мгновение ока после того, как его публичные тесты производительности стали вирусными на платформе социальных сетей X, показав, что его скорость вычислений и реакции превосходит популярный чат-бот ChatGPT с искусственным интеллектом.
The first public demo using Groq: a lightning-fast AI Answers Engine.
It writes factual, cited answers with hundreds of words in less than a second.
More than 3/4 of the time is spent searching, not generating!
The LLM runs in a fraction of a second.https://t.co/dVUPyh3XGV https://t.co/mNV78XkoVB pic.twitter.com/QaDXixgSzp
— Matt Shumer (@mattshumer_) February 19, 2024
Это связано с тем, что команда Groq разработала собственный чип специализированной интегральной схемы (ASIC) для больших языковых моделей (LLM), позволяющий генерировать примерно 500 токенов в секунду. Для сравнения, ChatGPT 3.5, общедоступная версия модели, может генерировать около 40 токенов в секунду.
Groq Inc., разработчик этой модели, утверждает, что создала первый языковой процессор (LPU), с помощью которого она запускает свою модель, а не дефицитные и дорогостоящие графические процессоры (GPU), которые обычно используются для запуска моделей искусственного интеллекта.
Wow, that's a lot of tweets tonight! FAQs responses.
• We're faster because we designed our chip & systems
• It's an LPU, Language Processing Unit (not a GPU)
• We use open-source models, but we don't train them
• We are increasing access capacity weekly, stay tuned pic.twitter.com/nFlFXETKUP— Groq Inc (@GroqInc) February 19, 2024
Однако компания, стоящая за Groq, не нова. Она была основана в 2016 году, тогда же была зарегистрирована торговая марка Groq. В ноябре прошлого года, когда собственная модель искусственного интеллекта Илона Маска, также называемая Grok, но пишется с помощью ak, набирала обороты, разработчики оригинального Groq опубликовали сообщение в блоге, призывающее Маска выбрать имя:
«Мы понимаем, почему вы можете захотеть принять наше имя. Вам нравятся быстрые вещи (ракеты, гиперлупы, однобуквенные названия компаний), и наш продукт, Groq LPU Inference Engine, — это самый быстрый способ запуска больших языковых моделей (LLM) и других генеративных приложений искусственного интеллекта. Однако мы должны попросить вас, пожалуйста, выбрать другое имя и быстро».
С тех пор, как Groq стал вирусным в социальных сетях, ни Маск, ни страница Groq на X не сделали никаких комментариев по поводу сходства названий двух моделей.
По теме: Microsoft инвестирует 3 миллиарда евро в развитие искусственного интеллекта в Германии
Тем не менее, многие пользователи платформы начали сравнивать модель LPU с другими популярными моделями на базе графического процессора.
Один пользователь, занимающийся разработкой искусственного интеллекта, назвал Groq «изменителем правил игры» для продуктов, которым требуется низкая задержка, то есть время, необходимое для обработки запроса и получения ответа.
side by side Groq vs. GPT-3.5, completely different user experience, a game changer for products that require low latency pic.twitter.com/sADBrMKXqm
— Dina Yerlan (@dina_yrl) February 19, 2024
Другой пользователь написал, что LPU Groq могут предложить «значительное улучшение» графических процессоров, когда дело доходит до обслуживания потребностей приложений искусственного интеллекта в будущем, и сказал, что они также могут оказаться хорошей альтернативой «высокопроизводительному аппаратному обеспечению»- спрос на чипы A100 и H100 производства Nvidia.
Это происходит в то время, когда крупные разработчики искусственного интеллекта стремятся разрабатывать собственные чипы, чтобы не полагаться только на модели Nvidia.
Сообщается, что OpenAI ищет триллионы долларов финансирования от правительств и инвесторов по всему миру для разработки собственного чипа, позволяющего преодолеть проблемы с масштабированием своих продуктов.
