Groq, остання модель штучного інтелекту (ШІ), яка вийшла на сцену, захоплює соціальні мережі штурмом своєю швидкістю відгуку та новою технологією, яка може відмовитися від потреби у графічних процесорах.
Groq миттєво став сенсацією після того, як його загальнодоступні бенчмарк тести стали вірусними на платформі соціальних мереж X, виявивши, що його обчислення та швидкість реакції перевершують популярний чат-бот ШІ ChatGPT.
The first public demo using Groq: a lightning-fast AI Answers Engine.
It writes factual, cited answers with hundreds of words in less than a second.
More than 3/4 of the time is spent searching, not generating!
The LLM runs in a fraction of a second.https://t.co/dVUPyh3XGV https://t.co/mNV78XkoVB pic.twitter.com/QaDXixgSzp
— Matt Shumer (@mattshumer_) February 19, 2024
Це пов’язано з тим, що команда Groq розробила власний спеціальний чіп інтегральної схеми (ASIC) для великих мовних моделей (LLM), що дозволяє генерувати приблизно 500 токенів на секунду. Для порівняння, ChatGPT 3.5, загальнодоступна версія моделі, може генерувати близько 40 токенів на секунду.
Groq Inc., розробник цієї моделі, стверджує, що створив перший модуль обробки мови (LPU), за допомогою якого він запускає свою модель, а не дефіцитні та дорогі графічні процесори (GPU), які зазвичай використовуються для запуску моделей ШІ.
Wow, that's a lot of tweets tonight! FAQs responses.
• We're faster because we designed our chip & systems
• It's an LPU, Language Processing Unit (not a GPU)
• We use open-source models, but we don't train them
• We are increasing access capacity weekly, stay tuned pic.twitter.com/nFlFXETKUP— Groq Inc (@GroqInc) February 19, 2024
Однак компанія, що стоїть за Groq, не нова. Він був заснований у 2016 році, також коли він став торговою маркою Groq. У листопаді минулого року, коли власна модель ШІ Ілона Маска, яка також називається Grok, але пишеться як ak, набирала популярності, розробники оригінального Groq опублікували допис у блозі, закликаючи Маска вибрати назву:
«Ми розуміємо, чому ви можете взяти наше ім’я. Вам подобаються швидкі речі (ракети, гіперпетлі, назви компаній з однієї літери), а наш продукт Groq LPU Inference Engine — це найшвидший спосіб запускати великі мовні моделі (LLM) та інші генеративні програми ШІ. Однак ми маємо попросити вас вибрати інше ім’я, і швидко».
Оскільки Groq став вірусним у соціальних мережах, ані Маск, ані сторінка Grok на X не зробили жодних коментарів щодо подібності між назвами двох моделей.
За темою: Microsoft інвестує 3 мільярди євро в розробку ШІ в Німеччині
Незважаючи на це, багато користувачів платформи почали порівнювати модель LPU з іншими популярними моделями на основі GPU.
Один користувач, який працює над розробкою штучного інтелекту, назвав Groq тим, хто «змінить правила гри» для продуктів, які потребують низької затримки, тобто часу, необхідного для обробки запиту та отримання відповіді.
side by side Groq vs. GPT-3.5, completely different user experience, a game changer for products that require low latency pic.twitter.com/sADBrMKXqm
— Dina Yerlan (@dina_yrl) February 19, 2024
Інший користувач написав, що LPU Groq можуть запропонувати «значне вдосконалення» графічних процесорів, коли справа доходить до обслуговування потреб програм штучного інтелекту в майбутньому, і сказав, що це також може виявитися хорошою альтернативою «високопродуктивному апаратному забезпеченню» в-затребувані чіпи A100 і H100 виробництва Nvidia.
Це відбувається в той час, коли основні розробники штучного інтелекту намагаються розробляти власні мікросхеми, щоб не покладатися лише на моделі Nvidia.
Повідомляється, що OpenAI шукає трильйони доларів фінансування від урядів та інвесторів у всьому світі для розробки власного чіпа, щоб подолати проблеми з масштабуванням своїх продуктів.
