LPU Groq AI: революційна відповідь на проблеми GPU ChatGPT?

Останнім інструментом штучного інтелекту (ШІ), який привернув увагу громадськості, є Groq LPU Inference Engine, який раптово став сенсацією в соціальних мережах після того, як його публічні порівняльні тести стали вірусними, перевершивши топові моделі інших великих технологічних компаній.

Groq, який не слід плутати з моделлю штучного інтелекту Ілона Маска під назвою Grok, насправді є не моделлю, а системою мікросхем, через яку модель може працювати.

Команда, що стоїть за Groq, розробила власний «програмно-визначений» чіп штучного інтелекту, який вони назвали блоком обробки мови (LPU), розроблений для цілей висновків. LPU дозволяє Groq генерувати приблизно 500 токенів на секунду.

Для порівняння, загальнодоступна модель ШІ ChatGPT-3.5, яка використовує дефіцитні та дорогі графічні процесори (GPU), може генерувати близько 40 токенів за секунду. Порівняння між Groq та іншими системами ШІ заполонили платформу X.

Groq is a Radically Different kind of AI architecture

Among the new crop of AI chip startups, Groq stands out with a radically different approach centered around its compiler technology for optimizing a minimalist yet high-performance architecture. Groq's secret sauce is this… pic.twitter.com/Z70sihHNbx

— Carlos E. Perez (@IntuitMachine) February 20, 2024

Cointelegraph спілкувався з Марком Хіпсом, головним євангелістом Groq, щоб краще зрозуміти інструмент і те, як він може потенційно змінити роботу систем ШІ.

Хіпс сказав, що засновник Groq, Джонатан Росс, спочатку хотів створити системну технологію, яка б запобігла «поділу штучного інтелекту між заможними та неимучими».

У той час тензорні процесори (TPU) були доступні Google лише для їхніх власних систем, однак LPU народилися, оскільки:

«[Росс] і команда хотіли, щоб будь-хто в світі міг отримати доступ до цього рівня обчислень для штучного інтелекту, щоб знаходити нові інноваційні рішення для світу».

Керівник Groq пояснив, що LPU — це «апаратне рішення, розроблене першим програмним забезпеченням», за допомогою якого природа дизайну спрощує шлях передачі даних — не лише через чіп, але й від чіпа до чіпа та по всій мережі.

«Відсутність потреби в планувальниках, бібліотеках CUDA Libraries, ядрах тощо покращує не лише продуктивність, але й досвід розробника», — сказав він.

«Уявіть, що ви їдете на роботу, і кожне червоне світло стає зеленим, коли ви на нього потрапляєте, тому що воно знає, коли ви будете на місці. Або факт полягає в тому, що вам взагалі не знадобляться світлофори. Ось як це відбувається, коли дані проходять через наш LPU».

За темою: Microsoft інвестує 3 мільярди євро в розробку ШІ в Німеччині

Поточна проблема, яка турбує розробників у галузі, — це дефіцит і вартість потужних графічних процесорів — таких як чіпи A100 і H100 від Nvidia — необхідних для роботи моделей ШІ.

Однак Хіпс сказав, що у них немає таких проблем, оскільки їхній чіп виготовлено з використанням 14-нм кремнію. «Цей розмір матриці використовується протягом 10 років у розробці чіпів, — сказав він, — він дуже доступний і легкодоступний. Наш наступний чіп буде 4-нм і також виготовлений у Сполучених Штатах».

Він сказав, що системи GPU все ще мають місце, коли йдеться про розгортання апаратного забезпечення меншого масштабу. Однак вибір GPU проти LPU зводиться до багатьох факторів, включаючи робоче навантаження та модель.

«Якщо ми говоримо про великомасштабну систему, яка обслуговує тисячі користувачів із високим рівнем використання великої мовної моделі, наші цифри показують, що [LPU] є більш ефективними щодо живлення».

Використання LPU ще належить запровадити багатьом великим розробникам у просторі. Хіпс сказав, що до цього призводять кілька факторів, одним із яких є відносно новий «вибух LLM» за останній рік.

«Люди все ще хотіли мати універсальне рішення, таке як GPU, яке вони могли б використовувати як для навчання, так і для висновків. Зараз ринок, що розвивається, змусив людей знайти диференціацію, і загальне рішення не допоможе їм досягти цього».

Крім самого продукту, Хіпс також торкнувся слона в кімнаті — назви «Groq».

Незважаючи на те, що власний чат-бот Ілона Маска зі штучним інтелектом «Grok» був створений у 2016 році з назвою торгової марки, він з’явився на сцені лише в листопаді 2023 року та отримав широке визнання в світі ШІ.

Хіпс сказав, що були «фанати Ілона», які припускали, що вони намагалися «взяти ім’я» або що це була свого роду маркетингова стратегія. Однак, коли історія компанії стала відомою, він сказав: «Люди [стали] трохи тихішими».

«Кілька місяців тому це було нелегко, коли про їхню магістерську програму було дуже багато інформації в пресі, але зараз я думаю, що люди звертають увагу на Groq із Q».