Сектор больших языковых моделей продолжает расти, поскольку StabilityAI, производитель популярного инструмента для создания изображений Stable Diffusion, запустил набор инструментов языковых моделей с открытым исходным кодом.
Общедоступные альфа-версии пакета, получившие название StableLM, в настоящее время содержат модели с тремя и семью миллиардами параметров, при этом модели с 15, 30 и 65 миллиардами параметров отмечены как «в процессе», а модель со 175 миллиардами запланирована для разработки в будущем.
Announcing StableLM❗
We’re releasing the first of our large language models, starting with 3B and 7B param models, with 15-65B to follow. Our LLMs are released under CC BY-SA license.
We’re also releasing RLHF-tuned models for research use. Read more→ https://t.co/R66Wa4gbnW pic.twitter.com/gvDDJMFBYJ
— Stability AI (@StabilityAI) April 19, 2023
Для сравнения, GPT-4 имеет количество параметров, оцениваемое в один триллион, что в шесть раз больше, чем у его предшественника GPT-3.
Однако количество параметров может не быть равномерным показателем эффективности LLM, как отметил Stability AI в своем сообщении в блоге, объявляющем о запуске StableLM:
«StableLM обучается на новом экспериментальном наборе данных, построенном на The Pile, но в три раза большем с 1,5 триллионами токенов контента […] Богатство этого набора данных дает StableLM удивительно высокую производительность в разговорных задачах и задачах кодирования, несмотря на его небольшой размер от 3 до7 миллиардов параметров».
В настоящее время неясно, насколько надежны модели StableLM. Команда StabilityAI отметила на странице организации в Github, что будет опубликована дополнительная информация о возможностях LM, включая спецификации модели и настройки обучения.
Связанный: Microsoft разрабатывает собственный ИИ-чип для поддержки ChatGPT
При условии, что модели продемонстрируют достаточно хорошие результаты при тестировании, появление мощной альтернативы OpenAI ChatGPT с открытым исходным кодом может оказаться интересным для мира торговли криптовалютой.
Как сообщает Cointelegraph, люди создают продвинутых торговых ботов на основе GPT API и новых вариантов, которые включают доступ к сторонним инструментам, таким как BabyAGI и AutoGPT.
Добавление моделей с открытым исходным кодом может стать благом для технически подкованных трейдеров, которые не хотят платить надбавки за доступ к OpenAI.
Желающие могут протестировать живой интерфейс для модели StableLM с параметрами 7B, размещенной на HuggingFace. Однако на момент публикации этой статьи наши попытки сделать это привели к тому, что веб-сайт был перегружен или перегружен.
