Новая модель искусственного интеллекта Gemini от Google доминирует в тестах, опережая GPT-4o и Claude-3

В мире тестов генеративного искусственного интеллекта появился новый лидер, и его зовут Gemini 1.5 Pro.

Предыдущий чемпион, ChatGPT-4o от OpenAI, был наконец превзойден 1 августа, когда Google незаметно выпустил экспериментальную версию своей последней модели.

Последнее обновление Gemini появилось без помпы и в настоящее время маркируется как экспериментальное. Но он быстро привлек внимание сообщества ИИ в социальных сетях, поскольку начали поступать сообщения о том, что он превосходит своих конкурентов по контрольным показателям.

Тесты искусственного интеллекта

ChatGPT OpenAI был стандартом для генеративного ИИ с момента запуска GPT-3. Ее последняя модель, GPT-4o, и ее ближайший конкурент, Claude-3 от Anthropic, за последний год или около того безраздельно превзошли большинство других моделей в большинстве распространенных тестов, практически не имея конкуренции.

Один из самых популярных тестов называется LMSYS Chatbot Arena. Он тестирует модели на различных задачах и присваивает общую оценку компетентности. GPT-4o получил 1286 баллов, а Claude-3 — приличные 1271 балл.

Предыдущая версия Gemini 1.5 Pro набрала 1261 балл. Но экспериментальная версия (Gemini 1.5 Pro 0801), выпущенная 1 августа, набрала целых 1300 баллов.

Это указывает на то, что в целом он более способен, чем его конкуренты, но тесты не обязательно являются точным представлением того, что может и не может делать модель ИИ.

Волнение сообщества

Без более глубокого сравнения мы вступаем в эпоху, когда рынок чат-ботов с искусственным интеллектом достаточно созрел, чтобы предлагать множество вариантов. В конечном итоге конечные пользователи сами должны определить, какая модель ИИ лучше всего им подходит.

Как ни странно, последняя версия Gemini вызвала волну ажиотажа: пользователи социальных сетей назвали ее «безумно хорошей». Один пользователь Reddit зашел так далеко, что написал, что его «выдувает из воды на 4 градуса».

В настоящее время неясно, будет ли экспериментальная версия Gemini 1.5 Pro использоваться по умолчанию в дальнейшем. Хотя на момент публикации этой статьи она остается общедоступной, тот факт, что она находится на этапе раннего выпуска или тестирования, указывает на то, что вполне возможно, что модель может быть отменена или изменена по соображениям безопасности или согласования.

Связанный: Google объявляет о повышении безопасности и прозрачности в моделях искусственного интеллекта