Действительно ли Gemini от Google умнее GPT-4 от OpenAI? Общественные сыщики узнают

6 декабря Google представила свою новейшую модель искусственного интеллекта (ИИ) Gemini, объявив ее самой совершенной моделью искусственного интеллекта, доступной в настоящее время на рынке, превосходящей GPT-4 от OpenAI.

Gemini мультимодален, что означает, что он создан для понимания и объединения различных типов информации. Он выпускается в трех версиях (Ultra, Pro, Nano) для разных случаев использования, и одна из областей, в которой он превосходит GPT-4, — это его способность выполнять сложные математические вычисления и специализированное кодирование.

Во время своего дебюта Google выпустила несколько тестов производительности, в которых сравнивались Gemini с GPT-4. Версия Gemini Ultra достигла «самой современной производительности» в 30 из 32 академических тестов, которые использовались при разработке моделей больших языков (LLM).

Тем не менее, именно здесь критики в Интернете подстрекают Gemini и ставят под сомнение методы, использованные в эталонном тесте, которые предполагают превосходство Gemini, а также маркетинг продукта Google.

«Вводящая в заблуждение» рекламная акция Близнецов

Один пользователь платформы социальных сетей X, работающий в области разработки машинного обучения, задался вопросом, правдиво ли заявление Gemini о превосходстве над GPT-4.

Он отметил, что Google, возможно, расхваливает Gemini или «выбирает примеры» своего превосходства. Тем не менее, в заключение он заключил: «Я ставлю на то, что Gemini очень конкурентоспособна и составит конкуренцию GPT-4 за свои деньги», и что конкуренция в космосе хорошая.

Однако вскоре после этого он опубликовал второй пост, в котором заявил, что Google должно быть «стыдно» за «вводящее в заблуждение» продвижение продукта в рекламном видеоролике, который он создал для выпуска Gemini.

https://twitter.com/kyritzb/status/1732508702509240605?ref_src=twsrc%5Etfw

Пользователь также отметил, что результаты были достигнуты с помощью тестов, проведенных на модели, которая на данный момент «не является общедоступной». Другой пользователь отметил, что результаты могут быть другими, если бы усовершенствованная модель Gemini была протестирована против усовершенствованной версии GPT-4, известной как «турбо».

Связанный: Илон Маск подал в SEC документы xAI о частной продаже незарегистрированных ценных бумаг на сумму 1 миллиард долларов

К тесту

Другие пользователи социальных сетей решили отклонить тесты, опубликованные Google, и вместо этого описывали свой собственный опыт использования Gemini в сравнении с GPT-4.

Энн Мосс, которая работает в сфере веб-публикаций и утверждает, что является постоянным пользователем искусственного интеллекта, в частности GPT-4, сказала, что она использовала Gemini через инструмент Google Bard и чувствовала себя «не в восторге от этого опыта».

Она пришла к выводу, что на данный момент будет придерживаться GPT-4, объяснив, что отмеченные ею различия включают в себя отказ Близнецов/Барда отвечать на политические вопросы и «ложь» о знании личной информации.

https://twitter.com/terrytjw/status/1732709109622042835?ref_src=twsrc%5Etfw

По данным Google, компания планирует более широко представить Gemini широкой публике в начале 2024 года. Модель также будет интегрирована с набором приложений и сервисов Google.