6 декабря Google представила свою новейшую модель искусственного интеллекта (ИИ) Gemini, объявив ее самой совершенной моделью искусственного интеллекта, доступной в настоящее время на рынке, превосходящей GPT-4 от OpenAI.
Gemini мультимодален, что означает, что он создан для понимания и объединения различных типов информации. Он выпускается в трех версиях (Ultra, Pro, Nano) для разных случаев использования, и одна из областей, в которой он превосходит GPT-4, — это его способность выполнять сложные математические вычисления и специализированное кодирование.
Во время своего дебюта Google выпустила несколько тестов производительности, в которых сравнивались Gemini с GPT-4. Версия Gemini Ultra достигла «самой современной производительности» в 30 из 32 академических тестов, которые использовались при разработке моделей больших языков (LLM).
Тем не менее, именно здесь критики в Интернете подстрекают Gemini и ставят под сомнение методы, использованные в эталонном тесте, которые предполагают превосходство Gemini, а также маркетинг продукта Google.
«Вводящая в заблуждение» рекламная акция Близнецов
Один пользователь платформы социальных сетей X, работающий в области разработки машинного обучения, задался вопросом, правдиво ли заявление Gemini о превосходстве над GPT-4.
Он отметил, что Google, возможно, расхваливает Gemini или «выбирает примеры» своего превосходства. Тем не менее, в заключение он заключил: «Я ставлю на то, что Gemini очень конкурентоспособна и составит конкуренцию GPT-4 за свои деньги», и что конкуренция в космосе хорошая.
Однако вскоре после этого он опубликовал второй пост, в котором заявил, что Google должно быть «стыдно» за «вводящее в заблуждение» продвижение продукта в рекламном видеоролике, который он создал для выпуска Gemini.
Google, this is embarrassing.
You published an impressive video showing Gemini answering your questions. It looked awesome. It looked real-time.
But it was a lie. None of that happened as recorded and presented to the public.
Instead, you cherry-picked frames and edited a… pic.twitter.com/GjyqWPyaIu
— Santiago (@svpino) December 6, 2023
В ответ на его твит другие пользователи X высказались о том, что чувствуют себя обманутыми изображением Близнецов в Google. Один пользователь сказал, что утверждения о том, что Gemini положит конец эре GPT-4, «отменены».
Другой пользователь, ученый-компьютерщик, согласился и назвал изображение Google превосходства Близнецов «неискренним».
Неудачные тесты
Пользователи отметили, что Google включил тесты, в которых использовалась устаревшая версия GPT-4, а не его текущая мощность, и поэтому сравнения были излишними.
Еще одна область, вызывающая беспокойство у исследователей социальных сетей, заключалась в параметрах, которые Google использовал для сравнения своей модели Gemini с GPT-4. Более того, подсказки, данные обеим моделям, не были идентичными, что могло иметь серьезные последствия для результатов.
this is pretty weird
usually when you benchmark… you compare the results of the same exact test…
Took someone else mentioning this for me to notice
— bryankyritz.eth (@kyritzb) December 6, 2023
Пользователь также отметил, что результаты были достигнуты с помощью тестов, проведенных на модели, которая на данный момент «не является общедоступной». Другой пользователь отметил, что результаты могут быть другими, если бы усовершенствованная модель Gemini была протестирована против усовершенствованной версии GPT-4, известной как «турбо».
Связанный: Илон Маск подал в SEC документы xAI о частной продаже незарегистрированных ценных бумаг на сумму 1 миллиард долларов
К тесту
Другие пользователи социальных сетей решили отклонить тесты, опубликованные Google, и вместо этого описывали свой собственный опыт использования Gemini в сравнении с GPT-4.
Энн Мосс, которая работает в сфере веб-публикаций и утверждает, что является постоянным пользователем искусственного интеллекта, в частности GPT-4, сказала, что она использовала Gemini через инструмент Google Bard и чувствовала себя «не в восторге от этого опыта».
Она пришла к выводу, что на данный момент будет придерживаться GPT-4, объяснив, что отмеченные ею различия включают в себя отказ Близнецов/Барда отвечать на политические вопросы и «ложь» о знании личной информации.
Well, well, well… Google finally launched Gemini. You can test it using the Bard interface, so they say. Bard says so too, but I don't trust Bard too much.
Have been playing with it and so far, I'm underwhelmed. Sticking to ChatGPT Plus for now.
Here's why –
1. Bard is… pic.twitter.com/4uyQt2fy7G
— Anne Moss (@AnneMossYeys) December 6, 2023
Другой пользователь, занимающийся разработкой приложений, опубликовал скриншоты, на которых он попросил обе модели с помощью одной и той же подсказки сгенерировать код на основе фотографии. Он отметил неутешительный ответ Близнецов/Барда по сравнению с GPT-4.
Gemini “Pro” vs ChatGPT (GPT-4) @Google ??? pic.twitter.com/P0lyXZGhqC
— Terry Tan (@terrytjw) December 7, 2023
По данным Google, компания планирует более широко представить Gemini широкой публике в начале 2024 года. Модель также будет интегрирована с набором приложений и сервисов Google.
