Чи справді Gemini від Google розумніший за GPT-4 від OpenAI? Громадські детективи дізнаються

6 грудня Google випустив свою останню модель штучного інтелекту (ШІ) Gemini, оголосивши її найдосконалішою моделлю ШІ, доступною в даний момент на ринку, перевершивши GPT-4 OpenAI.

Gemini є мультимодальним, що означає, що він створений для розуміння та поєднання різних типів інформації. Він доступний у трьох версіях (Ultra, Pro, Nano) для різних варіантів використання, і одна з областей, у якій він, здається, перевершує GPT-4, це його здатність виконувати розширену математику та спеціалізоване кодування.

Під час свого дебюту Google опублікував кілька порівняльних тестів, які порівнювали Gemini з GPT-4. Версія Gemini Ultra досягла «найвищої продуктивності» в 30 із 32 академічних тестів, які використовувалися в розробці великої мовної моделі (LLM).

Однак саме тут критики в Інтернеті тицяють у Gemini та піддають сумніву методи, використані в еталонному тесті, які свідчать про перевагу Gemini, а також маркетинг продукту Google.

«Оманлива» акція Gemini

Один користувач соціальної медіа-платформи X, який працює в галузі розробки машинного навчання, поставив під сумнів, чи правдива заява Gemini про перевагу над GPT-4.

Він зазначив, що Google може розкручувати Gemini або «вибирати» приклади його переваги. І все-таки, підсумував він, «я впевнений, що Gemini дуже конкурентоспроможна і дасть GPT-4 шанс за свої гроші», і ця конкуренція в космосі хороша.

Однак незабаром після цього він опублікував другий пост, в якому говориться, що Google має бути «збентеженим» за «оманливу» рекламу продукту в рекламному відео, створеному для випуску Gemini.

https://twitter.com/kyritzb/status/1732508702509240605?ref_src=twsrc%5Etfw

Користувач також зазначив, що результати були отримані за допомогою тестів, проведених на моделі, яка на даний момент «не є загальнодоступною». Інший користувач зауважив, що оцінки можуть бути іншими, якщо вдосконалену модель Gemini перевірятимуть із вдосконаленою версією GPT-4, відомою як «турбо».

За темою: XAI-файли Ілона Маска з SEC для приватного продажу незареєстрованих цінних паперів на суму 1 мільярд доларів

До тесту

Інші користувачі соціальних мереж вирішили відмовитися від тестів, опублікованих Google, і натомість описували власний досвід роботи з Gemini у порівнянні з GPT-4.

Енн Мосс, яка працює в службах веб-видання та стверджує, що є регулярним користувачем штучного інтелекту, зокрема GPT-4, сказала, що вона використовувала Gemini через інструмент Google Bard і відчула, що «була вражена цим досвідом».

Вона дійшла висновку, що наразі дотримуватиметься GPT-4, пояснивши, що відмінності, які вона зазначила, включають відмову Близнюків/Барда відповідати на політичні запитання та «брехню» про знання особистої інформації.

https://twitter.com/terrytjw/status/1732709109622042835?ref_src=twsrc%5Etfw

За словами Google, компанія планує розгорнути Gemini для широкого загалу на початку 2024 року. Модель також буде інтегрована з набором програм і сервісів Google.