ChatGPT теперь может говорить, слушать и видеть изображения.

Пространство генеративного искусственного интеллекта (ИИ) продолжает накаляться, поскольку OpenAI представила GPT-4V, модель с возможностями машинного зрения и мультимодальные диалоговые режимы для своей системы ChatGPT.

Благодаря новым обновлениям, анонсированным 25 сентября, пользователи ChatGPT смогут участвовать в разговорах с помощью ChatGPT. Модели ChatGPT, GPT-3.5 и GPT-4 теперь могут понимать разговорные запросы простым языком и отвечать одним из пяти разных голосов.

ChatGPT can now see, hear, and speak. Rolling out over next two weeks, Plus users will be able to have voice conversations with ChatGPT (iOS & Android) and to include images in conversations (all platforms). https://t.co/uNZjgbR5Bm pic.twitter.com/paG0hMshXb

— OpenAI (@OpenAI) September 25, 2023

Согласно сообщению в блоге OpenAI, этот новый мультимодальный интерфейс позволит пользователям взаимодействовать с ChatGPT новыми способами:

«Сфотографируйте достопримечательность во время путешествия и поговорите вживую о том, что в ней интересного. Когда вы будете дома, сфотографируйте свой холодильник и кладовую, чтобы выяснить, что будет на ужин (и задайте дополнительные вопросы для пошагового рецепта). После ужина помогите своему ребенку решить математическую задачу, сфотографировав его, обведя набор задач и попросив его поделиться подсказками с вами обоими».

Обновленная версия ChatGPT будет доступна для пользователей Plus и Enterprise на мобильных платформах в течение следующих двух недель, а «вскоре после этого» появится доступ к ней для разработчиков и других пользователей.

Мультимодальное обновление ChatGPT появилось сразу после запуска DALL-E 3, самой совершенной системы генерации изображений OpenAI.

По данным OpenAI, DALL-E 3 также интегрирует обработку естественного языка. Это позволяет пользователям общаться с моделью для точной настройки результатов и интегрировать ChatGPT для помощи в создании подсказок к изображениям.

Что касается других новостей об искусственном интеллекте, конкурент OpenAI Anthropic объявил о партнерстве с Amazon 25 сентября. Как сообщает Cointelegraph, Amazon инвестирует до 4 миллиардов долларов, чтобы включить облачные сервисы и доступ к оборудованию. В свою очередь Anthropic заявляет, что предоставит расширенную поддержку базовой модели искусственного интеллекта Amazon Bedrock, а также «безопасную настройку модели и ее тонкую настройку для бизнеса».

По теме: Генеральный директор Coinbase предостерегает от регулирования ИИ и призывает к децентрализации