Anthropic, компания, занимающаяся искусственным интеллектом (ИИ) и «общественной пользой», запустила Claude 2 11 июля, что стало еще одной вехой в году, полном, казалось бы, непрерывного прогресса в растущем секторе генеративного ИИ.
Introducing Claude 2! Our latest model has improved performance in coding, math and reasoning. It can produce longer responses, and is available in a new public-facing beta website at https://t.co/uLbS2JNczH in the US and UK. pic.twitter.com/jSkvbXnqLd
— Anthropic (@AnthropicAI) July 11, 2023
Согласно сообщению в блоге компании, Claude 2 показывает улучшения почти во всех измеримых категориях. Возможно, наиболее примечательным среди различий между ним и его предшественником является то, как исследователи обсуждают свою работу.
В сообщении блога, анонсирующем Claude 2, нет упоминания о традиционном бенчмаркинге машинного обучения или вычислительных оценках по сравнению с аналогичными моделями. Вместо этого Anthropic протестировала Claude и Claude 2 лицом к лицу в многочисленных тестах, предназначенных для представления реальных знаний, навыков итесты на решение задач.
Claude 2 превзошел своего предшественника по всем параметрам на знаниях, программировании и других экзаменах и, по данным Anthropic, даже набирает хорошие баллы по сравнению со средними показателями людей:
«По сравнению со студентами колледжей, поступающими в аспирантуру, Клод 2 набирает выше 90-го процентиля на экзаменах GRE по чтению и письму и аналогично среднему абитуриенту по количественному мышлению».
Стоит отметить, что многие эксперты считают, что сравнения между людьми и тестируемыми ИИ неэффективны из-за природы когнитивных рассуждений человека и вероятности того, что набор данных для обучения большой языковой модели содержит тестовую информацию. По сути, тесты, разработанные для людей, могут на самом деле не «проверять» способность ИИ рассуждать или обеспечивать надлежащую демонстрацию фактических знаний или навыков.
Одновременно с запуском Claude 2 компания Anthropic представила бета-версию веб-интерфейса «Поговори с Клодом», обеспечивающего общий доступ к чат-боту для пользователей в США и Великобритании.
Связанный: Как получить высокооплачиваемую работу инженера по искусственному интеллекту
Коинтелеграф провел краткое тестирование новой версии, и, как ни странно, улучшения заметны сразу. Клод 2 почти мгновенно ответил на наши подсказки четкими и лаконичными ответами.
Согласно Anthropic, предел подсказок новой модели составляет 100 тысяч токенов, что примерно эквивалентно 75 000 слов. Пользовательский интерфейс сайта указывает, что пользователи могут загружать PDF, TXT, CSV и аналогичные документы для анализа, однако эта функция не работала в нашем ограниченном тестировании перед публикацией этой статьи.
