Пара исследователей из Университета Инсбрука в Австрии разработали метод, позволяющий определить, насколько хорошо система искусственного интеллекта (ИИ) понимает «временную достоверность» — эталон, который может иметь серьезные последствия для использования продуктов генеративного ИИ, таких какChatGPT в финтех-секторе.
Временная валидность означает, насколько релевантно данное утверждение другому утверждению с течением времени. По сути, это относится к временной ценности парных утверждений. Искусственному интеллекту, оцениваемому по его способности предсказывать временную достоверность, будет предоставлен набор утверждений и предложено выбрать одно, наиболее тесно связанное во времени.
В своем недавно опубликованном препринте исследовательской работы под названием «Прогнозирование изменения временной достоверности» Георг Венцель и Адам Ятовт используют пример утверждения, в котором утверждается, что человек читает книгу в автобусе.
Исследователи создали размеченный набор данных обучающих примеров, который затем использовали для построения задачи сравнительного анализа больших языковых моделей (LLM). Они выбрали ChatGPT в качестве базовой модели для тестирования из-за ее популярности среди конечных пользователей и обнаружили, что она значительно уступает по производительности по сравнению с менее обобщенными моделями.
CHATGPT входит в число моделей с более низкой производительностью, что согласуется с другими исследованиями по пониманию TCS. Его недостатки могут быть связаны с одноразовым подходом к обучению и недостатком знаний о характеристиках набора данных».
Это указывает на то, что ситуации, когда временная достоверность играет роль в определении полезности или точности — например, при создании новостных статей или оценке финансовых рынков — скорее всего, будут лучше обрабатываться целевыми моделями ИИ, чем более универсальными сервисами, такими как ChatGPT.
Исследователи также продемонстрировали, что экспериментирование с прогнозированием временных изменений значений во время цикла обучения LLM может привести к более высоким результатам в задаче сравнительного анализа временных изменений.
По теме: Заглядывая в будущее: инсайдеры отрасли прогнозируют юридические проблемы в области искусственного интеллекта в 2024 году
Хотя в статье конкретно не обсуждаются последствия, выходящие за рамки самого эксперимента, одним из текущих ограничений генеративных систем ИИ является отсутствие у них способности различать прошлые и настоящие события в объеме литературы.
Обучение этих систем тому, как определять наиболее релевантные утверждения в корпусе, причем своевременность является определяющим фактором, может революционизировать способность моделей ИИ делать точные прогнозы в реальном времени в таких масштабных секторах, как криптовалютные и фондовые рынки.
