Эксперимент с искусственным интеллектом, включающий «временную достоверность», может иметь серьезные последствия для финансовых технологий

Пара исследователей из Университета Инсбрука в Австрии разработали метод, позволяющий определить, насколько хорошо система искусственного интеллекта (ИИ) понимает «временную достоверность» — эталон, который может иметь серьезные последствия для использования продуктов генеративного ИИ, таких какChatGPT в финтех-секторе.

Временная валидность означает, насколько релевантно данное утверждение другому утверждению с течением времени. По сути, это относится к временной ценности парных утверждений. Искусственному интеллекту, оцениваемому по его способности предсказывать временную достоверность, будет предоставлен набор утверждений и предложено выбрать одно, наиболее тесно связанное во времени.

В своем недавно опубликованном препринте исследовательской работы под названием «Прогнозирование изменения временной достоверности» Георг Венцель и Адам Ятовт используют пример утверждения, в котором утверждается, что человек читает книгу в автобусе.

Исследователи создали размеченный набор данных обучающих примеров, который затем использовали для построения задачи сравнительного анализа больших языковых моделей (LLM). Они выбрали ChatGPT в качестве базовой модели для тестирования из-за ее популярности среди конечных пользователей и обнаружили, что она значительно уступает по производительности по сравнению с менее обобщенными моделями.

CHATGPT входит в число моделей с более низкой производительностью, что согласуется с другими исследованиями по пониманию TCS. Его недостатки могут быть связаны с одноразовым подходом к обучению и недостатком знаний о характеристиках набора данных».

Это указывает на то, что ситуации, когда временная достоверность играет роль в определении полезности или точности — например, при создании новостных статей или оценке финансовых рынков — скорее всего, будут лучше обрабатываться целевыми моделями ИИ, чем более универсальными сервисами, такими как ChatGPT.

Исследователи также продемонстрировали, что экспериментирование с прогнозированием временных изменений значений во время цикла обучения LLM может привести к более высоким результатам в задаче сравнительного анализа временных изменений.

По теме: Заглядывая в будущее: инсайдеры отрасли прогнозируют юридические проблемы в области искусственного интеллекта в 2024 году

Хотя в статье конкретно не обсуждаются последствия, выходящие за рамки самого эксперимента, одним из текущих ограничений генеративных систем ИИ является отсутствие у них способности различать прошлые и настоящие события в объеме литературы.

Обучение этих систем тому, как определять наиболее релевантные утверждения в корпусе, причем своевременность является определяющим фактором, может революционизировать способность моделей ИИ делать точные прогнозы в реальном времени в таких масштабных секторах, как криптовалютные и фондовые рынки.