Пара дослідників з Університету Інсбрука в Австрії розробили метод визначення того, наскільки добре система штучного інтелекту (ШІ) розуміє «часову валідність», еталонний показник, який може мати значні наслідки для використання генеративних продуктів ШІ, таких якChatGPT у секторі фінансових технологій.
Часова дійсність означає, наскільки дане твердження є релевантним для іншого твердження протягом певного часу. По суті, це стосується значення парних висловлювань на основі часу. ШІ, який оцінюється на його здатність передбачати часову валідність, буде надано набір тверджень і запропоновано вибрати те, яке найбільше пов’язане в часі.
У своїй нещодавно опублікованій дослідницькій статті під назвою «Прогноз зміни часової достовірності» Георг Венцель і Адам Джатовт використовують приклад твердження, у якому оголошено, що людина читає книгу в автобусі.
Дослідники створили позначений набір даних навчальних прикладів, які вони потім використали для побудови завдання порівняльного аналізу для великих мовних моделей (LLM). Вони вибрали ChatGPT як основну модель для тестування через її популярність серед кінцевих користувачів і виявили, що вона має значний відрив у порівнянні з менш узагальненими моделями.
CHATGPT належить до менш ефективних моделей, що узгоджується з іншими дослідженнями розуміння ТКС. Його недоліки можуть бути пов’язані з підходом до навчання з кількох кадрів і відсутністю знань про особливості набору даних».
Це вказує на те, що ситуації, коли часова валідність відіграє важливу роль у визначенні корисності чи точності — наприклад, у створенні новинних статей або оцінці фінансових ринків — швидше за все, будуть краще впоратися з цільовими моделями штучного інтелекту, ніж більш універсальними сервісами, такими як ChatGPT.
Дослідники також продемонстрували, що експерименти з прогнозуванням зміни тимчасових значень під час циклу навчання LLM потенційно можуть призвести до вищих балів у завданні порівняльного аналізу часових змін.
За темою: Заглядаючи в майбутнє: інсайдери галузі прогнозують судові виклики штучного інтелекту в 2024 році
Хоча в документі конкретно не обговорюються наслідки, окрім самого експерименту, одним із поточних обмежень генеративних систем штучного інтелекту є відсутність у них здатності розрізняти минулі та теперішні події в літературі.
Навчання цих систем тому, як визначати найбільш релевантні твердження в корпусі, причому своєчасність є визначальним фактором, може революціонізувати здатність моделей штучного інтелекту робити сильні прогнози в реальному часі в таких масштабних секторах, як криптовалюта та фондові ринки.
