Антропный взлом открывает черный ящик, чтобы увидеть, как ИИ придумывает то, что говорит

Anthropic, исследовательская организация в области искусственного интеллекта (ИИ), ответственная за модель большого языка Клода (LLM), недавно опубликовала важное исследование о том, как и почему чат-боты с искусственным интеллектом выбирают генерацию результатов, которые они делают.

В основе исследования команды лежит вопрос о том, полагаются ли LLM-системы, такие как Claude, OpenAI ChatGPT и Google Bard, на «запоминание» для получения выходных данных или существует более глубокая связь между данными обучения, точной настройкой и тем, что в конечном итоге выводится.

https://twitter.com/AnthropicAI/status/1688946699254071296?ref_src=twsrc%5Etfw

Слияние слоев нейронной сети вместе с огромным размером наборов данных означает, что объем этого текущего исследования ограничен предварительно обученными моделями, которые не были точно настроены. Его результаты еще не совсем применимы к Claude 2 или GPT-4, но это исследование, похоже, является ступенькой в ​​этом направлении.

В будущем команда надеется применить эти методы к более сложным моделям и, в конечном итоге, разработать метод для точного определения того, что делает каждый нейрон в нейронной сети, когда модель функционирует.