Антон Белявский - Проблема фрагментарной когерентности в генеративных языковых моделях при обработке протяженных контекстов: архитектурные и методологические решения

В докладе рассматривается проблема фрагментарной когерентности (FCP) в больших языковых моделях (LLM), таких как DeepSeek, при работе с объёмными документами. FCP проявляется в том, что модель, вместо того чтобы целостно перерабатывать текст, генерирует разрозненные фрагменты, возлагая задачу их интеграции на пользователя. Анализируются основные причины: архитектурные ограничения механизма внимания, акцент на локальном контексте и неадаптированность обучения для сложного редактирования. Предлагается многоуровневое решение, которое включает архитектурные новшества (иерархическое внимание, динамическая память), методологии работы (стратегическое чанкирование, мастер-промпты) и новые подходы к обучению (RL для глобальной когерентности). Доклад завершается протоколом для эмпирической проверки методов.