Антон Белявский - Проблема фрагментарной когерентности в генеративных языковых моделях при обработке протяженных контекстов: архитектурные и методологические решения

В докладе рассматривается проблема фрагментарной когерентности (FCP) в больших языковых моделях (LLM), таких как DeepSeek, при работе с объемными документами. FCP проявляется в том, что модель генерирует разрозненные фрагменты, вместо того чтобы целостно переработать текст, что заставляет пользователя заниматься их интеграцией. Анализируются основные причины: архитектурные ограничения механизма внимания, акцент на локальном контексте и неподходящие методики обучения для сложного редактирования. Предлагается многоуровневое решение, которое включает архитектурные инновации (иерархическое внимание, динамическая память), подходы к работе (стратегическое чанкирование, мастер-промпты) и новые методы обучения (RL для глобальной когерентности). Доклад завершается протоколом для эмпирической валидации предложенных методов.