К нам обратился пользователь — и мы доработали управление контекстом в чате

К нам обратился пользователь с жалобой на непонятную работу истории чата, мы сделали контролируемой и более понятной. Теперь можно понимать, сколько контекста уже занято, сколько это стоит, и не терять смысл переписки, когда окно модели подходит к концу.

Сверху в диалоге появилась полоска использования контекста: сколько токенов занято из лимита модели, процент заполнения и стоимость переписки в BYN. Отдельно видно накопленный вход и выход за весь чат. На телефоне статистика сначала компактная — детали открываются по нажатию. Когда контекст подходит к порогу, полоска меняет цвет, чтобы это было заметно сразу.

Если окно заполняется до выбранного порога, история автоматически сжимается: старые сообщения превращаются в краткое содержание, а в чате остаются summary и несколько последних реплик. Так можно продолжать разговор без ощущения, что всё «обнулилось». Сжатый фрагмент в ленте помечен отдельно — его не спутаешь с обычным ответом ассистента.

Порог суммаризации можно настроить в параметрах чата. Есть готовые варианты: «Эконом 50%», «Обычный 80%» и «Долгий 90%» — чем ниже порог, тем чаще история будет сжиматься. При желании контекст можно сжать вручную кнопкой «Сжать сейчас». Перед сжатием и после него сервис показывает понятные уведомления.

Ещё один важный момент — смена модели. Если новая модель меньше по окну, а история уже не влезает, мы не молча обрежем переписку: покажем предупреждение и предложим сжать контекст. Можно согласиться или отменить и вернуться к прежней модели.

Заходите в чат и пробуйте на длинных диалогах — особенно удобно, когда разговор тянется и приходится переключаться между моделями