Не работает потоковый вывод

[MrBoriska]

Пытаюсь использовать вот так:

from langchain_core.prompts.loading import load_prompt
from langchain_core.output_parsers import StrOutputParser
from langchain_community.chat_models import GigaChat
from pathlib import Path
import os

ROOT = Path(__file__).parent

llm = GigaChat(
        verify_ssl_certs=False,
        # TODO: set by environ "GIGACHAT_CREDENTIALS"
        # credentials="",
        scope="GIGACHAT_API_CORP",
        model="GigaChat-Pro",
        temperature=0.01,
        streaming=True,
    )

rag_chain_prompt = load_prompt((ROOT / "agents/rag_chain.yaml").absolute())
rag_chain = rag_chain_prompt | llm | StrOutputParser()

Далее вот такой вызов должен возвращать генератор. Он его возвращает, но вываливает все токены разом, а не по мере генерации. Использование ChatOllama или ChatOpenAI классов для обьекта llm работает как задумано и возвращают токены по мере генерации.

generation = rag_chain.stream({"context": documents, "question": question})