deepinfer-swa-config

deepinfer/deepinfer/environ.py · a679bb8 · L194–204 · 固定 commit 上游

这是固定版本源码的只读摘录；可在线阅读，也可通过上游链接查看原文件。

194    # -- YoCo --
195    DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE = EnvVar.choice(default="off", choices=("off", "mask", "compact"))
196    """YoCo consumer prefill 截断模式：off 表示关闭；mask 保留全部 query，仅收窄 SWA
197    可见域；compact 真正移除截断区 query，以减少 consumer 层计算。"""
198    DEEPINFER_YOCO_PREFILL_KEEP_TOKENS = EnvVar.int()
199    """YoCo consumer prefill 截断开启时保留的末尾 query token 数。mask 与 compact 的
200    SWA 可见域均为原始滑窗和末尾 KEEP_TOKENS 矩形的交集。必须满足 KEEP_TOKENS >=
201    window_size + DEEPINFER_MAX_BACKTRACKING_TOKENS；默认 0，启用截断时必须显式设置。"""
202
203    # -- Profiling & Debug --
204    DEEPINFER_BATCH_INVARIANT = EnvVar.bool()