deepinfer-cache-counter

deepinfer/csrc/engine/sequence.hpp · a679bb8 · L210–221 · 固定 commit 上游

这是固定版本源码的只读摘录；可在线阅读，也可通过上游链接查看原文件。

210    /// 外部注入命中数时同步建立增量基线。
211    void set_num_tokens(int value) {
212        num_tokens = value;
213        previous_num_tokens = value;
214    }
215
216    void advance_optimistically(int token_count) {
217        previous_num_tokens = num_tokens;
218        num_tokens += token_count;
219    }
220
221    void commit_processed_tokens(int token_count) { num_tokens = previous_num_tokens + token_count; }