deepinfer-accept-rates

deepinfer/csrc/engine/scheduler.hpp · a679bb8 · L1239–1250 · 固定 commit 上游

这是固定版本源码的只读摘录；可在线阅读，也可通过上游链接查看原文件。

1239            mtp.prev_accept_rates = std::move(mtp.accept_rates);
1240            mtp.accept_rates.clear();
1241            mtp.prev_confidence_raw = std::move(mtp.confidence_raw);
1242            if (has_confidence) {
1243                float accept_rate = 1.0f;
1244                /// @note build output 会读取更新前的 confidence_raw（即上面移入 prev_confidence_raw 的值），
1245                /// 因此 processMTP 必须在 build output 之前调用
1246                for (int j = 0; j < nextn; j++) {
1247                    accept_rate *= confidence_data[i][j];
1248                    /// @note modeling返回的confidence rate是每个token独立的， 使用前要做一个累乘
1249                    mtp.accept_rates.push_back(accept_rate);
1250                    mtp.confidence_raw.push_back(confidence_data[i][j]);