nano-silu

nano-vllm/nanovllm/layers/activation.py · bb823b3 · L6–11 · 固定 commit 上游

这是固定版本源码的只读摘录；可在线阅读，也可通过上游链接查看原文件。

6class SiluAndMul(nn.Module):
7
8    @torch.compile
9    def forward(self, x: torch.Tensor) -> torch.Tensor:
10        x, y = x.chunk(2, -1)
11        return F.silu(x) * y