多模态大模型入门:举一个例子说明SW-MSA
例子:8x8 特征图上的 SW-MSA 假设我们有一个 8×8 的特征图,并且每个窗口的大小为 4×4(即 M=4)。我们将分两步来展示 W-MSA 和 SW-MSA 的工作原理。第一步:W-MSA1、常规窗口划分 将 8×8 的特征图划分为4个不重叠的 4×4 窗口。 假设这四个窗口分别为 W…
English triage
Chinese technical note: multimodalLLMs入门:举一个例子说明SW-MSA
xhchen published a Zhihu article relevant to frontier and open model development. The original Chinese excerpt is included below so the feed can preserve the raw source while giving English readers enough context to triage the item.