投机采样方案里，EAGLE-3是如何做到一块显卡同时部署目标模型和草稿模型的？
笔者最近发现，有些投机采样方案，能够做到target model和draft model放在同一张显卡里去部署。觉得非常不可思议，于是来看了下这块内容。 一块显卡同时部署俩模型的第一个工作我实在找不到。但发现EAGLE-3是目前比较流行，甚至可以说是工业应用级别最流行…
English triage
Chinese technical note: 投机采样方案里，EAGLE-3是如何做到一块显卡同时deployment目标模型和草稿模型的？
兽族机枪兵 published a Zhihu article relevant to inference and AI systems. The original Chinese excerpt is included below so the feed can preserve the raw source while giving English readers enough context to triage the item.