跳转到主要内容
eagle

共 1 篇相关文章

相关标签： llm inference speculative decoding medusa draft model

投机解码：突破 decode 一次只出一个 token 的限制

ai-systems / llm-inference

LLM Inference Speculative Decoding EAGLE +2