跳转到主要内容
speculative decoding

共 1 篇相关文章

相关标签： llm inference eagle medusa draft model

投机解码：突破 decode 一次只出一个 token 的限制

ai-systems / llm-inference

LLM Inference Speculative Decoding EAGLE +2