跳转到主要内容
fp8

共 1 篇相关文章

相关标签： llm inference quantization gptq awq

量化：INT8 / INT4 / FP8 到底在干嘛

ai-systems / llm-inference

LLM Inference Quantization GPTQ +4