跳转到主要内容
quantization

共 1 篇相关文章

相关标签： llm inference gptq awq int4

量化：INT8 / INT4 / FP8 到底在干嘛

ai-systems / llm-inference

LLM Inference Quantization GPTQ +4