跳转到主要内容
awq

共 1 篇相关文章

相关标签： llm inference quantization gptq int4

量化：INT8 / INT4 / FP8 到底在干嘛

ai-systems / llm-inference

LLM Inference Quantization GPTQ +4