跳转到主要内容
fp8

共 2 篇相关文章

相关标签： quantization fp4 nvfp4 llm inference

FP4/FP8 量化：低精度推理的存储与计算

ai-systems / llm-inference

quantization fp4 fp8 nvfp4

量化：INT8 / INT4 / FP8 到底在干嘛

ai-systems / llm-inference

LLM Inference Quantization GPTQ +4