量化部署实践目录

1.大模型部署背景

大模型属于访存密集型

推理引擎

3.动手实践环节

服务部署

2.1 模型转换

lmdeploy chat turbomind /share/temp/model_repos/internlm-chat-7b/ --model-name internlm-chat-7b