1.启动服务端

lmdeploy serve api_server ./workspace \

--server_name 0.0.0.0 \ --server_port 23333 \ --instance_num 64 \ --tp 1

gradio版本3.47.1

1. 启动gradio前端

lmdeploy serve gradio <http://0.0.0.0:23333> \\
	--server_name 0.0.0.0 \\
	--server_port 6006 \\
	--restful_api True

端口映射

3.ssh -CNg -L 6006:127.0.0.1:6006 [email protected] -p 34368