利用Jan大模型客户端进行本地Llama3-8b-Chinese-chat大模型推理的部署于设置

2024年04月27日

dcpromo

826

0 评论

AI

暂无标签

Jan客户端

官方网站：

Llama3-8b-Chinese-chat大模型下载，GGUF格式

Q4模型下载链接

https://huggingface.co/QuantFactory/Llama3-8B-Chinese-Chat-GGUF/resolve/main/Llama3-8B-Chinese-Chat.Q4_K_M.gguf?download=true

Q6模型下载链接

https://huggingface.co/QuantFactory/Llama3-8B-Chinese-Chat-GGUF/resolve/main/Llama3-8B-Chinese-Chat.Q6_K.gguf?download=true

模型页面

https://huggingface.co/QuantFactory/Llama3-8B-Chinese-Chat-GGUF/tree/main

最后编辑：2024年04月27日 ©著作权归作者所有

发表评论