本地部署DeepSeek-V3等AI大模型

最近国产AI大模型DeepSeek十分火热这也是非常值得庆祝的中国终于也是有了独立自研低使用成本综合能力极强的通用大模型本次博客也是做一次大语言模型本地化部署的记录参考此博客可以快速的进行大语言模型本地化部署。

部署手册

# Centos7 系统初始化
docker pull centos:7.9.2009
docker network create deepseek_network
docker run --network deepseek_network -d -it -p 8080:8080 -p 80:80 -p 443:443 -p 11434:11434 --privileged=true --name deepseek-server centos:7.9.2009 /usr/sbin/init

# DeepSeek 服务端部署
curl -fsSL https://ollama.com/install.sh | sh
vi /etc/systemd/system/ollama.service
# =>[Service]部分Environment之后增加"OLLAMA_HOST=0.0.0.0"
systemctl daemon-reload
systemctl restart ollama

# 运行 Deepseek-R1【推理模型 1.1GB】
ollama run deepseek-r1:1.5b

# 运行 Deepseek-V3【通用大模型 404GB】
ollama run deepseek-v3

# DeepSeek WebUI可视化部署【192.168.1.1需替换为本机IP】
docker run --network deepseek_network -d -p 3000:8080 -e OLLAMA_BASE_URL=http://192.168.1.1:11434 -v open-webui:/app/backend/data --name deepseek-webui --restart always ghcr.io/open-webui/open-webui:main

开箱即用

# 李想已封装好的，开箱即用的DeepSeek-Server【已内置R1模型】
docker network create deepseek_network
docker run --network deepseek_network -d -it -p 8080:8080 -p 80:80 -p 443:443 -p 11434:11434 --privileged=true --name deepseek-server1 caoofduty/deepseek-server:dev /usr/sbin/init

# DeepSeek WebUI可视化部署【192.168.1.1需替换为本机IP】
docker run --network deepseek_network -d -p 3000:8080 -e OLLAMA_BASE_URL=http://192.168.159.1:11434 -v open-webui:/app/backend/data --name deepseek-webui1 --restart always ghcr.io/open-webui/open-webui:main

# 尽情使用吧~ http://127.0.0.1:3000

本地部署优缺点

优势:
1.数据隐私与安全🔒【信息安全任重而道远】
2.高可用-离线可用无延迟🌐【无论爆发战争或其他，只要有计算机和电力，就可使用】
3.可定制化-适配不同业务场景🛠️【适用于企业用户】
不足:
对物理机性能要求极高，个人电脑一般不推荐。否则对话会像和一位老者说话。你提出问题，他是可以很好的回答，但是他需要思考很久。个人电脑性能不够，还会有一定概率卡死机。

思考

1.肉眼可见的，近几年人工智能的应用会井喷式发展，无论是线上线下，影响是深远的。
2.记得很早前看过一个视频，一位爷爷给孙子花1500元买个“智能学习机器人-二蛋”，没想到却是个‘傻蛋’😂。连1+1=？都不知道，当时笑的不行了，印象深刻。【捞到了视频:https://www.douyin.com/video/7355806717126397221 】
后面可以预见，类似的学习机，将会以极低的价格极强的能力走遍千家万户。人类文明的AI时代已来临。
3.看到杭州从电商之城=>AI之都在创新中蜕变。虽然有舆论的推动，但“杭州六小龙”确实值得称赞，给中国和世界带来一定的正向价值。
4.在计算机硬件迭代，算力的提升。或许10-20年后，便携的’虚拟人’,’伪数字生命’，也将到来，能给很多人提供陪伴价值。

最后

本次主要使用Ollama大模型服务工具，不仅仅适用于DeepSeek，还可以使用其他大模型【Llama,DeepSeek,Phi-4,Mistral,Gemma等】。
官网:https://ollama.com
模型:https://ollama.com/search

使用效果