Ollama 大语言模型工具详细安装教程 – 本地/显卡云 Windows 部署 DeepSeek

Ollama 是一个支持在 Windows / Linux / MacOS 上运行的人工智能大语言模型工具。通过 Ollama,可以实现本地运行 DeepSeek、Qwen 等主流开源大模型,或在现有显卡云服务器上运行这些大模型,实现安全可控、自主调用的人工智能生成服务。

在本安装教程中,将指导您在指定目录安装 Ollama 并运行 DeepSeek-R1。

下载文件

请前往 Ollama 官网(https://ollama.com/download/windows)的下载页面,手动下载 Windows 版本的安装包。您也可以单击此处使用 Github 发行版链接下载(https://github.com/ollama/ollama/releases/latest/download/OllamaSetup.exe)

请留意 Github 需要魔法上网。

安装程序

下载文件“OllamaSetup.exe”后,在安装文件所在文件夹空白处,按住 Shift + 鼠标右键,单击“在此处打开 Powershell 窗口”。

在 Powershell 窗口输入以下命令,可将 Ollama 安装到 D:\Program Files\Ollama

.\OllamaSetup.exe /DIR="D:\Program Files\Ollama"

请根据实际需要,修改上方的安装位置。回车运行后,在弹出窗口点击“Install”直到文件安装成功。

修改模型存储位置

请打开 Windows 开始菜单,搜索“环境变量”。单击“编辑系统环境变量”,打开环境变量设置窗口。

在“用户变量”中选择“新建”,变量名设置为 OLLAMA_MODELS,变量值设置为模型存储位置,例如 D:\Program Files\Ollama\models

将两个窗口单击“确定”按钮关闭后,修改存储位置完成。

安装 DeepSeek-R1:14B

您可以在 Ollama 官网寻找需要的大模型(https://ollama.com/search)。在本教程,我们帮助您选用 DeepSeek-R1:14B。

您可以在 Ollama 库中找到 DeepSeek 资源(https://ollama.com/library/deepseek-r1)。在这个页面中,列出了 1.5B 7B 8B 14B 32B 等多个版本。

按下 Win + R 唤起运行,运行 Powershell

在命令行输入:

ollama run deepseek-r1:14b

会出现下载信息。等待下载完成后即可开始对话。

之后再需使用此模型,只需要唤起 Powershell 后运行上面这行命令即可。

对话完成后,输入指令 /bye 即可结束对话。

附注:关闭开机自启动

打开您的资源管理器,在地址栏输入以下位置:

%APPDATA%\Microsoft\Windows\Start Menu\Programs\Startup

回车可进入开机自启动程序目录,删除其中的 Ollama 快捷方式即可。

附注:查看、删除已下载的模型

输入以下命令可以列出已下载的模型:

ollama list

输入以下命令删除指定模型:

ollama rm 模型名称

#例如:
ollama rm deepseek-r1:14b

研讨:什么配置可以运行 DeepSeek

版本要求
DeepSeek-R1-1.5bNVIDIA RTX 3060 12GB or higher
DeepSeek-R1-7bNVIDIA RTX 3060 12GB or higher
DeepSeek-R1-8bNVIDIA RTX 3060 12GB or higher
DeepSeek-R1-14bNVIDIA RTX 3060 12GB or higher
DeepSeek-R1-32bNVIDIA RTX 4090 24GB
DeepSeek-R1-70bNVIDIA RTX 4090 24GB *2
DeepSeek-R1-671bNVIDIA A100 80GB *16

核芯显卡并非不能运行。16GB 运存+11代酷睿锐炬 Xe 核显最高可以运行 14b 模型,更大模型会报错无法分配 CPU 和内存资源。约 3 tokens 每秒。

在物理机测试中,32GB 运存+ 8GB 4060 独立显卡可以约 8 tokens 每秒运行 32b。

仅供参考。

5 1 投票
文章评分
0 评论
内联反馈
查看所有评论
0
本文贡献者正期待您发表意见x
滚动至顶部