OrangePi AI Studio 运行 Deepseek-R1 蒸馏模型，厉害了！

2025 年蛇年春节，DeepSeek 强势出圈，以十分之一的训练成本比肩 OpenAI GPT-4o 的性能，重塑 AI 世界新秩序。DeepSeek 向全世界开源，为全球的数据科学家、AI 爱好者乃至中小开发者开辟了一条通往前沿技术的道路。

DeepSeek 是一款集成多种 AI 技术的开发平台，旨在为用户提供高效、便捷的 AI 模型训练、部署和应用服务。它支持自然语言处理（NLP）、计算机视觉（CV）、语音识别等多个领域的任务，还提供丰富的预训练模型和工具，帮助用户快速构建和优化 AI 应用。

DeepSeek 点燃了 AI 应用。今天，我们就给大家分享如何利用手中的设备运行 Deepseek。我们所采用的设备是 OrangePi AI Studio。

OrangePi AI Studio：高算力人工智能算力卡

OrangePi AI Studio 采用昇腾 AI 技术路线，融合“ARM core，AI core，Vector core，Image core”于一体，提供“基础通用算力 + 超强 AI 算力 + 编解码核心”，充分满足推训一体 AI 任务需求，拥有 48GB /96GB LPDDR4X，速率高达 4266Mbps。

OrangePi AI Studio 汇聚了 Type-C (USB4.0)、电源接口、电源按键、LED 指示灯等，可广泛应用于 OCR 识别、目标识别、人脸识别、搜索推荐、大模型多模态、内容审核、VR 智能、数字医疗、物联网等诸多 AI 应用场景。

OrangePi AI Studio 当前支持 Ubuntu22.04.5、内核 linux5.15.0.126，即将支持 Windows，满足市场对于算力的强烈需求，降低用户的学习成本、开发成本和运营成本。

实操指南：OrangePi AI Studio 运行 Deepseek

1.1.1. 硬件连接使用 USB4 数据线连接 opi ai studio 和 Ubuntu PC。开启 Ubuntu PC，参考用户手册中驱动安装步骤安装驱动。

正确连接 opi ai studio 和 pc 后，在 pc 开机状态下，左右两侧指示灯常亮，中间指示灯闪烁。

1.1.2. 下载 docker 镜像

1) 首先在 Ubuntu 电脑中安装下 docker 软件，安装完 docker 后如果使用 docker -v 命令能看到版本号说明安装成功。

2) 打开下面的链接，再点击 ATB-Models 下载选项：

https://www.hiascend.com/developer/download/community/result?module=ie%2Bpt%2Bcann

3) 然后点击镜像版本中的 1.0.0-300I-Duo-py311-openeuler24.03-lts 对应的下载选项。

4) 点击 1.0.0-300I-Duo-py311-openeuler24.03-lts 右侧的立即下载后会显示下面的安装步骤：

a) 使用 root 用户运行下面的命令获取登录访问权限，然后输入密码登录。不同账号看到的下载地址是不一样的，按照实际获取的信息填写。

b) 然后下载镜像即可。

# docker pull swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts

c) 下载好的镜像如下所示：

1.1.3. 使用 docker 镜像的方法 1) 在任意位置创建一个名为 start-docker.sh 的启动脚本，内容如下所示：

2) 然后查看下 docker 镜像的 IMAGE ID。

3) 然后依次执行如下命令启动并进入容器：

a. 首先运行 start-docker.sh 脚本创建运行容器，此命令只需执行一次。74a5b9615370 是我们上一步中查询到的 docker 镜像 ID，mindIE 是我们自定义的容器名，可以自行更改，之后进入 docker 容器的时候需要使用这个名字。

b. 然后运行下面的命令进入容器命令行。

# docker exec -it deepseek bash

1.1.4. DeepSeek-R1-Distill-Qwen-14B1) 依次执行下面的命令，下载 DeepSeek-R1-Distill-Qwen-14B 模型权重，将其放到 / models 目录下。如无法下载可参考国内模型网站使用方法一小节的方法通过国内模型网站下载。

2) 如果是 32GB 或 32GB 以下内存的电脑，需要加大内存交换分区的大小，不然转换权重和执行推理程序时会由于内存不够而退出。这一步请在物理机上执行，不支持在 docker 容器内执行。

3) 使用 chown 命令将/models/DeepSeek-R1-Distill-Qwen-14B 目录及其所有文件的所有者和组更改为 root 用户和 root 组。

# chown root:root -R /models/DeepSeek-R1-Distill-Qwen-14B

4) 推理 DeepSeek-R1-Distill-Qwen-14B 模型的命令如下所示：

5) 推理成功后，在输出的最后，可以找到 Question 和 Answer，结果如下所示：

6) 纯模型能够正常推理后，我们修改 mindie server 配置。

7) 我们需要先修改模型目录下的 config.json 文件的权限为 640，否则无法启动 server 服务。

# chmod 640 /models/DeepSeek-R1-Distill-Qwen-14B/config.json

8) 执行以下命令启动 MindIE Server 服务，如果最后有如下的输出，表示启动成功。

9) 接着拉取聊天机器人案例代码。

# git clone https://gitee.com/toolsmanhehe/chat_robot.git

10) 安装依赖。

11) 启动聊天机器人 demo 程序。启动后，会打印如下信息，复制其中的 url 到浏览器打开。

a) 首先程序会自动查询当前设备上 MindIE 中运行的模型信息，并打印出来。

b) 如果提示暂不支持，请核对 MindIE Server 中的“modelName”字段。

c) 然后等一会就会打印两个 ip 地址。第一个 url 只能在启动主程序的电脑上访问，第二个 url 可以通过和启动主程序的电脑同一网络下的设备访问。

12) 浏览器打开上面的链接后我们可以看到下面这个页面，左侧提供了一些问题，点击可以直接提问。

1.1.5. DeepSeek-R1-Distill-Qwen-1.5B13) 依次执行下面的命令，下载 DeepSeek-R1-Distill-Qwen-14B 模型权重，将其放到 / models 目录下。如无法下载可参考国内模型网站使用方法一小节的方法通过国内模型网站下载。

14) 如果是 32GB 或 32GB 以下内存的电脑，需要加大内存交换分区的大小，不然转换权重和执行推理程序时会由于内存不够而退出。这一步请在物理机上执行，不支持在 docker 容器内执行。

15) 使用 chown 命令将/models/DeepSeek-R1-Distill-Qwen-1.5B 目录及其所有文件的所有者和组更改为 root 用户和 root 组。

# chown root:root -R /models/DeepSeek-R1-Distill-Qwen-1.5B

16) 推理 DeepSeek-R1-Distill-Qwen-14B 模型的命令如下所示：

17) 推理成功后，在输出的最后，可以找到 Question 和 Answer，结果如下所示：

18) 纯模型能够正常推理后，我们修改 mindie server 配置。

19) 我们需要先修改模型目录下的 config.json 文件的权限为 640，否则无法启动 server 服务。

# chmod 640 /models/DeepSeek-R1-Distill-Qwen-1.5B/config.json

20) 执行以下命令启动 MindIE Server 服务，如果最后有如下的输出，表示启动成功。

21) 接着拉取聊天机器人案例代码。

# git clone https://gitee.com/toolsmanhehe/chat_robot.git

22) 安装依赖。

23) 启动聊天机器人 demo 程序。启动后，会打印如下信息，复制其中的 url 到浏览器打开。

a) 首先程序会自动查询当前设备上 MindIE 中运行的模型信息，并打印出来。

b) 如果提示暂不支持，请核对 MindIE Server 中的“modelName”字段。

c) 然后等一会就会打印两个 ip 地址。第一个 url 只能在启动主程序的电脑上访问，第二个 url 可以通过和启动主程序的电脑同一网络下的设备访问。

24) 浏览器打开上面的链接后我们可以看到下面这个页面，左侧提供了一些问题，点击可以直接提问。

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。