跳转至

AI

WSL环境下,编译llama.cpp+CUDA,在老Nvidia显卡下实现CUDA加速

硬件环境

  • 硬件情况
硬件类型 说明
CPU Intel Core i5-8300H @ 2.30G Hz
GPU Nvidia Quadro P600, 4G显存
内存 16G
  • Host系统:Windows 10 22H2 专业版
  • WSL系统:CentOS 10 Stream x86_64
  • CUDA版本:12.4

软件环境

  • WSL中,运行nvidia-smi必须能正常显示出显卡信息
  • 由于CentOS 10自带的是gcc 14,而CUDA 12.4最高仅支持到gcc 13,因此我从官方网下载载了13.5.0版本的gcc源码手动编译安装到/usr/local/gcc-13,并将/bin/gcc和/bin/g++替换为/usr/local/gcc-13/bin下的软链接,否则cuda 12无法正常安装
  • cuda 12.4下载下来是单个很大的run文件,直接运行时,在解压/环境检测的过程中遇到问题导致卡住,实际使用./cuda_12.4.1_550.54.15_linux.run --tar mxvf手动解压缩到一个目录后,运行里面的cuda-installer进行安装

编译过程

  • 解压好源码后,先不着急编译,先从https://github.com/ggml-org/llama.cpp/releases下载官方预先生成的UI文件,解压到源码目录下的tools/ui内,并重命名为dist,否则编译时,由于无法直接从hf下载UI文件会导致无WEB UI
  • 编译Rlease版本文件命令如下:
cmake -B build -DGGML_CUDA=ON -DCMAKE_INSTALL_PREFIX=/usr/local/llama.cpp -DCMAKE_BUILD_TYPE=Release
  • 经过漫长的等待后,安装好编译后的文件:
sudo cmake --install build

运行&验证

  • 由于llama.cpp的二进制文件依赖自己的lib,因此需要将安装路径下的lib64目录加入至LD_LIBRARY_PATH(或运行时设置也可以):
export LD_LIBRARY_PATH=/usr/local/llama.cpp/lib64
  • 运行以下命令验证是否取到了可用的CUDA役备:
LD_LIBRARY_PATH=/usr/local/llama.cpp/lib64 /usr/local/llama.cpp/bin/llama-server --list-devices

这里输出,表示取到了可用于CUDA运行的设备:

Available devices:
  CUDA0: Quadro P600 (4095 MiB, 3374 MiB free)
  • 实际运行时,推荐用models-dir的方式运行,并针对模型提供量化参数(不同类型模型不一样,我这里用的QWen系):
LD_LIBRARY_PATH=/usr/local/llama.cpp/lib64 /usr/local/llama.cpp/bin/llama-server --models-dir /home/llama/models --host 0.0.0.0 --port 11434 --no-models-autoload -ngl 999 --jinja --api-key 12345678 --ctx-size 32768 -ctk q8_0 -ctv q8_0 --tools all

Tips

关于Vulkan

  • 官方编译的版本就能很好的支持Vulkan设备,如果需要自己编译,需安装好对应的依赖:
sudo dnf install git cmake gcc-c++ vulkan-devel glslc glslang
  • 安装好后,运行以下命令确认vulkan环境是否达到llama.cpp要求(apiVersion需要大于等于1.2):
vulkaninfo|grep apiVersion
  • 编译时,用GGML_VULKAN=ON开启vulkan:
cmake -B build -DGGML_VULKAN=ON -DCMAKE_INSTALL_PREFIX=/usr/local/llama.cpp

内置工具

可以使用--tools all启用内部工具,在自带的WEB UI中进行文件读写等功能

模型目录

使用--no-models-autoload参数时,是不会自动载入model的,需要手动调一下接口(WEB UI也能操作),写了个小脚本(BAT)

set "model_name=qwen2.5-coder-1.5b-instruct-q4_k_m"
if not "%~1"=="" set model_name=%~1"

curl -X POST http://127.0.0.1:11434/models/load -H "Content-Type: application/json" -H "Authorization: Bearer 12345678" -d "{\"model\": \"%model_name%\"}"

设置共享链接库路径,简化启动命令

将/usr/local/llama.cpp/lib64加入至ldconfig中,以后就不用每次指定LD_LIBRARY_PATH了

# 创建配置文件并写入路径
echo "/usr/local/llama.cpp/lib64“ | sudo tee /etc/ld.so.conf.d/llama.cpp.conf
# 更新动态链接库缓存
sudo ldconfig

个人使用的PI Agent Extensions整理

安装&管理方式

安装插件

pi install 在PI官网上找到的名称

查看已经安装了什么插件

pi list

本地跑模型相关

  • npm:pi-llama-cpp,设置LLAMA_SERVER_URL即可食用,如使用了api-key,输入/login登陆即可
  • npm:pi-llama-cpp-stats,用进度条的方式显示llama.cpp返回的进度,比较好看

Tools相关

  • npm:pi-json-tools,必须安装的一项,否则模型返回的JSON不认,会导致Tools导用失败

Vibe Coding

  • npm:pi-lens,重要,LSP诊断,自动修复文件,注入相关消息至上下文
  • npm:pi-web-access,如字面意思,接入MCP服务器,搜索网络上的信息等,部分服务需配置key
  • npm:pi-cc-compaction,在 Pi 里复刻 Claude Code 的上下文压缩:摘要请求复用提示缓存,阈值和提示词与 Claude Code 一致,空闲时趁缓存未过期先压缩
  • npm:pi-cache-optimizer,省钱用,用于提升 Pi 中 provider 侧 KV Cache / Prompt Cache 命中率的扩展

杂项

  • npm:@misterzhou/pi-status-line,状态栏中统计显示Token使用情况