博客日历
| 2026年10月 | ||||||
| 一 | 二 | 三 | 四 | 五 | 六 | 七 |
| 28 | 29 | 30 | 1 | 2 | 3 | 4 |
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 | 1 |
存档
2026年10月 2025年
03月 11月 2024年
03月 04月 05月 2021年
01月 02月 11月 12月 2020年
02月 03月 04月 05月 06月 07月
09月 2018年
09月 2017年
01月 02月 07月 2016年
01月 04月 07月 08月 11月 12月
2015年
01月 02月 03月 05月 09月 10月
11月 2014年
01月 02月 03月 04月 05月 06月
07月 08月 09月 10月 11月 12月
2013年
01月 02月 03月 04月 05月 06月
07月 08月 09月 10月 11月 12月
2012年
01月 02月 03月 04月 05月 06月
07月 08月 09月 10月 11月 12月
2011年
01月 02月 03月 04月 05月 06月
07月 08月 09月 10月 11月 12月
2010年
01月 02月 03月 04月 05月 06月
07月 08月 09月 10月 11月 12月
2009年
03月 04月 05月 06月 07月 08月
09月 10月 11月 12月
在4090D上运行GLM-4.7-Flash-UD-Q4_K_XL
1）安装llama.cpp
https://github.com/ai-dock/llama.cpp-cuda/releases
2) 下载模型文件
https://www.modelscope.cn/models/unsloth/GLM-4.7-Flash-GGUF/files
3）在WSL2中启动模型
export LD_LIBRARY_PATH=/mnt/d/GLM-4.7-Flash-GGUF/llama-cuda-12.8:$LD_LIBRARY_PATH export PATH=/mnt/d/GLM-4.7-Flash-GGUF/llama-cuda-12.8:$PATH llama-server -m GLM-4.7-Flash-UD-Q4_K_XL.gguf \ --host 0.0.0.0 --port 9091 \ --n-gpu-layers 99 \ --log-timestamps \ --alias gpt-4 \ #伪装成gpt-4 --reasoning off \ --log-prompts-dir /mnt/d/GLM-4.7-Flash-GGUF/logs
4）测试llama服务器运行情况
http://127.0.0.1:9091/v1/models
5）用kvprof记录Trae/DeepSeek Harness/OpenCode/WorkBuddy等Agent的提示词
set PATH=D:\Program Files\Python311;D:\Program Files\Python311\Scripts;%PATH% set KVPROF_LISTEN=127.0.0.1:9091 set KVPROF_TRACE_DIR=D:\Work\trae1\log3 kvprof start --upstream
多次对比验证后，4090D上使用 llama+GLM-4.7-Flash-UD-Q4_K_XL 是更合适的选择（2026年10月）。
上一篇： Ubuntu 安装 bind DNS 服务器与基本配置
分类：杂谈随感 查看次数：62 发布时间：2026/10/27 22:52:20