AI AI 工具指南
首页 AI 工具教程 AI 场景化应用 AI 提示词库 关于
🌐 English
首页 / #llama-cpp

#llama-cpp

带有该标签的文章

常见问题解决库

llama.cpp 在网络盘上 mmap 失败

llama.cpp 从 NFS、SMB 或 CIFS 网络盘加载 GGUF 模型时崩溃或卡顿。最快修复:加 --no-mmap(DirectIO 开着时再加 --no-direct-io),或把模型拷到本地盘。

2026/05/25 #local-llm #llama-cpp
常见问题解决库

llama.cpp 换更激进量化后质量明显下降

从 Q5_K_M 或 Q8_0 换到 Q4_0、IQ4_XS 或更低量化后输出变差:选对量化档位、修复劣质重量化文件,并用 perplexity 验证。

2026/05/25 #local-llm #llama-cpp
常见问题解决库

Chat-Template 不匹配导致本地 LLM 输出乱码

本地 LLM 把你的问题原样吐回、在回复里夹着 [INST] 或 <|im_start|> 标签、或者一句话重复个没完,这都是 chat-template 不匹配。教你找到模型真正的模板,并强制引擎使用它。

2026/05/25 #local-llm #llama-cpp
常见问题解决库

RoPE scaling 设错让长上下文输出乱掉

本地模型在原生上下文长度内正常,超过后就开始重复、乱码。手把手诊断并修复 llama.cpp 和 vLLM 的 RoPE scaling(YaRN、llama3、rope_theta)配置。

2026/05/25 #local-llm #llama-cpp
常见问题解决库

Tokenizer 漂移:本地模型 token 计数对不上

应用层的 token 计数与本地 llama.cpp 或 Ollama 服务对不上,导致上下文溢出或静默截断。用服务端自带的 tokenizer 作为基准来消除漂移。

2026/05/25 #local-llm #llama-cpp
AI AI 工具指南

专注 AI 工具与数字效率的中文 / 英文双语内容站。

导航

  • AI 工具教程
  • AI 场景化应用
  • AI 提示词库
  • 独立开发 / 建站指南
  • 常见问题解决库
  • 官方资源与文档

法律

  • 关于本站
  • 联系我们
  • 隐私政策
  • 服务条款
  • 免责声明
  • 编辑政策与 AI 声明
  • 联盟链接披露
  • RSS 订阅
© 2026 AI 工具指南. 保留所有权利。