llama.cpp 在网络盘上 mmap 失败
llama.cpp 从 NFS、SMB 或 CIFS 挂载的网络盘加载模型时报 mmap failed 错误。定位文件系统 mmap 限制、改用流式加载或本地缓存的修复方案。
#llama-cpp
带有该标签的文章
llama.cpp 换更激进量化后质量明显下降
从 Q8_0 换到 Q4_K_M 或 IQ4_XS 后，模型输出质量骤降、逻辑错误增多。通过基准测评、量化选择与参数补偿策略恢复可用质量。
Chat template 不匹配导致输出全是乱码
本地 LLM 输出大量重复符号、乱码或毫无意义的 token 序列。通常是 chat template 格式与模型不匹配所致，定位模板来源并强制指定正确格式即可修复。
RoPE scaling 设错让长上下文输出乱掉
本地模型处理超过原生上下文长度的输入时输出开始乱码、重复或完全随机。RoPE scaling 参数配置错误是主因，给出正确参数对照和验证方法。
Tokenizer 版本不一致导致 token 计数对不上
本地模型的 token 计数与 API 端不一致，导致截断位置错误或上下文溢出。从 tokenizer 版本管理、GGUF 内嵌 tokenizer 与外部库的差异给出对齐方案。