llama.cpp怎么用？从GGUF模型加载到本地对话与API服务的入门指南

llama.cpp是用于本地推理的程序，GGUF是模型文件格式；安装推理程序并不会自动获得模型。实际能否运行，还取决于模型架构是否受当前版本支持、所用构建是否包含相应计算后端，以及机器可用内存。开始前先查看模型说明和许可证，再根据系统选择合适的发行包或构建方式。

准备程序与模型

可以使用项目提供的发行包，也可以从源码构建。源码构建的一般流程是先安装CMake和编译工具，再在llama.cpp源码目录执行：

cmake -B build
cmake --build build --config Release

具体依赖和后端选项会随操作系统、硬件及项目版本变化；需要使用特定计算后端时，按该版本的构建说明操作。构建完成后，可用llama-cli --help和llama-server --help核对本机实际支持的参数，Windows等系统的可执行文件路径也可能不同。

下载模型时，确认文件是GGUF，并阅读模型页对架构、量化方式、上下文和聊天模板的说明。不要仅凭扩展名判断模型一定可用。不同量化文件通常在文件大小、内存需求和输出质量之间有所取舍；运行时还需要额外空间存放上下文和推理数据，因此应留出余量，而不是只按模型文件大小估算。

用llama-cli进行本地对话

将模型文件放在已知路径后，可先用命令行完成一次简短测试。以下示例中的路径和参数应按本机帮助信息调整：

llama-cli -m ./models/model.gguf -cnv -c 2048

-m指定模型文件，-cnv启用对话模式，-c设置上下文长度。上下文越长，通常需要更多内存；机器资源有限时可从较小值开始。对话模式会使用模型元数据中的聊天模板（如果有），模板决定系统、用户和助手消息如何组织。若模型说明要求特定模板，或元数据缺失、格式不匹配，应按对应版本的参数帮助和模型文档核对，避免把普通文本提示方式误当成正确的对话格式。

首次测试可输入一条短中文指令，例如“把这段文字整理成三条要点：……”。观察生成内容是否完整、是否遵循格式要求，同时留意终端日志中的加载错误、内存不足或模板提示。不要只凭一次回答判断模型效果。

用llama-server提供本地接口

确认命令行能够加载模型后，再启动服务：

llama-server -m ./models/model.gguf --host 127.0.0.1 --port 8080 -c 2048

这里将服务绑定到本机地址，并使用8080端口；端口已被占用时可更换。保持启动窗口运行，在同一台机器上向兼容聊天接口发送请求：

curl http://127.0.0.1:8080/v1/chat/completions -H 'Content-Type: application/json' -d '{"messages":[{"role":"user","content":"请把这段中文整理成三条要点。"}],"max_tokens":256}'

接口的可用参数以当前llama-server帮助信息为准。若要让局域网或互联网中的其他设备访问，不要直接把服务暴露到不可信网络；应先了解网络绑定、防火墙及访问控制设置。

做一次可复现的检查

比较同一模型的两种量化文件时，固定提示词、上下文设置和生成长度，分别记录文件大小、运行期间的内存占用、回答是否符合要求及终端日志。这样可以观察本机上的实际差异，但不能据此推断其他硬件上的速度或质量。出现异常时，先核对模型架构支持、文件路径、可用内存和聊天模板，再参照当前版本的帮助信息调整参数。