工具调用实战用LFM2.5-350M-8bit构建AI智能体的完整指南【免费下载链接】LFM2.5-350M-8bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/LFM2.5-350M-8bit想让大模型真正替你干活而不是只会聊天工具调用Function Calling正是让 AI 智能体连接外部世界的核心能力。本指南将手把手带你用LFM2.5-350M-8bit——一款仅 350M 参数、约 288MB 体积、可完全本地运行的轻量级开源模型——完成从环境安装、模型加载到工具调用实战、构建完整 AI 智能体的全过程。即使你是零基础新手也能在十几分钟内跑通自己的第一个智能体无需云端 API、无需昂贵显卡省钱又省心。LFM2.5-350M-8bit 是什么小身材大能量的端侧智能体模型LFM2.5-350M-8bit 是 Liquid AI 的 LFM2.5 系列模型经 MLX 框架转换后的轻量化版本仓库为 HuggingFace 镜像。它专为边缘端Edge部署设计主打小体积 强能力特别适合构建本地运行的 AI 智能体。核心参数数值说明参数量约 3.5 亿354M小型模型的黄金档位模型体积约 288MB普通笔记本、开发板都能跑上下文长度128,000 tokens超长上下文可处理整本书网络结构卷积层 全注意力混合液态神经网络风格高效省内存词表大小65,536多语言覆盖更广支持语言中、英、日、韩、法、德等 9 种中文对话无压力以上参数均可在仓库的 config.json 与 model.safetensors.index.json 中核对。模型采用 affine 量化6-bitgroup size 64压缩权重tokenizer_config.json 显示其使用 ChatML 格式结束符为|im_end|天然适配对话与智能体场景。为什么选择它做工具调用三大核心优势优势一原生工具调用支持开箱即用仓库自带的 chat_template.jinja 模板中内置了tools参数处理逻辑当你传入工具列表时模板会自动把 List of tools: [...] 写入系统提示词引导模型输出结构化的工具调用 JSON。这意味着你无需任何额外框架就能让模型学会调用函数。优势二288MB 本地运行隐私安全零成本不用注册 API、不用付费、数据不出本机。对于开发者调试、个人助理、离线场景它是性价比极高的选择。优势三128K 超长上下文智能体经常需要携带大量历史对话和工具返回结果128K 上下文让长会话不失忆。第一步一键安装环境安装 MLX 生态的推理库mlx-lm已在 README 中说明详见 README.mdpip install mlx-lm然后克隆模型仓库到本地git clone https://gitcode.com/hf_mirrors/mlx-community/LFM2.5-350M-8bit克隆后目录中包含模型权重 model.safetensors、配置文件 config.json、对话模板 chat_template.jinja、分词器 tokenizer.json 等完整文件一个目录即可独立运行。✅第二步快速加载模型并完成首次对话编写一个最简单的加载与对话脚本from mlx_lm import load, generate # 加载本地模型 model, tokenizer load(LFM2.5-350M-8bit) messages [{role: user, content: 你好请用一句话介绍你自己}] prompt tokenizer.apply_chat_template( messages, add_generation_promptTrue, return_dictFalse ) response generate(model, tokenizer, promptprompt, verboseTrue) print(response)运行后模型就会按照 ChatML 格式完成一次对话。整个过程仅需几行代码非常符合新手入门节奏。第三步工具调用实战——让模型调用你的函数这是全文的核心实战环节。我们让模型调用一个天气查询函数。关键点在于通过apply_chat_template的tools参数传入工具描述chat_template.jinja 会自动将其注入提示词。from mlx_lm import load, generate model, tokenizer load(LFM2.5-350M-8bit) # 定义工具函数模拟天气服务 def get_weather(city: str) - str: 查询指定城市的天气 return f{city}晴28℃ # 向模型声明工具 tools [{ type: function, function: { name: get_weather, description: 查询指定城市的实时天气, parameters: { type: object, properties: {city: {type: string}}, required: [city], }, }, }] messages [{role: user, content: 北京今天天气怎么样}] prompt tokenizer.apply_chat_template( messages, toolstools, add_generation_promptTrue, return_dictFalse ) response generate(model, tokenizer, promptprompt, verboseTrue) print(response)模型会输出类似{name: get_weather, arguments: {city: 北京}}的结构化调用请求。你只需解析这段 JSON、执行真实函数、把结果回填给模型即可完成闭环。第四步构建你的第一个完整 AI 智能体一个标准的智能体运行循环如下 用户提问 → 模型判断是否调用工具 → 输出工具调用 → ⚙️ 程序执行函数 → 结果回填模型 → 模型组织最终回复from mlx_lm import load, generate import json model, tokenizer load(LFM2.5-350M-8bit) def get_weather(city): return {city: city, weather: 晴, temp: 28℃} def calc(expr): return {result: eval(expr)} TOOLS [ {type: function, function: { name: get_weather, description: 查询天气, parameters: {type: object, properties: {city: {type: string}}, required: [city]}}}, {type: function, function: { name: calc, description: 数学计算, parameters: {type: object, properties: {expr: {type: string}}, required: [expr]}}}, ] FUNCS {get_weather: get_weather, calc: calc} messages [{role: user, content: 帮我算 23*7再看看北京的天气}] for _ in range(3): # 最多循环 3 轮 prompt tokenizer.apply_chat_template( messages, toolsTOOLS, add_generation_promptTrue, return_dictFalse) out generate(model, tokenizer, promptprompt, verboseFalse) # 若模型输出工具调用 JSON则执行并回填 if name in out: call json.loads(out) result FUNCS[call[name]](**call.get(arguments, {})) messages.append({role: assistant, content: out}) messages.append({role: tool, content: json.dumps(result)}) else: print(out) # 模型直接给出最终答案 break到这里你已经拥有了一个能查询天气 数学计算的迷你 AI 智能体骨架后续只要不断扩充工具列表就能让它订票、查文档、操作数据库……能力无限扩展。进阶技巧提升工具调用准确率的 4 个要点工具描述写具体description 越清晰模型选择正确工具的概率越高。参数约束要明确在parameters中声明类型与必填项减少错误调用。善用思考标签模板支持/think思考过程解析可让模型先推理再调用参考 chat_template.jinja 中keep_past_thinking逻辑。控制生成长度通过 generation_config.json 中的eos_token_id等参数配合max_tokens防止工具调用输出被截断。常见问题 FAQ❓问需要多高的电脑配置答模型仅 288MBApple Silicon 芯片M 系列体验最佳普通 x86 笔记本也可通过 MLX 运行内存 8GB 以上即可流畅使用。❓问支持中文吗答支持模型官方覆盖中、英、日、韩、法、德等 9 种语言中文对话与中文工具描述都没问题。❓问它和 ChatGPT 等云端大模型有什么区别答它完全本地运行零 API 费用、数据不出本机适合做隐私敏感的智能体当然参数量较小复杂推理能力不如云端大模型但胜在轻量、免费、可控。❓问模型文件结构是怎样的答权重在 model.safetensors索引见 model.safetensors.index.json架构在 config.json对话与工具模板在 chat_template.jinja分词器在 tokenizer.json 与 tokenizer_config.json全部一目了然。总结你的第一个本地 AI 智能体从今天开始本文从零开始带你完成了 LFM2.5-350M-8bit 的安装、加载、工具调用实战与完整智能体构建。核心收获有三点✅ 288MB 的轻量模型即可实现本地工具调用✅ 借助 chat_template.jinja 原生能力无需额外框架✅ 十几行 Python 代码即可搭建可扩展的 AI 智能体下一步你可以试着给它接入更多工具如文件读写、网页抓取、数据库查询打造属于自己的私人智能助手。动手试试吧你的第一个 AI 智能体只差一个git clone✨【免费下载链接】LFM2.5-350M-8bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/LFM2.5-350M-8bit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考