openchat_3.57B开源大模型如何正面对抗ChatGPT新手必读完整概览指南【免费下载链接】openchat_3.5项目地址: https://ai.gitcode.com/hf_mirrors/ai-gitcode/openchat_3.5OpenChat 3.5 是一款 70 亿参数7B的开源大语言模型是首个在多项基准测试中与 ChatGPT2023 年 3 月版打平的开源模型——MT-Bench 得分 7.81超越了多个 70B 量级的开源模型。它采用 Apache-2.0 许可证可免费部署与商用。本文面向新手带你完整了解 OpenChat 3.5 的来龙去脉、硬核实力与本地运行方法。 什么是 OpenChat 3.5一个能与 ChatGPT 掰手腕的 7B 模型OpenChat 3.5 由 Mistral 7B 底座经 C-RLFT 策略精调而来虽然只有 70 亿参数却在综合能力上逼近了参数量大得多的闭源模型。关键规格一览项目参数模型底座Mistral 7BMistralForCausalLM架构参数量7Bbfloat16 精度权重约 14.5GB上下文长度8192 tokens网络结构32 层 Transformer、4096 隐层、GQA 注意力8 个 KV 头许可证Apache-2.0可自由商用对新手来说这意味着什么一块 24GB 显存的消费级显卡就能跑起一个ChatGPT 级别的对话模型数据完全留在本地隐私与成本都更可控。 核心秘密C-RLFT 如何把小模型练得聪明OpenChat 3.5 的关键词是C-RLFTConstrained Reinforcement Learning Fine-Tuning受约束强化学习微调。它借鉴了离线强化学习的思想不用偏好标签传统 RLHF 需要人工标注哪个回答更好C-RLFT 直接从混合质量的数据中学习省去大量标注成本数据质量混搭训练数据涵盖 OpenChat ShareGPT、OpenOrca、GOAT、Glaive 代码助手、MetaMathQA、MathInstruct 等高质量指令数据集约束优化通过受约束的策略提升模型能力避免在低质量数据上学歪这套方法的论文《OpenChat: Advancing Open-source Language Models with Mixed-Quality Data》arXiv:2309.11235详细阐述了原理相关说明见 README.md 中的 Dataset Details 章节。 实测成绩单OpenChat 3.5 对标 ChatGPT 有多强以下数据来自官方基准评测全部在聊天模式下完成模型参数量平均分MT-BenchMMLUHumanEvalGSM8KOpenChat 3.57B61.67.8164.355.577.3ChatGPT2023.3 版未公开61.57.9467.348.174.9OpenHermes 2.57B59.37.5463.848.273.5Open-source SOTA13B-70B 各家最佳13B-70B61.47.7163.773.282.3 重点解读平均分 61.6微超 ChatGPT3 月版的 61.5MT-Bench 7.81登顶当时开源模型榜首胜过不少 70B 模型GSM8K 数学题 77.3 分在 7B 级开源模型中表现突出对比 33B 的闭源 Grok-0平均 44.5OpenChat 3.5 以更少参数全面领先 模型文件结构速览本仓库包含部署 OpenChat 3.5 所需的全部文件新手可以按下表快速理解文件作用README.md模型介绍、基准数据、使用与部署指南config.json模型架构配置Mistral 7B、32 层、8192 上下文generation_config.json生成参数temperature 0.5、最大长度 8192tokenizer.json/tokenizer.model词表与分词器LlamaTokenizer词表 32002tokenizer_config.json分词器配置内置 GPT4 对话模板added_tokens.json/special_tokens_map.json特殊标记如\|end_of_turn\|回合结束符pytorch_model-00001-of-00002.bin/pytorch_model-00002-of-00002.bin模型权重分片共约 14.5GBpytorch_model.bin.index.json权重分片索引表openchat.json训练时的超参数记录学习率 1.25e-05、5 个 epoch 等对话模板上有个有趣的细节OpenChat 3.5 的角色前缀是GPT4 Correct User:和GPT4 Correct Assistant:通过模仿 ChatGPT 的对话风格来对齐其行为这一模板定义在tokenizer_config.json的chat_template字段中。 新手最快上手3 步本地跑起 OpenChat 3.5第 1 步获取模型文件如果需要通过命令克隆仓库地址为git clone https://gitcode.com/hf_mirrors/ai-gitcode/openchat_3.5第 2 步使用官方推理服务官方推荐使用基于 vLLM 引擎的高吞吐 API 服务一条python -m ochat.serving.openai_api_server命令即可启动完整命令见 README.md 的 Usage 章节。服务默认监听localhost:18888端口。第 3 步接入你的应用该服务完全兼容 OpenAI ChatCompletion API 规范——也就是说你现有的 OpenAI SDK 代码几乎不用改只需把地址换成本地服务即可。此外还提供Web UI浏览器里直接对话零代码体验API 密钥鉴权--api-keys参数限制访问⚡多卡并行追加--tensor-parallel-size N即可张量并行⚠️ 必读诚实面对它的已知局限再强的模型也有短板官方 README.md 的 Limitations 章节明确列出了三点基础能力上限复杂推理、数学算术、编程挑战仍受 7B 底座限制幻觉风险可能生成不存在或不准的信息关键内容务必人工核实安全边界可能输出偏见或不安全内容生产环境建议叠加安全过滤层❓ 总结谁适合使用 OpenChat 3.5✅推荐人群想在本地体验ChatGPT 级对话的 AI 新手需要 OpenAI 兼容 API、快速搭建私有对话服务的开发者追求可商用、可私有化、硬件门槛低的 7B 开源模型选型团队❌谨慎人群对复杂数学推理、长文本超过 8192 tokens有高要求的场景OpenChat 3.5 证明了开源社区的一个可能7B 参数 正确的方法就能正面对抗闭源巨头。如果你的显卡预算有限它无疑是当前最值得尝试的开源大模型之一。【免费下载链接】openchat_3.5项目地址: https://ai.gitcode.com/hf_mirrors/ai-gitcode/openchat_3.5创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考