如果你最近在关注开源大模型可能会发现一个现象很多号称“开源”的模型其训练代码、数据配方或关键优化技术依然是个黑盒。开发者拿到模型权重却难以复现其训练过程更别提基于现有架构进行深度定制和优化了。这就像拿到了一辆性能卓越的成品车却不知道引擎是如何调校的想自己造一辆几乎不可能。今天要讨论的AMD Instella-MoE-16B-A3B正是试图打破这一局面的一个关键信号。它不仅仅是一个新的开源模型更是一个完全透明的工程实践范本。AMD 这次不仅开源了模型权重更重要的是它基于自家的Instinct MI250X等数据中心 GPU完整开源了从数据准备、模型架构、训练代码到性能优化的全栈技术方案。这意味着什么对于普通开发者你多了一个高质量、可商用的 160 亿参数 MoE 模型选择。对于研究者和企业你获得了一个可以从头到尾审视、复现甚至改进的完整训练流水线。尤其是在当前 GPU 生态多元化的背景下一个在 AMD 硬件上得到充分验证的、性能对标主流闭源模型的方案其价值远超模型本身。本文将带你深入解析 Instella-MoE-16B-A3B。我们不会停留在新闻通稿式的介绍而是会拆解MoE 架构如何以 160 亿总参数量实现接近 700 亿参数稠密模型的推理效果并大幅降低计算成本。AMD 开源的训练框架和优化技术有哪些独到之处如何利用 Instinct GPU 的特性。作为开发者如何快速部署、推理并评估这个模型包括环境搭建、代码示例和性能测试。对比同类模型如 Mixtral 8x7B它的优势和潜在的适用场景与局限在哪里。这个项目的发布对开源社区和 AI 硬件生态的长期影响是什么。无论你是想寻找一个高性价比的推理模型还是希望深入理解大规模 MoE 模型的训练细节抑或是关注异构计算在 AI 领域的落地这篇文章都将提供切实的指南和清晰的判断。1. Instella-MoE-16B-A3B 解决了什么问题在深入技术细节之前我们必须先回答一个根本问题为什么需要关注这个模型它瞄准的是当前大模型应用中的三个核心痛点成本、可控性和生态多样性。痛点一推理成本高企。千亿参数级别的模型虽然能力强大但其部署和推理成本让绝大多数企业和开发者望而却步。MoE混合专家模型架构的核心思想就是用“稀疏激活”来换取“高参数容量下的低计算开销”。Instella-MoE-16B-A3B 拥有 160 亿总参数但每次推理只激活其中的 30 亿参数A3B 即 Active 3 Billion。这意味着在效果接近某些 700 亿参数稠密模型的同时它的单次推理计算量和显存占用大幅降低直接 translates to 更低的 API 调用成本或自建服务器的硬件门槛。痛点二“伪开源”与复现困境。许多开源模型只释放权重训练代码、数据清洗流程、超参数设置等关键工程细节缺失。这导致社区难以验证其效果、诊断问题或在同等基础上进行改进。AMD 此次开源了基于PyTorch和AMD ROCm™软件栈的完整训练代码提供了可复现的配方。这对于学术研究、企业构建私有化可控模型至关重要你不再是一个被动的使用者而可以成为积极的参与者和改进者。痛点三硬件生态锁定的风险。当前大模型训练和推理几乎被单一硬件架构主导。这种依赖性带来了供应链、成本和技术路线风险。AMD 通过 Instella 项目证明了其 Instinct GPU 和 ROCm 软件平台完全有能力支撑从零开始训练前沿的大语言模型。这为市场提供了一个重要的替代选项促进了健康竞争最终受益的是所有开发者——更优的价格、更多的选择、更快的创新。因此Instella-MoE-16B-A3B 的价值不仅在于模型本身的性能更在于它提供了一个“完全开源”“异构计算验证”的完整案例。它告诉业界基于非主流硬件栈从数据到模型产出的全链路是可行的并且应该被透明地分享出来。2. 核心概念MoE 架构与 A3B 设计解析要理解 Instella-MoE-16B-A3B必须吃透两个关键概念MoE和它的具体设计16B-A3B。2.1 混合专家模型MoE是什么你可以把传统的稠密模型如 LLaMA、GPT想象成一个“全能通才”。这个通才很厉害但为了处理所有任务它的大脑参数必须非常庞大导致每次思考推理都要动用全部脑力非常耗能。MoE 则像是一个“专家委员会”。模型由许多个“专家”Expert子网络组成每个专家擅长处理某一类问题。同时有一个“路由网络”Router负责判断当前输入的问题应该交给哪几位专家来处理。工作流程类比输入问题“解释量子计算”。路由判断路由网络分析后认为这个问题属于“科学技术”类。激活专家它只激活“科学技术专家”和“科普写作专家”两位成员而不是全体委员会。合成答案被激活的两位专家共同工作生成最终回答。带来的核心优势计算高效每次只激活部分参数如总参数的 1/5 或更少大幅减少 FLOPs浮点运算次数。容量巨大模型总参数量可以做得非常大如万亿级别以容纳更多知识而不会同比例增加计算成本。扩展性强通过增加专家数量来扩展模型容量比单纯增加层数或隐藏维度更高效。2.2 Instella-MoE-16B-A3B 设计解读模型名称已经揭示了其核心规格16B模型总参数量为 160 亿。这是一个非常可观的容量足以容纳丰富的语言知识和推理能力。A3B每次前向传播推理或训练激活的参数量约为 30 亿。这是 MoE 稀疏性的体现。设计细节基于公开信息及常见 MoE 设计专家数量通常 MoE 模型会设计多个专家。例如类似 Mixtral 8x7B 有 8 个专家。Instella 的具体专家数量需查阅其配置但原理相通。Top-K 路由路由网络每次选择 Top-K 个专家进行激活。对于 A3B 设计K 通常为 2。即每次只使用 2 个专家。专家容量与负载均衡这是 MoE 训练的关键难点。需要确保所有专家都能被均衡地使用避免某些专家“躺平”负载过低而另一些“过劳”负载过高。AMD 的开源训练代码中必然包含了相应的负载均衡损失函数如auxiliary loss。与稠密模型的对比特性稠密模型 (如 70B)MoE 模型 (Instella 16B-A3B)总参数量700 亿160 亿激活参数量700 亿 (每次全部激活)约 30 亿 (每次稀疏激活)计算开销极高显著降低 (约稠密模型的1/20~1/30)显存占用 (推理)极高 (140GB FP16)主要存储总参数但激活计算量小可量化或使用更小显存知识容量高通过总参数量体现设计目标是对标稠密大模型训练复杂度相对标准更复杂需解决路由、负载均衡问题简单来说Instella-MoE-16B-A3B 试图用 160亿总参数、30亿激活参数的“身材”去实现接近 700亿参数稠密模型的“智力”同时保持更低的推理成本。这是一个典型的“性价比”和“效率”导向的设计。3. 环境准备在 AMD 或 NVIDIA GPU 上运行推理虽然 Instella 基于 AMD 硬件训练但其模型权重是标准的 PyTorch 格式推理代码也兼容常见的深度学习框架。这意味着你完全可以在 NVIDIA GPU 上运行它。下面我们分别介绍两种环境下的准备。3.1 通用前提条件Python 环境推荐使用 Python 3.9 或 3.10。使用conda或venv创建独立的虚拟环境是最佳实践。conda create -n instella python3.10 -y conda activate instellaPyTorch根据你的 CUDA 版本NVIDIA或 ROCm 版本AMD安装对应的 PyTorch。这是最大的依赖项。NVIDIA 平台(以 CUDA 11.8 为例):pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118AMD 平台(以 ROCm 5.7 为例请根据官方文档调整):pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm5.7Transformer 库Hugging Facetransformers库是加载和运行模型的核心。pip install transformers accelerateaccelerate库用于简化混合精度和分布式推理。3.2 额外依赖应对 MoE 模型MoE 模型需要特定的注意力机制实现和模型类支持。AMD 可能会提供定制化的transformers分支或modeling代码。通常你需要克隆模型仓库git clone https://github.com/amd/Instella-MoE-16B-A3B.git cd Instella-MoE-16B-A3B安装项目特定依赖pip install -r requirements.txt如果项目提供了自定义的modeling文件你可能需要将其集成到你的 Python 路径或者按照项目 README 的说明进行安装。3.3 硬件与驱动检查NVIDIA确保驱动和 CUDA 工具包版本与 PyTorch 匹配。使用nvidia-smi命令验证。AMD确保 ROCm 驱动已正确安装并且 PyTorch 的 ROCm 版本与系统 ROCm 版本兼容。使用rocm-smi命令验证。4. 核心流程下载模型与运行推理假设环境已就绪我们来看如何快速让模型“跑起来”。4.1 获取模型权重模型权重通常会发布在 Hugging Face Hub 上。你可以使用transformers库直接下载。# 文件load_model.py from transformers import AutoModelForCausalLM, AutoTokenizer model_name AMD/Instella-MoE-16B-A3B # 假设的 HF Hub 路径请以官方发布为准 # 加载 tokenizer 和模型 print(正在加载 tokenizer...) tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue) # MoE模型可能需要 trust_remote_code print(正在加载模型...这可能耗时较长且需要大量显存...) model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypetorch.float16, # 使用半精度减少显存占用 device_mapauto, # 让 accelerate 自动分配模型层到多 GPU trust_remote_codeTrue, # 同上 low_cpu_mem_usageTrue # 优化加载时的 CPU 内存使用 ) print(模型加载完成)关键参数解释torch_dtypetorch.float16FP16 精度是推理的标配能在几乎不损失精度的情况下将显存占用减半。device_map”auto”对于超过单卡显存的大模型这个参数允许accelerate库自动将不同层拆分到多个 GPU 上实现零代码修改的模型并行。trust_remote_codeTrue如果模型使用了自定义的modeling代码MoE模型很可能需要必须设置此参数。low_cpu_mem_usageTrue避免在加载模型到 GPU 前在 CPU 上创建完整的模型副本节省内存。4.2 编写推理脚本加载模型后编写一个简单的文本生成函数。# 接上段代码 import torch def generate_text(prompt, max_length200): # 编码输入 inputs tokenizer(prompt, return_tensorspt).to(model.device) # 生成配置 with torch.no_grad(): # 推理阶段关闭梯度计算以节省显存和加速 outputs model.generate( **inputs, max_new_tokensmax_length, # 控制生成的新token数量 do_sampleTrue, # 启用采样使输出更多样化 temperature0.7, # 采样温度控制随机性 (0.1~1.0) top_p0.9, # Nucleus sampling保留概率质量前90%的词 repetition_penalty1.1, # 重复惩罚避免重复循环 pad_token_idtokenizer.eos_token_id # 设置填充token ) # 解码输出 generated_text tokenizer.decode(outputs[0], skip_special_tokensTrue) return generated_text # 测试推理 if __name__ __main__: prompt 请用中文解释一下什么是混合专家模型MoE result generate_text(prompt, max_length300) print(输入提示, prompt) print(\n--- 模型生成结果 ---\n) print(result)4.3 处理显存不足量化与优化160亿总参数的模型即使以 FP16 加载也需要约 32GB 显存。如果单卡显存不足可以采用以下策略策略一使用device_map”auto”配合多卡。这是最简单的方法。如果你有两张 24GB 的卡accelerate会自动将模型分层加载到两张卡上。策略二使用量化强烈推荐。4-bit 或 8-bit 量化能将显存需求降低到原来的 1/4 或 1/2。可以使用bitsandbytes库。# 安装 bitsandbytes (注意与CUDA版本匹配) # pip install bitsandbytes from transformers import BitsAndBytesConfig # 配置 4-bit 量化 quantization_config BitsAndBytesConfig( load_in_4bitTrue, bnb_4bit_compute_dtypetorch.float16, bnb_4bit_use_double_quantTrue, # 嵌套量化进一步压缩 bnb_4bit_quant_typenf4, # 4-bit 量化类型 ) model AutoModelForCausalLM.from_pretrained( model_name, quantization_configquantization_config, # 传入量化配置 device_mapauto, trust_remote_codeTrue )使用量化后模型可能只需 8-10GB 显存即可加载极大降低了硬件门槛。5. 完整示例构建一个本地问答 CLI 工具让我们将上面的代码整合成一个可以交互的简易命令行问答工具。# 文件instella_cli.py import torch from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig import argparse def load_model_and_tokenizer(model_name, use_4bitFalse): 加载模型和分词器 tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue) if use_4bit: # 4-bit量化配置 bnb_config BitsAndBytesConfig( load_in_4bitTrue, bnb_4bit_compute_dtypetorch.float16, bnb_4bit_use_double_quantTrue, bnb_4bit_quant_typenf4, ) model AutoModelForCausalLM.from_pretrained( model_name, quantization_configbnb_config, device_mapauto, trust_remote_codeTrue, low_cpu_mem_usageTrue ) else: # FP16 加载 model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypetorch.float16, device_mapauto, trust_remote_codeTrue, low_cpu_mem_usageTrue ) return model, tokenizer def generate_response(model, tokenizer, prompt, generation_config): 生成回复 inputs tokenizer(prompt, return_tensorspt).to(model.device) with torch.no_grad(): outputs model.generate( **inputs, max_new_tokensgeneration_config[max_new_tokens], do_samplegeneration_config[do_sample], temperaturegeneration_config[temperature], top_pgeneration_config[top_p], repetition_penaltygeneration_config[repetition_penalty], pad_token_idtokenizer.eos_token_id ) response tokenizer.decode(outputs[0][inputs[input_ids].shape[1]:], skip_special_tokensTrue) return response def main(): parser argparse.ArgumentParser(descriptionInstella-MoE-16B-A3B 交互式问答) parser.add_argument(--4bit, actionstore_true, help使用4-bit量化加载模型以节省显存) parser.add_argument(--model-name, typestr, defaultAMD/Instella-MoE-16B-A3B, helpHugging Face模型ID) args parser.parse_args() print(f正在加载模型 {args.model_name}使用4-bit量化: {args.4bit}...) model, tokenizer load_model_and_tokenizer(args.model_name, use_4bitargs.4bit) print(模型加载成功输入您的问题输入 quit 退出\n) # 生成参数配置 gen_config { max_new_tokens: 512, do_sample: True, temperature: 0.8, top_p: 0.92, repetition_penalty: 1.05, } while True: try: user_input input(\n[用户] ) if user_input.lower() in [quit, exit, q]: print(再见) break if not user_input.strip(): continue print([模型] 思考中...) response generate_response(model, tokenizer, user_input, gen_config) print(f[模型] {response}) except KeyboardInterrupt: print(\n程序被中断。) break except Exception as e: print(f生成时发生错误: {e}) if __name__ __main__: main()运行方式# 使用 FP16 (需要足够显存) python instella_cli.py # 使用 4-bit 量化 (显存需求大幅降低) python instella_cli.py --4bit这个工具提供了一个本地测试模型的基础框架你可以根据需要修改生成参数temperature,top_p等来调整回答的创造性和稳定性。6. 运行结果与效果验证运行上述 CLI 工具后你可以通过一系列问题来验证模型的基本能力。以下是一些测试方向和预期观察6.1 基础能力测试知识问答输入“爱因斯坦的相对论主要讲了什么”验证检查回答是否准确概括了狭义和广义相对论的核心思想是否包含质能方程等关键概念。逻辑推理输入“如果所有猫都怕水而我的宠物是一只猫那么我的宠物怕水吗为什么”验证模型是否能进行简单的三段论推理并给出符合逻辑的解释。代码生成输入“用Python写一个函数计算斐波那契数列的第n项。”验证生成的代码语法是否正确是否考虑了递归或迭代的效率问题是否有注释。中文理解与生成输入“请将‘Hello, world! This is an amazing open-source model.’翻译成中文并模仿李白风格写一首关于它的五言诗。”验证翻译是否准确生成的诗歌是否具备一定的古风和对仗。6.2 MoE 特性间接验证由于我们无法直接看到路由过程但可以通过以下方式间接感受响应速度对比参数量相近的稠密模型如果存在在相同硬件上Instella 的推理速度tokens per second应该显著更快因为其激活参数量A3B更少。显存占用使用nvidia-smi或rocm-smi监控。在生成文本时其显存占用峰值应远低于加载 160B FP16 模型约32GB所需的理论值更接近一个 30B 参数模型的开销。任务特异性尝试不同领域的问题编程、历史、科学、创意写作。MoE 模型可能在某些它“专家”训练充分的领域表现更突出、更稳定。6.3 性能基准测试简易版你可以使用transformers的pipeline进行简单的性能评测。from transformers import pipeline, TextGenerationPipeline import time # 创建文本生成管道 generator pipeline(text-generation, modelmodel, tokenizertokenizer, devicemodel.device) # 测试 prompt prompt 人工智能的未来发展将 num_tokens_to_generate 100 # 预热 _ generator(prompt, max_new_tokens10) # 计时生成 start_time time.time() output generator(prompt, max_new_tokensnum_tokens_to_generate, do_sampleFalse) # 使用贪婪解码保证可复现性 end_time time.time() generated_tokens len(tokenizer.encode(output[0][generated_text])) - len(tokenizer.encode(prompt)) time_elapsed end_time - start_time print(f生成 {generated_tokens} 个token耗时 {time_elapsed:.2f} 秒) print(f推理速度: {generated_tokens / time_elapsed:.2f} tokens/秒) print(f输出预览: {output[0][generated_text][:200]}...)记录这个速度并与你在同一台机器上测试其他模型如 LLaMA 2 13B的速度进行对比。理论上Instella 应该更有优势。7. 常见问题与排查思路在部署和运行 Instella 模型时你可能会遇到以下问题问题现象可能原因排查方式解决方案ImportError或ModuleNotFoundError1. 缺少项目特定依赖。2.trust_remote_codeTrue但自定义代码路径有问题。1. 检查requirements.txt是否已安装。2. 查看完整错误堆栈确认缺失的模块名。1. 运行pip install -r requirements.txt。2. 确保从官方仓库克隆了所有代码并正确设置了PYTHONPATH。CUDA out of memory或ROCm out of memory1. 模型太大单卡显存不足。2. 未使用量化且device_map未生效。3. 生成序列长度 (max_new_tokens) 设置过长。1. 使用nvidia-smi或rocm-smi观察显存使用。2. 检查模型是否真的被拆分到了多卡。1.首选方案使用BitsAndBytesConfig进行 4-bit 量化加载。2. 确保device_map”auto”或手动指定多卡。3. 减少max_new_tokens或启用streamer进行流式生成。加载模型时卡住或非常慢1. 从 Hugging Face 下载模型权重网络慢。2. 模型首次加载需要编译某些算子特别是AMD平台。3. CPU 内存不足。1. 观察网络流量和磁盘活动。2. 查看 CPU/GPU 使用率。1. 可先手动下载权重到本地然后从本地路径加载 (from_pretrained(“./local/path”))。2. 首次加载耐心等待后续加载会缓存已编译的算子。3. 确保low_cpu_mem_usageTrue。生成结果质量差胡言乱语、重复1. 生成参数 (temperature,top_p) 设置不当。2. Prompt 格式不符合模型训练时的约定。3. 模型本身在特定任务上能力有限。1. 尝试调整temperature(降低至0.1-0.3) 和top_p(提高至0.95)。2. 查阅模型卡 (Model Card)看是否有推荐的 prompt 模板。1. 对于事实性问答使用低temperature(如0.1) 和贪婪解码 (do_sampleFalse)。2. 对于创意写作使用中等temperature(0.7-0.9)。3. 在 prompt 中明确指令如“请以专家的身份清晰且有条理地回答”。在 AMD GPU 上性能不佳1. ROCm 版本与 PyTorch 版本不匹配。2. 未使用针对 AMD 优化的内核或 FlashAttention 实现。1. 检查torch.cuda.is_available()(在ROCm下也返回True) 和torch.version.hip。2. 查看官方仓库是否有针对 AMD 的优化安装指南。1. 严格按照 AMD ROCm 官方文档和 PyTorch 官网的对应版本安装。2. 关注项目是否提供了flash-attention等优化库的 ROCm 版安装说明。KeyError: ‘past_key_values’或其他模型前向错误自定义的 MoE 模型代码与当前transformers库版本存在兼容性问题。查看错误堆栈定位到具体是modeling_xxx.py文件的哪一行。1. 尝试使用项目仓库中指定的transformers版本 (pip install transformersx.x.x)。2. 在项目 Issue 中搜索类似错误。8. 最佳实践与工程建议要将 Instella-MoE-16B-A3B 有效地用于实际项目需要考虑以下方面8.1 部署优化使用推理服务器对于生产环境不要直接使用 Python 脚本。部署为 API 服务。推荐工具vLLM(对 MoE 和 Attention 优化极好)、TGI(Text Generation Inference)、或FastAPI 异步加载。vLLM 示例(如果其支持该模型架构)# 启动一个 OpenAI 兼容的 API 服务器 python -m vllm.entrypoints.openai.api_server \ --model AMD/Instella-MoE-16B-A3B \ --tensor-parallel-size 2 \ # 使用2张GPU进行张量并行 --quantization awq \ # 可选使用AWQ量化 --served-model-name instella-moe持续量化与优化训练后量化除了加载时的bitsandbytes量化可以探索GPTQ、AWQ等更精细的量化方案在精度和速度间取得更好平衡。编译优化使用torch.compile对模型进行图编译可以显著提升推理速度尤其是对于自回归生成。8.2 提示工程与上下文管理遵循指令格式如果模型是基于特定指令格式如[INST] ... [/INST]微调的在推理时使用相同的格式能获得最佳效果。管理上下文长度注意模型的最大上下文窗口例如 8K、32K。输入超过这个长度会被截断或导致性能下降。对于长文档问答需要结合 RAG 技术。系统提示词在对话开始时通过系统提示词System Prompt设定模型的角色和行为准则可以更好地控制输出风格和质量。8.3 监控与评估性能监控记录每次 API 调用的延迟、吞吐量tokens/秒和显存使用情况。设置警报阈值。质量评估建立一个小型测试集定期用相同的问题测试模型输出监控其表现是否稳定或退化。成本核算如果是自建服务精确计算单次请求的 GPU 耗时和电费成本。对比使用类似能力的闭源 API如 GPT-4的成本效益。8.4 安全与合规内容过滤在模型输出端添加内容安全过滤器拦截有害、偏见或不合规的生成内容。数据隐私如果处理用户隐私数据确保模型在本地或可控的私有云中运行数据不泄露。使用许可仔细阅读模型的开源许可证如 Apache 2.0, MIT明确商用、分发和修改的权利与义务。9. 总结为什么 Instella-MoE-16B-A3B 值得你投入时间回顾全文AMD Instella-MoE-16B-A3B 的发布不仅仅是一个新模型的诞生它更是一个清晰的行业信号和一份给开发者的实用资产。对于个人开发者和研究者你获得了一个高性能、低成本、完全可审计的大语言模型选择。其 MoE 架构意味着你可以用消费级显卡如 RTX 4090 24GB通过量化或少量数据中心卡来运行一个能力接近千亿参数级别的模型。完整的开源训练代码让你能深入理解现代大模型训练的每一个细节这是极其宝贵的学习资料。对于企业和工程团队这个项目证明了基于AMD ROCm 生态进行大规模 AI 训练是成熟可行的。这为基础设施选型提供了重要的第二选择有助于降低供应链风险和长期成本。同时完全开源的特性使得企业可以对其进行深度定制、私有化部署和安全审查满足严格的合规要求。从技术趋势来看MoE 架构无疑是降低大模型推理成本、打破“规模越大越贵”魔咒的关键路径之一。Instella 提供了一个工业级的、经过实践验证的 MoE 实现参考。无论你最终是否使用 AMD 硬件其模型架构设计、训练技巧和优化方法都具有很高的借鉴价值。下一步你可以动手实践按照本文指南在本地或云服务器上实际部署运行 Instella感受 MoE 模型的推理速度与效果。深入代码浏览其开源训练仓库研究其数据预处理、模型架构定义、分布式训练策略和负载均衡损失函数的实现。对比评测将其与 LLaMA 2 13B、Mixtral 8x7B 等模型在你自己关心的任务上代码生成、文案创作、逻辑推理进行定量和定性对比。探索微调考虑基于你的领域数据对 Instella 进行 LoRA 或全参数微调打造专属的领域专家模型。开源、开放、可复现的 AI 是技术健康发展的基石。Instella-MoE-16B-A3B 正是朝着这个方向迈出的坚实一步。它可能不是当前最强的模型但它所代表的透明度和开放性或许比模型本身的性能分数更为重要。