NeuroRefiner：面向三维荧光显微镜神经元分割的形态感知多智能体优化框架
NeuroRefiner面向三维荧光显微镜神经元分割的形态感知多智能体优化框架论文原链接https://arxiv.org/html/2608.09636v1摘要精准的三维荧光显微镜神经元分割是神经科学定量分析的核心基础但神经元稀疏细长的丝状形态给现有算法带来巨大挑战传统单遍分割模型难以同时兼顾局部细微结构与全局拓扑连通性输出掩码普遍存在碎片化断裂问题。本文提出NeuroRefiner多智能体迭代优化系统完整复刻神经科学家「全局整体观测局部精细编辑」人工修正流程。系统由三类协同智能体组成全局检测器、优化顾问、修改校验器分别负责拓扑缺陷定位、结构化修正指令生成、编辑效果校验配套专用3D编辑网络TopoRefineNet以跨模态特征融合实现文本指令引导的掩码精细化修复。整套多轮闭环智能体流程基于体素级迭代修正输出拓扑完整性更强、推理过程可解释的神经元分割结果。在BigNeuron、CWMBS、ZBFWB三大公开神经元数据集完成全面验证相较于现有SOTA方法取得显著提升在难度最高的ZBFWB数据集上F1指标提升3.02%。关键词神经元分割多智能体大视觉语言模型拓扑优化三维荧光显微医学图像分割1 引言神经元重建旨在从三维荧光显微图像中提取完整神经元骨架支撑神经环路定量解析工作。高质量重建要求算法同时还原细微分支结构、保障全局拓扑连续。1.1 荧光神经元分割独有难点与电镜密集神经元图像不同荧光成像存在三大固有痛点信号极度稀疏神经元呈细长丝状分布三维高分辨率图像叠加大量成像噪声长距离轴突、树突依赖全局上下文局部窗口感受野无法建模长程依赖。现有主流分割方案均采用滑动窗口分块推理图1-a存在三大致命缺陷单窗口感受野受限全局神经元连通性丢失掩码大量断裂端到端黑盒模型推理过程无透明度缺陷无法追溯单次前向传播无迭代修正机制拓扑错误难以修复。1.2 现有医学智能体方案局限性近年LLM驱动医学分割智能体GenCellAgent、IBISAgent等实现可解释推理但完全不适用于稀疏神经元场景依赖2D切片式基础模型MedSAM2处理3D体积无法捕捉丝状三维连续特征仅支持单次工具调用缺少多轮迭代修正闭环无神经元拓扑专属检测、编辑逻辑无法识别断裂、孤立噪声等典型神经元缺陷。1.3 本文核心思路与三大贡献模拟神经科学家人工修正范式先全局扫描定位断裂/噪声区域再针对性局部精细修复循环迭代至拓扑完整。整套NeuroRefiner包含三类协同智能体专用3D编辑网络TopoRefineNet。本文三大核心创新首个面向神经元拓扑优化的LLM多智能体系统构建全局检测-指令生成-效果校验闭环迭代修复单遍分割带来的碎片化缺陷专用指令驱动3D编辑网络TopoRefineNet设计两阶段课程式训练策略对齐自然语言修正指令与三维掩码体素编辑三大公开神经元数据集全面验证在弱信号、高噪声、长轴突复杂场景全面超越现有分割与优化基线。2 相关工作2.1 神经元分割算法现有神经元网络侧重多尺度特征提取、形态约束建模但全部为单次前向推理无迭代纠错能力多尺度卷积/图结构Neurolink、GBP-Net引入长程上下文缓解窗口感受野限制多任务形态监督SGSNet、Tubular同时预测几何辅助特征弱监督对抗MP-NRGAN利用重建骨架作为弱监督短板仅能生成初始掩码无法召回漏检分支、消除孤立噪声。点云细化类算法同样不能修复断裂结构。2.2 医学图像分割智能体分为两大技术路线多智能体强化学习MARLIteR-MRL、dbMiM以体素为智能迭代单元适配电镜/MRI不适用于稀疏荧光神经元LLM规划执行智能体Ophiuchus、IBISAgent、GenCellAgent依靠SAM系列2D工具做交互式分割无三维拓扑感知、无神经元专用编辑指令。2.3 分割掩码细化算法通用细化框架Mask Transfiner、SegRefiner、电镜专用FGNet仅修复边界像素完全忽略神经元最关键的全局连通拓扑无法解决轴突断裂、孤立伪影问题神经元拓扑感知细化领域存在明显研究空白。3 方法3.1 NeuroRefiner整体多智能体闭环流程算法1 NeuroRefiner完整迭代流程输入三维显微图像III、初始分割掩码M(0)M^{(0)}M(0)、最大迭代轮次TmaxT_{max}Tmax输出拓扑优化完成最终掩码MfinalM^{final}Mfinal1: t ← 0 2: while t T_max do 3: 沿Z轴生成最大强度投影M^xy、图像分块{b_i}、每块0阶贝蒂数β₀(b_i) 4: B_fix, {τ_i} ← 全局检测器π_ins(M^xy, {M_i^xy}, {β₀(b_i)}) # 识别待修复块与缺陷类型 5: if B_fix为空退出循环拓扑收敛 6: for 每个待修复块 b_i ∈ B_fix: 7: k ← 0 # 单块重试计数器 8: while k T_max: 9: t_i ← 优化顾问πadv(I_i^xy, I_i^yz, M_i^xy, M_i^yz, τ_i) # 生成三维修正指令 10: M_i^{refined} ← TopoRefineNet(I_i, M_i, t_i) # 指令驱动掩码编辑 11: r_i ← 修改校验器πval(M_i^xy, M_i^{refined}, t_i, τ_i) # 校验修正效果 12: if r_i 接受: 13: M[b_i] ← M_i^{refined}跳出重试循环 14: else: k ← k 1 15: t ← t 1 16: end while 17: return M^{(t)}完整循环逻辑图2全局检测器基于投影拓扑指标定位缺陷子块标注缺陷类型FN断裂 / FP孤立噪声优化顾问结合XY/YZ双平面三维信息生成标准化自然语言修正指令TopoRefineNet执行体素级掩码修改输出局部优化子掩码修改校验器双重校验「指令匹配度拓扑改善度」不合格则重新生成指令重试所有通过校验的子掩码合并更新全局掩码多轮迭代直至无缺陷块或达到最大轮次。3.2 三大协同智能体详细设计全部智能体基础视觉大模型Qwen3-VL-8B文本编码器Qwen3 Embedding 0.6B3.2.1 全局检测器 Global Inspector核心目标全局层面定位拓扑异常分块区分假阴性FN神经元断裂、假阳性FP孤立噪声预处理对3D体积做Z轴MIP投影将三维信息压缩至二维便于VLM处理图像均匀划分为128×128无重叠子块拓扑量化指标0阶贝蒂数β0(bi)\beta_0(b_i)β0(bi)子块内连通域数量数值越高碎片化越严重检测策略结合全局投影、分块局部掩码、每块贝蒂数综合判断输出待修复块ID与缺陷标签τi\tau_iτi提示词逻辑附文末完整专家提示词仅基于掩码形态判断禁止脑补原图信号。3.2.2 优化顾问 Refinement Advisor核心目标结合正交XY/YZ双平面投影生成带三维空间坐标的结构化修正指令双视角定位XY平面确定左右上下YZ平面区分前后深度指令标准化模板FN断裂Connect [起点三维位置] to [终点三维位置]/Repair break at [三维位置]FP噪声Remove isolated noise at [三维位置]输出自然语言指令tit_iti作为TopoRefineNet跨模态输入实现高层推理与底层体素操作解耦。3.2.3 修改校验器 Change Validator双重校验标准必须同时满足才接受本次修正指令依从性掩码修改完全匹配指令指定位置、操作连接/删除拓扑提升碎片化程度降低、无新增伪影单次修正不达标则触发重试多次失败后移交人工标注修正。完整校验判定提示词附文末附录。3.3 TopoRefineNet指令驱动三维掩码编辑网络3.3.1 网络架构图3-a视觉编码器3D U-Net主干拼接原图IiI_iIi与初始掩码MiM_iMi输入输出分层三维视觉特征金字塔文本编码器冻结Qwen3 Embedding将修正指令tit_iti编码为固定维度文本特征跨注意力融合层瓶颈层视觉特征与文本指令特征做交叉注意力根据指令动态调整各区域特征权重解码器跳跃连接融合浅层细节特征上采样输出优化后二进制掩码MrefinedM_{refined}Mrefined。核心公式FL′vsoftmax(WqFLv(WkFt)⊤dk)WvFt \mathbf{F}_{L}^{\prime v}\text{softmax}\left(\frac{\mathbf{W}_{q}\mathbf{F}_{L}^{v}(\mathbf{W}_{k}\mathbf{F}^{t})^{\top}}{\sqrt{d_{k}}}\right)\mathbf{W}_{v}\mathbf{F}^{t}FL′vsoftmax(dkWqFLv(WkFt)⊤)WvFt融合特征送入解码器完成条件掩码生成MrefinedD∘CrossAttn(Eθ([Ii;Mi]),Tϕ(ti)) M_{\mathrm{refined}}\mathcal{D}\circ\text{CrossAttn}\big(\mathcal{E}_{\theta}([I_{i};M_{i}]),\mathcal{T}_{\phi}(\mathbf{t_{i}})\big)MrefinedD∘CrossAttn(Eθ([Ii;Mi]),Tϕ(ti))3.3.2 两阶段课程式训练策略图3-b阶段1合成缺陷预训练基于真实GT掩码人工制造可控缺陷FN断裂随机腐蚀核5~20制造长短神经元缺口FP噪声随机复制无关神经元片段、叠加高斯点状伪影同步生成对应修正指令学习文本-三维掩码跨模态对齐阶段2真实缺陷微调用3D U-Net、nnUNet、SwinUNETR等主流模型推理生成带真实缺陷掩码Qwen3-VL自动生成对应修复指令共5310份128×128×64训练样本损失函数交叉熵损失 Dice损失联合优化。4 实验4.1 实验基础配置4.1.1 三大标准数据集BigNeuron多物种、多实验室标注神经元形态尺度差异大CWMBS 小鼠全脑数据集分辨率0.2×0.2×1μm分为弱信号、强噪声两大子集ZBFWB 斑马鱼幼体数据集分辨率0.5×0.5×1μm长距离轴突、低对比度、复杂网络测试难度最高。4.1.2 定量评价指标像素级精确率Precision、召回率Recall、F1分数越高越好拓扑距离SD平均双向距离、SSD过滤2像素内匹配的长程拓扑误差越低越好形态完整度MES量化缺失/多余神经分支总长度越高拓扑越完整。4.1.3 实验超参智能体基座Qwen3-VL-8B文本嵌入Qwen3 Embedding 0.6B图像分块尺寸128×128最大迭代Tmax5T_{max}5Tmax5TopoRefineNet训练epoch按两阶段划分批次自适应对比基线原生3D分割3D U-Net、V-Net、nnUNet、SwinUNETR、SGSNet、GBP-Net、ADTL-Net通用细化算法Mask Transfiner、SegFix、SegRefiner。4.2 定量主实验结果表1 CWMBS数据集定量指标%模型弱信号子集强噪声子集SD↓SSD↓PRE↑REC↑F1↑MES↑SD↓SSD↓PRE↑REC↑F1↑MES↑3D U-Net28.3533.7193.8562.3774.9446.2124.9831.6194.1669.5779.2354.30nnUNet25.9731.6695.0368.8279.8354.7633.6539.8990.3861.4373.1452.19GBP-Net11.8519.2795.0683.5088.9167.0917.1524.9493.4175.9383.7759.41SegRefiner17.6123.7994.9277.8485.5462.3121.6427.8092.1972.8481.3857.91本文NeuroRefiner9.1715.2195.7285.0590.0770.3213.2919.5294.3179.6686.3764.39表2 BigNeuron ZBFWB数据集结果数据集模型SD↓SSD↓PRE↑REC↑F1↑MES↑BigNeuron3D U-Net7.2311.2783.1589.7686.3366.82BigNeuronGBP-Net4.898.4188.8389.2389.0370.77BigNeuronSegRefiner5.799.9487.1889.2388.1969.27BigNeuronOurs3.396.9489.7490.3790.0572.02ZBFWB3D U-Net38.6545.4186.3363.1572.9453.63ZBFWBGBP-Net20.3528.4491.1376.3983.1171.41ZBFWBSegRefiner30.1836.2588.2565.1974.9960.32ZBFWBOurs16.3123.6692.7780.3886.1374.25核心结论全部数据集下SD/SSD拓扑距离显著降低MES完整度大幅提升ZBFWB最难场景对比最优原生GBP-NetF1提升3.02%通用细化算法仅修复局部边界无法解决长轴突断裂问题本文拓扑感知多轮优化优势明显。4.3 消融实验4.3.1 多智能体组件消融表3全局检测器优化顾问修改校验器ZBFWB SSD / F1CWMBS SSD / F1无无无34.52 / 76.3930.23 / 79.96✓无无32.05 / 77.2928.47 / 80.34✓✓无25.24 / 83.4718.93 / 87.14✓无✓30.69 / 81.4324.53 / 83.12✓✓✓23.66 / 86.1316.65 / 88.83结论三类智能体缺一不可分工协同实现最优拓扑优化效果缺少校验器会产生大量无效修改损害指标。4.3.2 基座视觉大模型消融表4VLM基座CWMBS SSD / F1ZBFWB SSD / F1Intern-VL3-8B17.70 / 87.9428.11 / 83.81Qwen2.5-VL-7B18.33 / 87.1427.31 / 84.77Qwen3-VL-8B本文16.65 / 88.8323.66 / 86.13结论框架性能不依赖特定大模型更换轻量VLM依然稳定优于基线。4.3.3 全局检测器输入消融表5全局M^xy分块掩码{M_i^xy}贝蒂数β₀ZBFWB SSD / F1CWMBS SSD / F1✓32.86 / 77.3627.11 / 81.89✓✓26.27 / 80.7921.47 / 85.09✓✓29.16 / 82.4125.93 / 82.64✓✓✓23.66 / 86.1316.65 / 88.83结论全局投影、分块局部信息、拓扑贝蒂数三者结合才能完整定位三维深度方向的隐蔽缺陷。4.3.4 TopoRefineNet融合模块消融表6融合方案CWMBS SSD / F1ZBFWB SSD / F1AdaLN19.37 / 86.4626.78 / 84.38CDP通道点积17.89 / 88.0722.14 / 86.07CAB瓶颈跨注意力本文16.65 / 88.8323.66 / 86.13结论瓶颈跨注意力在精度与计算开销间取得最优平衡两阶段训练去除后校验器拒绝率上升23.57%指标显著下降。4.3.5 迭代轮次消融图5所有数据集在前5轮指标提升幅度最大第5轮后趋于收敛因此实验统一设置Tmax5T_{max}5Tmax5难度越高的数据集ZBFWB迭代收益越明显。5 讨论与结论5.1 全文总结本文提出NeuroRefiner多智能体神经元拓扑细化框架通过全局检测、指令生成、修改校验三智能闭环搭配专用指令编辑网络TopoRefineNet解决传统分割模型碎片化、不可解释、无迭代纠错的痛点。整套框架无需微调LLM智能体仅训练轻量化3D编辑网络兼容任意初始分割掩码在三大神经元数据集全面超越现有SOTA为丝状生物三维显微分割提供全新可解释迭代优化范式。5.2 局限性当前全局检测器仅依靠二维MIP投影三维深度信息丢失高密度神经元重叠区域缺陷定位精度下降未来将引入深度伪彩色投影、深度加权特征编码还原完整三维空间信息。5.3 未来拓展方向深度感知全局检测模块解决高密度神经元遮挡缺陷拓展多模态电镜、共聚焦、光片显微通用神经元细化引入人类反馈强化学习持续优化智能体指令生成质量轻量化TopoRefineNet实现本地离线快速推理。附录三大智能体完整提示词附录1 全局检测器提示词你是神经元分割拓扑质检专家基于分割掩码、连通域数量评估掩码完整性。 任务输入全局分割图、各子块掩码、每块连通域CC数量。 理想结果整张图神经元连通域极少无孤立点状噪声。 缺陷判定规则 1. 假阴性FN神经元断裂块内大连通域相互靠近但断开、骨架中途截断、块边界神经元无延续 2. 假阳性FP孤立噪声微小点状孤立区域、形态非细长管状、与主干无连接 3. 正常块内连通完整符合神经元丝状形态。 执行流程 1. 优先筛选CC数值异常高的分块 2. 观察块内结构区分FN/FP 3. 检查块边界连续性 输出格式JSON {块ID:FN/FP}无缺陷输出空{}禁止脑补原图信号仅依据掩码判断。附录2 优化顾问提示词3D神经元显微图像修复专家可通过XY、YZ双平面投影推理三维空间。 输入XY原图、XY掩码、YZ原图、YZ掩码、缺陷类型FN/FP 推理步骤 1. XY平面定位缺陷上下左右 2. YZ平面区分前后深度图左侧前 3. FN断裂分长距离连接/局部缺口两类指令FP删除孤立噪声 指令必须包含三维方位如top-left-rear禁止模糊描述严格基于图像可见信号生成指令。附录3 修改校验器提示词神经元分割修正校验专家输入修正前掩码、修正后掩码、修正指令。 两条标准必须全部满足才判定ACCEPT 1. 指令依从修改区域、操作完全匹配指令 2. 拓扑提升断裂减少、噪声消除无新增伪影 判定逻辑ACCEPT 指令匹配 AND 拓扑改善 输出结果ACCEPT/REJECT理由简述不通过原因拓扑退化/指令不匹配。
