Masked BRep Autoencoder via Hierarchical Graph Transformer这篇论文介绍的模型架构名为Masked BRep Autoencoder (MBRE)它是一种专为 CAD 模型边界表示BRep设计的自监督学习框架。其核心是一个分层图 Transformer (Hierarchical Graph Transformer)架构。该架构的设计初衷是为了解决 CAD 模型中存在的极端尺度差异例如巨大的平面与微小的圆角共存以及数据冗余问题。模型整体架构该模型由编码器 (Encoder)和解码器 (Decoder)两大部分组成采用了类似于 MAE (Masked Autoencoder) 的自监督学习逻辑通过重建被遮掩Masked的几何信息来学习特征。1. 编码器 (Encoder)编码器分为两个阶段将原始的 CAD 几何数据逐步转化为高层的语义表示BRep 编码器 (BRep Encoder)将 BRep 模型转化为gAAG (Geometric Attributed Adjacency Graph)即带有几何属性的邻接图。双分辨率策略针对每个面Face同时采样3 × 3 3 \times 33×3全局语义和13 × 13 13 \times 1313×13局部细节两种分辨率的 UV 网格。使用并行的2D CNN处理面几何MLP处理面属性使用1D CNN处理边Edge几何。图编码器 (Graph Encoder)这是核心部分结合了全局与局部学习跨尺度互注意力模块 (CSMA Block)使用低分辨率特征作为查询Query从高分辨率特征中提取关键几何变化捕捉全局长程依赖。局部拓扑消息传递 (MPNN)在 Transformer 处理完全局信息后使用消息传递神经网络聚合邻域的拓扑连接关系。2. 解码器 (Decoder)为了降低重建难度解码器采用了两阶段设计图解码器 (Graph Decoder)首先在图空间中重建中间节点和边的特征使用 MPNN 结构。BRep 解码器 (BRep Decoder)包含四个并行分支将图特征映射回显式的几何和属性。几何分支采用FoldingNet结构一种专门用于变形点云的解码器将潜变量恢复为 3D 坐标、法向量等。属性分支使用 MLP 回归预测面的类型、面积、质心等离散属性。核心技术特点组件功能描述Masking 策略在输入层直接遮掩 70% 的原始几何和属性强制模型根据上下文推断缺失结构。CSMA 模块解决 CAD 冗余问题防止模型被大面积的平坦表面“淹没”专注关键特征。双分辨率采样显式分离全局形状信息与局部精细结构。两阶段重建通过中间特征监督和显式几何重建5 项 Loss 联合优化增强学习稳定性。“我们的层级图 Transformer 编码器通过跨尺度互注意力CSMA瓶颈无缝集成了全局几何上下文并通过显式的局部消息传递保留了关键的局部细节。” Conclusion要将这个预训练模型扩展到零件识别Part Classification实际上是完成从“理解局部零件”到“总结整体身份”的转变。按照论文中的做法可以分为以下四个具体步骤1. 提取全局特征Global Feature Aggregation编码器最初输出的是每个面Face的特征。对于零件识别这种“整体性”任务需要把所有面的特征“揉”在一起形成一个代表整个零件的向量做法将编码器输出的所有面特征进行全局池化Global Pooling例如取平均值或最大值。意义这个全局向量就像零件的“指纹”包含了模型整体的几何分布和拓扑结构信息。2. 挂载分类头Task-specific Head在预训练好的编码器后面接一个专门负责分类的子网络结构通常是一个简单的多层感知机MLP。输出最后一层的大小对应你想要识别的零件种类数量比如 26 类字母零件或各种工业标准件。3. 监督微调Fine-tuning利用带标签的零件数据集如论文中提到的SolidLetter对模型进行训练两阶段更新分类头使用较大的学习率从头开始学习如何根据特征下结论。预训练编码器使用极小的学习率进行微调或者在数据极少时直接冻结Frozen。损失函数使用标准的分类型损失函数如 Cross-Entropy Loss。4. 实验证明的效果根据论文的实验数据这种扩展方式非常高效高精度在 SolidLetter 26 类字母零件分类任务中准确率达到了97.91%。泛化性即使在预训练时完全没见过某种类型的零件仅靠少量的标注样本如 10-shot 或 20-shot模型也能快速学会识别。性能表现参考您可以参考下表了解其在不同标注数据量下的表现以 SolidLetter 数据集为例模型10-shot 准确率20-shot 准确率全量数据准确率BRep-BERT68.71%75.92%97.76%BRepFormer76.53%84.25%97.59%Ours (本模型)82.51%89.58%97.91%“在微调阶段我们训练一个新的网络该网络是通过在编码器后面连接一个特定任务的头部形成的并使用带有不同损失函数的少量标签数据进行训练。” Method