3 Method
3.1 Problem Definition
3.2 Framework Description
总体框架如图2所示，由三个主要部分组成：初始嵌入采集模块、结构引导模块和模态融合模块。
3.3 Initial Embedding Acquisition
3.3.1 Structural Embedding
3.3.2 Relation, Attribute, and Visual Embedding
3.4 Structure-guided
3.4.1 Structure-Guided Visual Embedding
3.4.2 Structure-Guided Attribute Embedding
3.4.3 不对关系应用结构引导的原因
我们选择不对关系应用结构引导，因为关系天然存在于两个相邻实体之间，并且已经通过它们的交互明确地建模。在图结构中，关系自然捕捉实体间的语义信息，因此额外的 GAT 引导是没有必要的。与属性或图像嵌入相比，关系的表示已经足够稳健，进一步的引导可能会引入冗余，或对模型性能产生负面影响。
3.5 Modality Fusion
在本模块中，我们遵循Chen等人（2023a）对vanilla Transformer进行调整（Zhou等人，2021）
3.5.1 Modal representation generation and interaction
3.5.2 Multi-head cross-attention and processing
3.5.3 Fusion representation generation
3.6 Optimization Objective
