Reasoning Like Experts: Leveraging Multimodal Large Language Models for Drawing-based Psychoanalysis

📅 2026/7/13 16:28:48
Reasoning Like Experts: Leveraging Multimodal Large Language Models for Drawing-based Psychoanalysis
文章核心总结与翻译一、主要内容本文聚焦多模态大型语言模型(MLLMs)在主观情感与心理分析领域的应用空白,针对广泛用于临床心理评估的房-树-人(HTP)测试,提出了一种名为PICK的多步骤推理框架,用于基于绘画的心理分析。核心问题:现有MLLMs在客观多模态任务中表现出色,但难以解读绘画中的主观心理线索,面临草图与自然图像差异大、视觉元素与心理状态关联复杂、缺乏专业知识支撑、绘画信息存在多层级结构等挑战。框架设计:层级化绘画分解:将绘画拆解为单物体、多物体和整体三个层级的子图,分别捕捉物体细节、物体间关系及整体风格。多层面分析:单物体层级通过专业特征提取模块(结合HTP知识库和强化学习)生成动态物体特征,结合固定通用特征构建心理画像;多物体层级分析物体空间关系与交互;整体层级关注全局风格特征(如阴影、笔触)。多信息融合:通过加权平均整合三个层级的分析结果,输出心理状态(正负向)预测。实验验证:在两个HTP数据集(HTP_College、HTP_Child)和两个情感数据集(ArtPhoto、Emotion6)上进行实验,PICK在心理障碍诊断的F1分数上比基础模型平均提升10%以上,且在情感理解任务中表现出良好的通用性。二、创新点提出首个零样本绘画心理分析框架PICK,通过层级化分解