每周论坛 | 自尊的自动识别：基于自我介绍任务的多模态数据采集与特征提取

报告主题：自尊的自动识别：基于自我介绍任务的多模态数据采集与特征提取

报 告 人 ：杨娟

报告单位：西南大学心理学部

报告时间：2025年12月15日 14:20-16:00

报告地点：心理学系系楼305

讲座简介

      自尊测量主要有两种思路：其一是自陈式量表测量，通过被试的主观报告来评估自尊水平，但这种方法容易受到社会期望效应的影响，导致测量结果存在偏差；其二是认知反应时测量，通过分析个体对自我积极属性的内隐态度来间接评估自尊。然而，由于内隐测量在结构效度和预测效度方面表现较低，其有效性一直受到学界的质疑。
近年来，人工智能的兴起使得通过客观的自然行为来有效识别自尊成为可能。本研究分别招募了两批独立的大学生被试（N = 211; N = 63），并收集了40秒的自我介绍视频和罗森博格自尊量表得分。然后，从视觉、音频和文本三种模态中提取行为特征，并使用211名被试的数据集训练四个机器学习模型（支持向量机SVM，逻辑回归LR，朴素贝叶斯分类器NBC，线性判别分析LDA）。
      结果表明，晚期融合的多模态模型在三分类的自尊识别中表现出了最高的性能（ACC = 0.498; Macro-F1 = 0.484）。此外，在独立的63名被试数据集上进一步验证了该模型的跨样本泛化性（ACC = 0.381; Macro-F1 = 0.379）。进一步，信度检验显示在100次10折交叉验证中模型预测的评分者间一致性良好（Fleiss ' κ = 0.723; ICC = 0.745）；效标关联效度表明，本方法识别的自尊水平与生活满意度、主观幸福感、积极和消极情绪、抑郁、焦虑、压力、关系自尊和集体自尊均显著相关。此外，增量效度分析还表明，本方法识别的自尊水平提供了RSES以外的预测价值。
      综上所述，这些发现提供了初步证据，表明多模态的自然行为特征有助于实现自尊的自动识别，为传统的自尊量表测量提供了一种低负担且可行的补充。

报告人简介

      杨娟，西南大学三级教授，博士生导师。现任认知与人格教育部重点实验室副主任，西南大学人类实验伦理委员会主任，西南大学心理学部发展与教育心理学系主任。入选重庆市学术技术带头人、重庆市课程思政教学名师、重庆英才青年拔尖人才和巴渝学者青年学者。
      研究方向为自尊心理学和应激心理学，探究自尊的认知测量、行为特征测评和神经标记物测量；结合心理学、生理学、脑科学和内分泌学探讨应激复原的保护性因素。主持国家自然科学基金项目4项，合作承担国家重点研发计划-青年科学家项目1项。
      研究成果发表在Psychological Medicine, Journal of Personality, Journal of Research in Personality等领域重要期刊，其中ESI高被引论文2篇，ESI热点论文1篇，封面论文1篇。获得国际心理神经内分泌学会学者新秀奖，重庆市教育科学优秀成果二等奖和重庆市哲学社会科学三等奖。