四川外国语言文学研究中心研究团队在权威话语分析SSCI期刊发表最新成果 ...

眼动追踪数据在增强批判性话语分析解释力方面的潜力

陈贻雄，哲学博士，西南科技大学外国语学院教师，四川外国语言文学研究中心副主任，德国不来梅大学研究员（Wiss. Mitarbeiter）。陈贻雄博士长期聚焦多模态意义感知和批评话语分析的交叉研究，近期研究主要探索使用眼动实验和时序数据整合算法检验多模态话语分析基本理论构件的可能性和具体实现途径，研究成果出现在Multimodality and Society, Critical Discourse Studies, Benjamins Research Methods in Applied Linguistics, Wiley Encyclopedia of Applied Linguistics (2nd Edition) 等重要国际学术刊物上；是Visual Communication，Lingua，Linguistics and Education等SSCI学术期刊的特约审稿人。

Csilla Weninger，哲学博士，新加坡南洋理工大学国立教育学院副教授、英文系主任，Linguistics and Education（中科院SCCI二区）等多家学术期刊联合主编、主编和编委，主要研究领域包括（多模态）批判性话语研究、多模态交际及语言教育，特别关注媒体与数字技术如何影响读写教学。她在课堂话语分析、分析性读写能力和多模态研究方面著述丰富，参与编写、独立撰写多部学术著作。她还积极参与教师培训与课程开发工作，致力于推动语言教学理论与实践的融合。她的研究强调语言学习的社会文化维度，旨在通过实证研究提升教育教学实践水平。

｜前言｜

近日，西南科技大学外国语学院陈贻雄博士和新加坡南洋理工大学国立教育学院Csilla Weninger博士撰写的论文The potential of eye tracking data to strengthen CDA's explanatory power: The case of multimodal critical discourse analysis of advertising persuasion在国际权威话语分析期刊Critical Discourse Studies(中科院SSCI二区)2025年第4期上发表。

｜研究背景｜

多模态批判话语分析是批判性话语分析研究多模态转向的产物，主要研究多模态符号资源（如图像、文字、颜色和版式等元素）如何被用来施加权力、影响舆论和塑造知识结构和身份认同等社会进程。然而，多模态批判话语分析常用的理论框架存在不少的缺陷，引发了近期话语分析领域方法论层面的反思和讨论。

在此知识背景下，该研究以广告说服力为切入点，探讨挖掘眼动实验设计和高阶数据整合算法潜能、增强多模态批判话语分析解释力的具体路径，为多模态批判话语分析领域深入理解广告如何说服观众并影响其知识结构提供了更可靠、更科学的分析方向。因此，该研究可以定性为多模态批判话语分析理论方法论层面的概念性论文（conceptual paper），以理论框架、概念分析或模型构建为核心，实证数据主要用作概念验证（proof of concept）。

｜论证过程｜

该研究首先广泛、深入地梳理了现有多模态批评话语分析有关广告说服力的研究，归纳了其中常见的几大假定（assumptions），并结合认知科学相关研究成果详细讨论了这些假定存在效度问题及方法论影响。

在此基础上，该研究分析了前述假定存在的根源：这些假定之所以产生，主要是因为话语分析学者们既想通过话语分析揭示多模态广告的社会-知识影响，又意识到现有描述性符号学分析工具基本无法用来有效地解释多模态广告的社会-知识影响，只好（自觉或不自觉地）用未经实证数据检验的假定调和两方面的矛盾。该研究进而从元方法（meta-methodology）层面审视了以上目的和方法之间的矛盾，认为它源于多模态理论构建中理论思考与实证数据之间的脱节，直接导致多模态研究没有形成有效的从数据到理论构建的反馈闭环。

基于以上认识，该研究以广告说服力为切入点，结合作者前期研究成果，深入探讨了使用眼动实验数据和高阶眼动数据整合算法检验多模态理论构件和相关假定的效度、强化多模态理论构建中的数据-理论反馈闭环、进而提升多模态批判话语分析解释力具体路径，主要包含以下三个方面：

（一）破解眼动实验设计中可操作化定义的难点。使用眼动实验检验多模态理论构件效度的一大难点是如何将多模态理论概念转化成可以测量的眼动事件。本研究创造性地从跨学科的视角出发，依托将模型视为“典范符号”的构想，提出并验证了解决多模态理论概念可操作化定义难题的有效路径。

（二）突破现有眼动数据分析的现实瓶颈。现有基于眼动技术的多模态研究大多都只分析单个被试的眼动轨迹数据，或者使用基于频次的统计学方法分析被试的集合数据。以上这些分析方法都有明显的缺陷：单个眼动轨迹缺乏必要的概括力，基于频次的统计学方法无法充分捕捉眼动数据的时间顺序特性。鉴于此，本研究将计算机科学的研究成果引入到多模态研究中，通过眼动数据整合算法（Scanpath Trend Algorithm, STA）计算一组被试在特定任务情况下共同的视觉轨迹，弥补了现有分析方法的缺陷。

（三）检验多模态理论构件效度的具体方法。本研究认为，前述（一）和（二）的研究进展可以用来系统地检验多模态理论构件的效度以及多模态批评话语分析中假定的可靠性，并结合前期研究中的数据论证了该方案的可行性。值得注意的是，该研究还讨论了眼动数据及眼动数据整合算法在实现该目的方面的局限以及使用口头汇报数据弥补这些缺陷的具体做法。

｜结论｜

该研究的主要结论是：以社会符号学/视觉设计语法为达标的多模态分析框架（或至少在其常见多模态应用分析方式中）对接收端多模态意义解读存在过度概括与简化的问题，而通过眼动追踪实验、数据聚类技术并结合口头报告等多种验证手段，能够获得对话语解读更精细化的理解。

｜研究亮点与不足｜

从学科融合的视角，以跨学科方法解决多模态理论研究及多模态批评性话语分析中的重大研究方法论问题，是对当前多模态研究方法论反思与讨论的重要贡献（审稿人一语）。

针对用眼动实验检验多模态理论构件效度的论证可以更加有力些（审稿人二语）。

｜原文地址｜

Chen, Y., & Weninger, C. (2025). The potential of eye tracking data to strengthen CDA's explanatory power: The case of multimodal critical discourse analysis of advertising persuasion. Critical Discourse Studies, 22(4), 413–431.

https://doi.org/10.1080/17405904.2024.2331641