多模态教学观摩研讨纪实（基于多模态数据的智慧课堂教学互动）
多模态教学观摩研讨纪实（基于多模态数据的智慧课堂教学互动） 智慧课堂由于技术作用的发挥使得教学互动分析更加复杂，互动产生的数据量大且数据类型更多样。早期基于技术的教学互动分析大多以弗兰德斯互动分析系统为蓝本，增加技术互动维度、完善师生语言互动分类而形成了基于信息技术的互动分析编码系统(ITIAS)[25]、改进型弗兰德斯互动分析系统(iFIAS)[26]、1:1 数字化环境下课堂教学互动行为分析编码体系(One-to-One Techno-Based Interaction Analysis System，OOTAIAS)[27]和智慧教室环境下的课堂教学互动分析系统[28]。近两年，研究者借助大数据技术和可视化方法，对智慧课堂教学互动开展了多视角的探索。刘邦奇等利用大数据构建了智慧课堂教师—学生—媒介互动指数分析模型并对五种互动行为及数据关系实证分析[29];何文涛等利用IIS 图分析法和社会网络分析法分析智慧教室下和常规教室下协作学习的交互
随着教育信息化进程的不断推进，我国教育信息化建设已由前期的软硬件建设和教学资源开发的数字化教育阶段进入到当前以智慧学习建设和教学方法模式创新为标志的智慧教育阶段。教育部于2019年启动了“智慧教育示范区”建设项目，以促进信息技术特别是智能技术与教育教学深度融合，推动人才培养模式变革，满足新时代和信息社会创新人才培养需求[1]。智慧课堂作为一种智能技术与智慧教学深度融合的人工生态系统，其核心特征是强互动性[2-5]。智慧课堂中的教学互动多样又复杂[6]，不仅有师生之间、生生之间面对面互动，还有以智能技术为载体的师、生与技术三者间的全方位互动[7]。一方面，智能技术、物联网技术、社交媒体技术的快速发展和在教育教学领域的普及应用，为教学研究提供了大量的数据基础和工具支撑[8-9];另一方面，面对海量的教育大数据，如何选择数据、分析数据、解读数据，以厘清智慧课堂中的“人—机—物”交互作用机制，为教育教学提供科学的、精准化的数据支持[10-11]成为当前亟待解决的研究课题。也就是说，智慧课堂教学互动研究中，引入新视角、新方法已迫在眉睫。基于以上考量，本研究立足于智慧课堂教学互动的复杂性和多样性，从多模态学习分析的视角，尝试构建智慧课堂教学互动多模态分析框架，探索基于多模态数据的智慧课堂教学互动分析方法，以为大数据背景下智慧课堂研究提供理论支撑和实践探索。
二、智慧课堂中的教学互动多模态分析
(一)智慧课堂中的多模态数据
智慧课堂是在智慧学习环境中，通过师、生、技术三者之间的全向互动而生成的教与学活动的综合体。智慧课堂是以互联网、大数据、人工智能等现代信息技术所搭建的智慧学习环境为前提条件的，搭建好的学习环境可称智慧教室或智慧校园，但还不能称之为智慧课堂。课堂是教和学的活动发生的场所[4]，课堂教学是一种特殊的社会活动[12]。只有当师生在智慧教室中开展具体的教与学的活动，经由人—技术和谐共生和人机协同工作[13]，实现传统课堂难以完成的教学互动，进而促使传统课堂教学结构得以变革，最终指向学生智慧能力的发展时才可称为智慧课堂。
多模态数据(Multimodal Data，MMD)是相对于单模态数据而言的，通常将人类获得关于外部世界信息的方式称为模态。通过一种方式获取数据称为单模态;通过两种以上方式获取数据称为多模态[8，14-15]。多模态学习分析(Multimodal Learning Analytics，MMLA)是利用多种分析技术对学习过程中的多模态数据(语言、表情、手势、肢体动作等)进行同步采集、整合处理和融合分析，以揭示复杂学习环境中的学习机制，为教与学提供科学的、精准化的数据支持的学习分析技术，近年来在教学研究中得到广泛应用[16-18]。
人类感知外部世界和人类交流互动是多模态相互作用的过程[19]，认知神经科学的研究表明多感官相互作用是人类处理感觉信息的规则，多感官相互作用发生在人类整个信息感知与处理过程中[20]。学习也不例外，学习是一个复杂的多维过程[21]。智慧课堂中学习者与教师、同伴、技术产品以及传统学具通过视觉、听觉、触觉等多感官通道的交互作用，经由言语信息和非言语双重编码—解码，完成意义建构的过程。因此，智慧课堂中有大量人—机—物之间经由视、听、触等互动方式生成的多模态数据。
(二)智慧课堂教学互动研究进展
教学互动作为课堂教学最为主要的活动形式，历来受到教育界学者的普遍关注。从教学互动概念的讨论到教学互动类型的划分，再到教学互动分析方法的提出，学界对教学互动的研究逐步深入。其中，弗兰德斯互动分析系统FIAS(Flanders Interaction Analysis System)[22]、语言互动类别系统(Verbal Interaction Category System，简称VICS)[23]以及S-T分析[24]都提出了一整套用于记录和分析课堂教学中师生言语互动或行为互动的观察分析工具，得到了广泛的实践应用和修改完善。
智慧课堂由于技术作用的发挥使得教学互动分析更加复杂，互动产生的数据量大且数据类型更多样。早期基于技术的教学互动分析大多以弗兰德斯互动分析系统为蓝本，增加技术互动维度、完善师生语言互动分类而形成了基于信息技术的互动分析编码系统(ITIAS)[25]、改进型弗兰德斯互动分析系统(iFIAS)[26]、1:1 数字化环境下课堂教学互动行为分析编码体系(One-to-One Techno-Based Interaction Analysis System，OOTAIAS)[27]和智慧教室环境下的课堂教学互动分析系统[28]。近两年，研究者借助大数据技术和可视化方法，对智慧课堂教学互动开展了多视角的探索。刘邦奇等利用大数据构建了智慧课堂教师—学生—媒介互动指数分析模型并对五种互动行为及数据关系实证分析[29];何文涛等利用IIS 图分析法和社会网络分析法分析智慧教室下和常规教室下协作学习的交互内容与社会网络进行了考察[3]。王冬青等从智慧课堂教学互动数据的可视化分析与交互呈现视角，提出了由描述层、诊断层和建议层组成的智慧教学动态生成性数据分层分析框架[30]。
智慧课堂教学互动分析体系越来越多、越来越完善，为后续研究提供了多样性的视角和有益的实践经验。但是也存在一些不足，例如编码仍然偏重言语互动层面、对互动行为的归类较笼统、对技术的作用没有很好地区分等。正是由于智慧课堂教学互动的多样性和复杂性，研究者分别尝试利用多种不同方法对其进行考察，多元回归分析、分类聚类、滞后序列分析、关联规则挖掘、文本内容分析以及社会网络分析都是智慧课堂分析中常用的技术和方法[29]。然而，近年来，对越来越多学习过程多模态数据的分析，研究者发现智慧课堂研究仍然需要探索有效的研究工具和方法[31]。多模态学习分析作为一种整体分析，相比于传统分析方法，它能更加完整、全面地展现学习过程，为研究教育教学规律提供了新的视角和方法，为智慧课堂教学互动研究提供了多元的理论和技术支持[11]。本研究尝试基于多模态分析的视角，整合多模态数据来研究智慧课堂中的教学互动。
(三)智慧课堂教学互动多模态分析框架
智慧课堂教学互动会生成大量的多模态数据，为了合理、准确地构建智慧课堂多模态分析框架，本研究重新回到智慧课堂本身，综合考察智慧课堂核心关键特征和多模态学习分析的基本要求以确定智慧课堂教学互动的多模态分析框架。
首先，通过梳理可知，智慧课堂的七大核心关键特征(见表1)分别是物理环境、技术使用、灵活布局、资源共享、协同合作、学情分析与及时互动。智慧课堂七大关键特征中，物理环境、灵活布局、技术使用以及及时互动是智慧课堂最核心的特征，它们是构建智慧课堂其他特征的基础[4]。物理环境是智慧课堂最基本的特征，是智慧课堂区别于传统课堂的基本前提条件，是智慧课堂其他所有特征的基础;灵活布局为师生活动提供了大量协同合作的机会;技术使用为资源共享、协同合作与学情分析提供了技术支持;及时互动则是以语言交互为主体的课堂教与学活动的全面呈现。
表1 智慧课堂核心关键特征
其次，多模态学习分析的基本要求是数据的多源互补性，要力图尽可能详尽地收集学习过程中的语言、动作、表情、手势等多种模态信息，发挥多模态信息之间的互补作用，以全面准确地展现学习过程[8，11，14，21]。因此，在进行多模态数据分析时，要么考虑使用多个空间的数据来源，要么使用单个空间里的多种模态数据[16]。以平板电脑为主要支撑的智慧课堂教学互动是在物理空间中开展的，除了考察智慧课堂人—机—物三者之间的相互作用外，还要考察教师和学生外在可观察的行为表现数据即物理空间数据，如身体在物理空间的运动变化和位置变换等[32]。另一方面，智慧课堂除了言语互动，还存在大量的非言语互动。其中，肢体语言和肢体运动是多模态学习分析的一个非常重要的方面[33]，具身认知理论与行为研究的相关结果表明肢体语言在学习过程中扮演着重要的角色[34]。基于此，本研究从教学活动(Activity)、技术使用(Technology-usge)、位置移动(Moving)、身体姿态(Body Posture)四个维度构建ATMB智慧课堂教学互动多模态分析框架，如图1所示。
图1 ATMB智慧课堂教学互动多模态分析框架
ATMB智慧课堂教学互动多模态分析框架从教学活动(Activity)、技术使用(Technology-usge)、位置移动(Moving)、身体姿态(Body Posture)四个维度对智慧课堂教学互动进行分析。其中，(1)教学活动，是课堂关系存在的主要载体[10]，多模态学习分析应该从教学活动出发[19]，教学活动既包括以语言交互为主的师生互动，如师生课堂中通过语言提问与回答属于语言互动，也包括部分非语言互动，如教师刚提出问题，学生立刻举手应答则属于非语言互动。(2)技术使用，包括师生之间、学生之间借助信息技术而生成的师—技术—生三者之间的互动，技术使用为资源共享、协同合作与学情分析提供了技术支持，是智慧课堂区别于传统课堂的重要特征。(3)位置移动，是教师和学生在教室环境中发生的位置移动，是下部肢体(腿部 脚部)运动的观测数据。位置移动维度获取师生的位置、运动数据，揭示了每个人在智慧课堂中扮演的角色、教师参与小组活动的时间以及教室布局情况，是智慧课堂教学互动多模态分析的重要方面[32，35]。(4)身体姿态，是在教学互动中师生的面部和手臂产生的动作，是上部肢体(头 上半身 手臂)运动的观测数据。身体姿态获取师生头部朝向、手部指向和身体倾斜的数据，揭示了互动的对象、注意对象以及互动情感[36]。
三、研究设计
(一)研究对象
研究选取国家教育资源公共服务平台2019年度部级优课六节(智慧课堂3节 多媒体课堂3节)作为课例分析的对象，遵循ATMB智慧课堂教学互动多模态分析框架，以多媒体课堂教学互动作为对比，探索智慧课堂多模态数据分析方法。案例选取遵循三个原则：(1)教学内容相同，尽量减少教学内容差异对教学互动的影响;(2)声音录制清晰，能明确拾取到教师特别是学生的声音信息;(3)画面录制全景 特写，能整体观察到教学互动的全景和局部。
(二)研究方法
本研究主要采用多模态学习分析方法对智慧课堂教学互动过程进行分析。利用ELAN6.1软件，由两位研究人员对所选课例进行多模态标注与分析，再使用SPSS25对数据进行统计分析，并用GSEQ5.1对数据进行多事件交叉分类分析。
(三)数据编码
编码体系确立和具体编码过程如下，首先，由两位研究人员按照初步确定的编码体系对同一课例进行以3秒为间隔的独立编码。虽然时间间隔编码有其优点和缺点，但它却是同步多种行为数据非常好的方法[33，36-37]。接着，两位研究人员对初步编码过程中存在争议的部分进行协商，进一步完善编码体系、明确编码规则(如，当画面没有呈现师生的位置移动或身体姿态时，默认师生无位置移动、教师面向学生、学生面向屏幕，以减少编码的随意性)。最后，确定“ATMB智慧课堂教学互动多模态分析编码体系”，该编码体系从教学活动(Activity)[38]、技术使用(Technology-usge)[39]、位置移动(Moving)、身体姿态(Body Posture)四个维度对智慧课堂教学互动进行多模态学习分析，每个维度又分为教师(t)与学生(s)的观察点，见表2。两位研究人员各自按照共同制定好的规则对所选课例进行编码，并对编码数据进行校对，达成统一。
表2 ATMB智慧课堂教学互动多模态分析编码体系
四、数据分析
多模态学习分析与传统以语言为中心的分析方法不同，属于整体分析[40]，结合多种数据处理技术，获得对复杂学习过程整体学习图景的理解[36]。同时，多模态学习分析注重情境性，分析过程要考虑真实学习情境，包括任务情境、设备情境及时空情境等[8-9]。再者，多模态学习分析具有时序性特征，强调基于时间序列的数据采集和分析[11，34]。基于此，研究从多事件共现情形(Contextual Perspective)和多模态学习过程(Sequential Perspective)两个方面对智慧课堂教学互动展开多模态学习分析。数据分析部分以 “语文园地七”两个课例展开探讨，其中智慧课堂(s)共标注748组(748*8)数据，多媒体课堂(m)共标注760组(760*8)数据。所有1508组数据均为有效数据，无缺失数据。
(一)多事件共现情形分析—情境视角
为了了解智慧课堂多模态互动情景，清晰反映多模态数据共现情形，本研究将采用GSEQ5.1对数据进行多事件交叉分类统计，多事件交叉分类统计对了解事件的多方面共现情形很有用[9]，可以较好呈现多模态数据的共现情形。
1. 教学活动(A)单模态交叉分类统计
在分析多模态数据之前，先对以往教学互动研究关注最多的以师生语言互动为主的教学活动进行单模态分析，以呈现单模态分析与多模态分析在同一课堂教学互动分析中的区别。通过对单模态数据师生教学活动A交叉分类统计，得到智慧课堂单模态At-As互动序列65对(总数748组)，多媒体课堂单模态At-As互动序列35对(总数760组)。选取At-As互动序列最多的前10项作图表呈现，智慧课堂中前10项At-As互动序列占标注总数53.47%，多媒体课堂中前10项At-As互动序列占标注总数70.01%。表明智慧课堂前10项At-As互动序列呈现了整个课堂半数多单模态At-As互动情形，多媒体课堂前10项多模态A-T互动序列呈现了整个课堂七成单模态At-As互动情形。
如图2所示，智慧课堂与多媒体课堂单模态教学互动At-As分析可知，以师生语言互动为主的教学活动进行单模态数据分析得出的教学互动结果中，智慧课堂与多媒体课堂教学互动类型大体相似，但也存在差异，其中智慧课堂以教师指导、学生主动参与各种学习活动的教学互动更多，表明学生主动参与学习的机会也更多，而多媒体课堂教学互动以教师提问、学生应答、教师鼓励表扬为主。
图2 单模态At-As互动序列前10项对比
2. 教学活动与技术使用(A-T)多模态交叉分类统计
通过对多模态数据教学活动A和技术使用T交叉分类统计，得到智慧课堂多模态A-T互动序列174对(总数748组)，多媒体课堂多模态A-T互动序列67对(总数760组)。选取A-T互动序列最多的前20项作图表呈现，智慧课堂前20项多模态A-T互动序列占标注总数48.93%，多媒体课堂前20项多模态A-T互动序列占标注总数80.26%。表明智慧课堂前20项多模态A-T互动序列呈现了整个课堂约半数多模态A-T互动情形，多媒体课堂前20项多模态A-T互动序列呈现了整个课堂八成的多模态A-T互动情形。
如图3所示，智慧课堂与多媒体课堂多模态教学互动A-T多模态分析可知，除技术支持教师讲解—学生听讲、技术呈现内容—教师等待学生活动、技术呈现内容—教师提问—学生主动应答等教学互动序列外，智慧课堂A-T多模态教学互动与多媒体课堂相比有其突出特点：其一，教师注重借助技术分享学生学习成果，并和学生一起对学习成果进行评价反馈，体现了评价主体多元化的教学理念;其二，在学生开展技术支持的课堂练习和技术支持的交流合作活动结束时，教师充分利用智慧课堂技术优势进行学情分析，有利于师生双方及时了解学生活动情况。
图3 多模态A-T互动序列前20项对比
3. 教学活动—技术使用—位置移动—身体姿态(A-T-M-B)多模态交叉分类统计
由于GSEQ5.1进行多事件N-way table交叉分类统计最多可选七个事件，加之教师身体姿态在两种课堂分布上不存在显著差异，最终通过对多模态数据教学活动A(At和As)、技术使用T(Tt和Ts)、位置移动M(Mt和Ms)和身体姿态B(Bs)交叉分类统计，得到智慧课堂多模态A-T-M-B互动序列465对(总数748组)，多媒体课堂多模态A-T-M-B互动序列297对(总数760组)。选取A-T-M-B互动序列最多的前30项进行详细分析，智慧课堂前30项多模态A-T-M-B互动序列占标注总数26.47%，多媒体课堂前30项多模态A-T互动序列占标注总数43.42%。表明智慧课堂前30项多模态A-T-M-B互动序列呈现了整个课堂26.47%的多模态A-T-M-B互动情形，多媒体课堂前30项多模态A-T-M-B互动序列呈现了整个课堂43.42%的多模态A-T-M-B互动情形。
如图4所示，智慧课堂与多媒体课堂多模态教学互动A-T-M-B分析可知，在两类课堂中，教师都注重借助技术辅助讲解或呈现内容进行知识讲解、等待学生活动和提出开放性问题，与此同时学生则主动应答或倾听教师讲解，互动过程中，教师在讲台或走廊中与学生交互，学生注视屏幕或倾向教师给予回应。除此之外，两类课堂都呈现出各自突出的互动特点：智慧课堂中，教师特别注重给学生大量的学习时间和学习机会，让学生借助平板在小组内自由移动参与课堂练习、同伴交流、作品创作、成果分享、评价反馈等丰富的学习活动，教师则抓住时机给予引导，促使学生更深入地思考，学生学习的主动性很高;而多媒体课堂中，学生主动参与活动的机会比智慧课堂少很多，虽然也有学生面对传统课本进行课堂练习、面对同伴进行互动交流，但整个课堂中教师特别频繁地在走廊间走动、提出开放性问题、采纳学生意见、鼓励表扬，学生相应地坐在原位或起立面向教师、倾向教师、面向屏幕作出应答，学生主动学习的机会就少了。
图4 多模态A-T-M-B互动序列前30项对比
(二)多模态教学过程分析—时序视角
为了以时间序列分析智慧课堂多模态互动情形，研究选取两个课堂中成果分享与评价教学片断进行分析，分别绘制智慧课堂和多媒体课堂多模态教学过程图5和图6(横向表示时间序列，纵向表示多模态共现)。成果分享与评价是两个课堂中教学活动最后一个环节，是在学生复习完本节课知识点后，掌握词语的意思和比喻句的构成，根据教师给出的词语自己写出一个比喻句，并分享成果的教学环节。对比图5和图6可知，在成果分享与评价环节，两类课堂的教学互动表现出各自不同的特点：
图5 智慧课堂成果分享与评价多模态过程图
图6 多媒体课堂成果分享与评价多模态过程
第一，智慧课堂的成果分享是由学生将成果提交至教师端(T4)，教师通过大屏幕向全体学生展示(T5)完成的，学生身体姿态所呈现的交互对象依次是正前方(B9，B10，教师和屏幕在一起)、平板电脑(B17，B18)、屏幕(B13，B14)、学生(B15，B16)和教师(B11，B12);多媒体课堂的成果分享是由学生起立读出写在纸上的句子来分享的，学生发生的位置移动是在座位上起立或坐下(M6)，学生身体姿态所呈现的交互对象依次是教师(B11，B12)、学具(B20)、学生(B15，B16)和屏幕(B13)。
第二，智慧课堂中，学生完成学习成果时，教师会借助信息技术进行学情分析，使师生双方了解学生完成任务情况(纵向A-T序列A10-A12-T4-T15)，再开展成果分享与评价环节，学情分析是智慧课堂特有的教学互动。
第三，智慧课堂的评价活动由教师和学生共同完成(纵向At-As序列A11-A17)，学生利用平板电脑进行作业互评(纵向A-T序列A11-A17-T5-T9)，再由教师选取满分作品和扣分作品，向评价小老师提问(横向At序列A11-A5)“你觉得这个句子为什么写得好?”“XX的句子可以怎么改进?”使学生在评价同伴作品的同时，不仅巩固了知识点，而且学生之间实现了转换角色深入互动;多媒体课堂的评价活动是由教师主导进行的，学生只展示自己的成果(纵向At-As序列A11-A20)，教师对其进行点评和表扬(横向At序列A11-A3，A11-A2)，再进入下一作品的展示与点评，学生没有参与成果的自评或互评活动。
第四，智慧课堂中，当教师等待学生活动时，教师会走下讲台，来到小组中间观察学生的活动并给予指导(纵向A-M序列A6-A17-M3-M11，A8-A17-M4-M11);多媒体课堂中，不论是教师等待学生活动，还是点评作品或是鼓励表扬，教师都是在讲台上或前排走廊发生位置移动(M2，M1)，没有走进小组。
第五，智慧课堂中，教师更加注重学生之间的情感交互，教师会在学生互评结束时，引导全体学生为评价小老师和满分学生点赞(纵向A-M-B序列A8-A13-M5-M6-B1-B16，A8-A13-M2-M6-B2-B16，A8-A13-M1-M6-B2-B16)。
五、结论与反思
本研究从多模态学习分析的视角出发，对智慧课堂教学互动展开研究，构建了ATMB慧课堂教学互动模态分析框架，进而在具体课例分析的基础上形成了ATMB智慧课堂教学互动多模态分析编码体系，并对智慧课堂教学互动多模态数据进行了初步探索分析。研究表明：(1)ATMB智慧课堂教学互动多模态分析框架和编码体系能够有效地从教学活动、技术使用、位置移动和身体姿态四个维度呈现智慧课堂教学互动情形，反映智慧学习环境中人—机—物的相互作用。(2)多模态学习分析方法比单模态分析方法更适合于研究智慧课堂教学互动。从单模态教学活动A分析、多模态A-T交叉分析以及多模态A-T-M-B交叉分析三者对比可以看出，单从师生教学活动分析，智慧课堂教学互动有近一半单模态At-As互动序列与多媒体课堂共有，而随着分析模态的增加，智慧课堂与多媒体课堂的教学互动差异也更加明显。(3)基于多模态的智慧课堂教学互动呈现出显著特点，学生获得了大量的学习时间和学习机会，积极地参与到同伴讨论、作品评价、主动提问等教学活动中，教师适时利用信息技术开展成果分享、学情分析，使全体学生更清楚地了解自己和同伴的学习状态，同时，在学生小组活动、创作作品时，教师都会走进小组给予观察和指导，师生互动从未缺席。
在开展研究的过程中，笔者认识到当前研究存在的局限性，本研究重在开发编码体系，多模态编码过程都是人工完成的;同时，为了实现多模态数据的对齐，研究选取了3秒时间间隔编码，也存在一定局限性。后续研究要深入探索各模态数据自动采集、自动识别和自动化分析技术。
本文发表于《电化教育研究》2022年第3期
