符号学和电影的关系（艺术符号学专栏）
符号学和电影的关系（艺术符号学专栏）在模拟时代，主要的支配媒介与符号被编码成信息的地方有关。例如，舰队街(Fleet Street)的《泰晤士报》(The Times)一旦编辑、撰写和印刷，就会将各种不同的符号组合成信息，并以一种易于理解的印刷形式呈现出来。报纸的媒介是铁路运输，后来也包括高速公路和航空运输。在城市层面的实物交付包括卡车、自行车和人工交付。读者作为报纸的接受者，会产生解释项。这些解释项中只有一小部分是在舰队街产生的，后者是报纸被编写(编码)和印刷的场所。在这种语境下，认识“信息”需要理解古典修辞学概念与实用主义逻辑三段论之间的关系，即一个命题必须在这个世界上有某种可以观察到的效果才具有意义。信息是数据(符号)的一种有组织的表示形式，其本身将多个单一符号转换为一个新的复合符号。在皮尔斯符号学中，一个符号要成其为一个符号，就需要一个解释项(interpretant)(在解释者头脑中产生的意义)。信息将多个单一符号
作者 | 柯岩·托玛瑟利 达米安·托玛瑟利 尹倩
摘要
文章提出一种全面的基于感官的符号学，以解释观众在虚拟现实(VR)投影设备实现的四维叙事中所操控的“交互式”选择。具体而言，文章提供了一种最广泛意义上的视觉成像的四维时空理论，并通过皮尔斯知觉理论进行解读，这一皮尔斯符号学方法在这里被扩展到包括将虚拟现实作为一种包罗万象的感官体验。一方面，从对模拟媒体(媒介、信息)和二维符号学电影理论的探讨入手；另一方面，重点观照四维的感官符号学。传统上，电影艺术家往往依赖于画家的视觉感受力、诗人的视觉观察力和有声语言，以及音乐家的时间感，因而电影的多义性使得符号学成为一种特别适合于二维电影分析的研究范式。然而，虚拟现实和增强现实(AR)等新媒体拓宽了“观众”的定义，即观众不仅是二维平面的“观者”，还成为了在图像、听觉和感觉的三维或更多的维度上观影的“参与者”，且这些维度看起来均是真实和有形的。因此，三元现象符号学解释将解释者包括在对故事的操纵中，从而与二维结构主义电影符号学形成对比。
关键词
虚拟现实；增强现实；交互媒体；时空；显象学；电影符号学；
1 媒介、信息、渠道[1]
“媒介”(medium)一词在历史上被用来描述报纸(通过陆运/空运/海运)、广播/电视(通过电磁传输)和电影(celluloid 赛璐珞)。尽管使用电缆、电信和卫星所涉及的技术可与后者相媲美，但这里的关键术语不是“媒介”，而是“信息”(对内容进行编码的符号)。
在这种语境下，认识“信息”需要理解古典修辞学概念与实用主义逻辑三段论之间的关系，即一个命题必须在这个世界上有某种可以观察到的效果才具有意义。信息是数据(符号)的一种有组织的表示形式，其本身将多个单一符号转换为一个新的复合符号。在皮尔斯符号学中，一个符号要成其为一个符号，就需要一个解释项(interpretant)(在解释者头脑中产生的意义)。信息将多个单一符号转换为一个对象，这个对象的符号作为一个解释项基于一些(一组)习惯进行操作。
在模拟时代，主要的支配媒介与符号被编码成信息的地方有关。例如，舰队街(Fleet Street)的《泰晤士报》(The Times)一旦编辑、撰写和印刷，就会将各种不同的符号组合成信息，并以一种易于理解的印刷形式呈现出来。报纸的媒介是铁路运输，后来也包括高速公路和航空运输。在城市层面的实物交付包括卡车、自行车和人工交付。读者作为报纸的接受者，会产生解释项。这些解释项中只有一小部分是在舰队街产生的，后者是报纸被编写(编码)和印刷的场所。
事实上，工业时代的媒介是将知情数据(informed data)从组成空间转移到解释空间(变得“知情”)的一种方式。电影、广播和电视使书籍、报纸和连续剧集中在一起。所有这些通常都依赖于信息在这些空间之间的物理传输。
新的数字媒体涉及不同的活动。例如，创建一个网页，包括将符号组织成信息，而页面本身则成为一个合并的符号，类似于舰队街的编辑实践。电子通知发送给订阅者、听众，以及身处家中、工作地点或往返路途中的观众。该页面上传到文件服务器，并定期添加更多信息。这就是在生产和销售阶段所发生的一切。
相比之下，报纸、广播和电视(有线电视和电视节目)则交由解释者们。他们负责制作和包装多个符号(数据)，成为一个新符号的对象——包括报纸版本、广播或电视节目——并以一种完整的形式到达其要被解释的地方。马歇尔·麦克卢汉(Marshall McLuhan)[2]正是由于充分理解了这一点，而将“媒介”划分为“冷媒介”和“热媒介”。然而，事实上，具有上述特质的不是媒介，而是信息。媒介相对而言只是一个哑管道，信息沿着它被传输到解释项的语境中。“信息”实际上是作为符号封装(程序、版本)的对象。
相比之下，虚拟现实(virtual reality 简称VR)则必须考虑用户访问网站以获取特定“事件”或“服务”的方式的结果。个体观众可以进入任意数量的网站，在这些网站上，他们可以与其他参与者一起参与交互式体育活动(格兰披治大赛游戏)、战略游戏(帝国时代)、智力游戏(国际象棋、扑克、桥牌)以及共享交流空间(用户列表；聊天室、社交媒体)。这些活动保留了一些类似特性。它们有一个共同特性，即作为解释项，为了完成符号(即体验叙事事件)，人们必须到达那里，而不是在这里等待。
2 早期电影符号学
在定义电影形象的本质时，20世纪60年代的理论家引用了符号学(semiology) 即对以叙事语言为基础的符号系统的研究。电影符号学不同于其他电影理论，它并不关注形式和目的，也不关注观众和观众的诠释，而是关注代码的解释。符号学是所有代码和子代码的集合，这些代码和子代码结合起来，在媒介(电影)的表现过程中产生意义或含义。电影符号学假设电影的代码将观众“定位”到一个导演预期的特定解释性反应中。除了异常(即错误)之外，这个理论并不能解释不同的观众反应。
克里斯蒂安·麦茨(Christian Metz)[3][4]确定了电影(和电视)的五种基本代码： 1) 图像；2) 包括书面材料在内的图形印迹；3) 演讲；4) 音乐；5) 噪声和音效。然而，麦茨忽略了故事世界结构的物理和修辞方向(时空)，在某些情况下，例如虚拟现实，它成为通过周围的越轨感官通道解释信息的内在因素。在虚拟现实之中，文本围绕着观众，观众是参与者(生产者-消费者)；参与者通过选择叙事结果，将解释项的地位从一级存在提升到三级存在(参见表1)。与虚拟现实不同，基于帧的电影则更为静态，并且可以在不同的观看场景之间进行复制。
表1 显象学图表： 虚拟现实[5]
显象学(phaneroscopy)是对显象(phaneron)的描述，显象是所有呈现在大脑中事物的集合。查尔斯·皮尔斯(Charles Peirce)将现象学(phenomenology)划分为一级存在、二级存在和三级存在，包括观察、感知和解释(由解释者给出)的活动，这些活动构成了显象。[6]例如，虚拟现实体验不仅呈现给大脑，还凭借活跃的有机体，通过情感解释项(emotional interpretant)和能量解释项(energetic interpretant)的运作而内化。虚拟现实能让人产生“在那里”(being there)的参与感(中心思想，一级存在，感觉和情感体验)。同时，演员/行动者/观众/解释者通过能量解释项操纵摄像机/投影仪。能量解释项解释了身体的生理反应，这是由头戴式显示器(用模拟术语来说即投影仪)实现的。情节选项(例如角色)是通过二级存在进行选择的。这些功能是通过多体验式虚拟现实实现的，观众可以通过它产生一种穿越电影拍摄场景(mise-en-scène)的感觉。这样，观众/参与者可以在预先编程的故事情节(三级存在，象征性，关系性)和放映或广播电影中所产生的知识之间进行选择。叙事是一种组合操作，根据事件的时间序列所驱动的内容以寻求顺序的封闭意义。事件是叙事的最小单位。[7]
要在增强现实(Augmented Reality 简称AR)和虚拟现实/游戏中诠释该符号，必须参与信息处理过程。游戏和交互媒体与以用户为中心的交互性作斗争，因为重要的情感解释项很难被唤起。提取和发现之间存在非正式关系。[8]在基于提取的修辞中，比如虚拟现实和类似《神秘岛》(Myst)这样的视频游戏，参与者在某种程度上被邀请通过启用导航交互的线索向文本行进。[9]这些设备通过情节链驱动情节，其中“在强制情节推进期间，所有非必要的情节活动暂停”，[10]这是因为采用了极简设计，没有分散注意力的结果。
这与“拒绝用户”符号学(如电影)形成了鲜明对比。增强现实和虚拟现实在人类思维和计算机输出之间架起了感官桥梁。当涉及解释者的“一级存在”体验时，感官通道就会显著地渗透到时空信息管道中。符号学在分析虚拟经验主义(virtual empiricism)方面是有效的，因为它承认解释项的作用。[11]这从根本上改变了讲故事的形式，从观众/听众的被动接受变成了身体操纵信息的主动参与。因此，分布和形式有一些共同点。感官的“分布”意味着它依赖于“一级存在”，因为它在身体内部传播感官/运动功能——身体成为信息(投影)分布过程的延伸；身体成为介质和解释者，通过三级存在连接一级存在。虚拟现实中的身体不仅仅是一个载体，或身体的延伸，正如麦克卢汉的理论框架一样；相反，它既是媒介，也是内容/信息。
与此相反，如上所述，互联网用户转向生产者，其网页被动地位于文件服务器上，直到被访问为止。网站和用户之间发生的媒体操作不等同于报纸、广播或电视，因为网站在激活时会提供提示。点击这些按钮则会激活一系列的提示，几乎是趋近无限的提示。
这里提出的基于感官的综合符号学解释了由虚拟现实投影设备实现的四维(4D)叙事中观众操控的“交互式”游戏选择。如果空间通过参与而获得意义，那么具有主动性的观者将就空间的直观和感官体验进行有意义的交流。空间以物质体验为前提；事实上，空间以一切为前提： 2D/3D/4D抽象的现实世界……现实……意义……存在。
作为身体——有大脑(产生解释项)的解释者——虚拟现实和相关技术在未来可能会在身体的拟像之间传递思想。模仿很可能超越自然，甚至提供超自然，从而产生一种新的变形的具身化结果。“不存在”(或“多存在”)成为新的虚拟的“不存在”的动态状态。网络将取而代之，而我们的身体却在他处。自拍和自我沉醉的屏幕文化也表明了数字链接。覆盖于这些之上的是一个日益增长的消费导向型社会的(远程)个性化[(tele)individuality]特质，当然是在数字链接的网络化城市中。这些路径是无穷无尽的，因此电影理论需要重塑，以预见这些发展。
3 从符号学(Semiology)到符号论(Semiotics)
经过这个关于信息是如何从A点到B点的开放式谈论，我们讨论语言类型。一般的电影理论完全回避了语言问题，而符号学家关注的是代码及其子代码之间的二元系统学(dyadic systematics)和语法交互作用(grammatical interactions)。符号学提供了一个更具包容性的接受分析框架，它将解释者、观众或旁观者(因此也包括听众)涵括在意义形成的三元过程中(通过解释项、链接对象、能指和符号进行解释)。早期俄罗斯电影理论家和实践者，如利奥·库莱肖夫(Leo Kuleshov)、弗谢沃洛德·普多夫金(Vsevolod Pudovkin)、谢尔盖·爱森斯坦(Sergei Eisenstein)或匈牙利电影评论家贝拉·巴拉兹 都没有尝试指定一套象征性代码，并将其作为电影语言学方法的基础。事实上，爱森斯坦的科学方法在逻辑上应该把他引向这个方向。然而，他的情感和宣传倾向却引导他在伊万·巴甫洛夫(Ivan Pavlov)心理刺激-反应理论的基础上构建了一套更具行为性的符号学。虽然爱森斯坦意识到语言应用的可能性，并经常谈及推导出一个合适的“范式”，但他的符号学思想仍然是模糊且受限的，这主要归于其论断，即电影作为艺术对观众产生了一种无法用普通的语言进行解释的影响。(当然，这种效果可以通过显象学和皮尔斯的解释项理论来进行解释，在这种情况下，是二级存在。)因此，爱森斯坦刻意回避了言语顺序推理的链条——尽管它有科学基础——而矛盾的是他将其与信息处理的对立情感、整合模式和关系模式联系在一起。
爱森斯坦使用蒙太奇技术——一种辩证的剪辑技术，将一系列短镜头按照顺序排列，以浓缩空间、时间和信息——在一定程度上阻碍了电影语言的发展，从而限制了有限的序列而不是整部电影的意义。换言之，蒙太奇绕过了语言学或符号学派生的语法，创造了一个由一系列并列图像拼贴而成的整体；这些图像太过于丰富，以致普通语法功能无法对其加以解释。甚至声音和有声图片的出现，也没有使爱森斯坦更趋向采用一种语言学的方法。在《管弦乐对位宣言》(Manifesto for orchestral Counterpoint)中，爱森斯坦、格里戈里·亚历山德罗夫(Grigori Alexandrov)和普多夫金接受噪声和音乐，但不接受言语。[12]
爱森斯坦的马克思主义辩证理论方法的矛盾基础使他无法识别符号代码，而符号代码是其科学概念得以表达的唯一系统。在电影符号学中，意义不是来自所描述的对象，也不是基于导演的逻辑。相反，它是通过电影语言中的一系列非个人化的代码进行筛选的。另外，安德烈·巴赞将电影语言等同于电影美学。这种方法是建立在摄影图像的索引特征基础上的，电影院被视作揭示意义的场所，而不仅仅是为了表现意义的媒介。这一理论依赖于风格而不是代码，依赖于自然符号而不是象征主义。换言之，电影形象模仿自然的模式，并与它所描绘的对象存在着联系。其中，法国学派中也有许多学者支持巴赞所表达的观点。吉尔伯特·科恩-希特(Gilbert Cohen-Seat)评论说，电影语言的优势在于“已经在行动和激情中写出来了，这对我们来说很重要”。[13]
符号学的基本问题即： 在电影研究中，什么样的语言最为重要。克里斯蒂安·麦茨通过讨论将电影视为一种包含双重表达的语言系统来阐释这一点。他认为，在这个基本层面上，电影没有最小的单位或最小的实体。他认为电影既没有音素(phonemes)，也没有语素(monemes)，甚至没有任何能与一个简单的名词相提并论的事物。他的结论是，电影是一种表达媒介，而不是一种交流系统。它遵循临时规则，而不是刚性规则。因此，他从未处理语言类型的问题。
交流行为的符号学分析需要区分三维实体语言(substance languages)(如英语)和四维时空语言(如电影，以及新媒体中所包括的空间成像和相关故事叙述的内容)。符号学家在传统上使用的是实体语言，而纯粹的电影语言理想情况下最好使用时空语言。在传统的电影分析中，许多符号学的弊端是无法确定如何以及何时应用这两种语言，或者何时可以合并。符号学家在其以叙事为基础的框架中主要将关于电影(一种时空语言)的观点和索绪尔派生的结构主义语言学(一种基于实体语言的方法论)相结合。[14]因此，这导致20世纪70年代英国屏幕理论(British Screen Theory)的结构主义基础极其僵化，该理论只能分析叙事文本。屏幕理论假设观众不可避免地被确定性的电影代码 “定位”，从而唤起导演对电影编码的预先确定的解释。这种二元符号学排除了解释者/解释项连接能指与所指的可能性。因此，这一理论不能将背景、民族志和接受经验结合起来。它也无法识别嵌入在不同符号(或解释)群体中的观者对文本的不同解释(解释项)。这些可能会导致非常不同的情绪、生理和智力反应(或解释)。[15]
20世纪90年代后期，出现了面向“观众主动性”概念的“理论转向”。这种观点认为，敏捷的媒体受众并不会被动地接收信息。相反，他们在其社会和个人经验的背景下积极参与信息的意义构建。[16]数字媒体的交互性拓展了这一概念： 受众不仅理解他们所消费的事物，而且还主动地参与意义的共同创造。这一点在游戏中表现得最为明显，在游戏中，“故事情节”的塑造主要取决于玩家在不同层面上对故事结局的选择。
英国屏幕理论也不能像四维、增强现实和虚拟现实那样解释交互式、体验式的媒体成像。在四维、AR和VR中，观察者成为参与者，他们甚至可以在预先设定的行动选择之间引导叙事结果。例如，爱丽丝在《爱丽丝梦游仙境》(Alice in Wonderland)[17]中被镜子隔开——在镜子里的她，以及穿过了镜子的她。爱丽丝同时身处两个空间——现实世界和虚拟空间——她不再通过镜头的屏障与故事世界分离。爱丽丝的认知与虚拟世界有关，她的意识是虚拟现实的一部分。意义通过感官通道，可能延伸到触觉、味觉等。同样，在虚拟现实中，观众/参与者和屏幕之间没有分离开来。
时空既是抽象的，又扎根于“现实世界”的2D电影符号学。在这里，观众/实践者/参与者/使用者往往对空间意义存在着一种内在的直观性和经验性的理解。阿尔伯特·爱因斯坦(Albert Einstein)的物理概念令人难以想象，因为我们在日常生活中无法“看到”/体验它们。同样，我们也看不到发生在帧或序列之间的表征意义。观众看到的不是剪辑，而是叙事的连续性。时空的概念框架及其修辞意义的传达之间的联系被隐藏起来，因为观众自己在认知上填补或连接了不连续的空白。
运动学分析(kinesic analysis)排除了帧作为分析的基本元素，[18]因为正如比尔·尼科尔斯(Bill Nichols)所解释的那样，“动态图像不是在帧中，而是在帧之间连接在一起，在动态图像到运动学符号的时间流中连接在一起”。[19]动态图像(kinesic figures)是运动的基本单位，其自身没有意义。它们是严谨的但无意义的符号(以每秒24次的速率从动作连续体中分割开来): 包含一个(人类)头部的图像(在一帧中)并不能判断他是上下移动还是左右移动。这些符号在帧内成倍增加，形成动态——“由许多动作组成的复杂话语”。[20]这种符号系统限制了我们对戏剧运动的研究，因此不能构成一般理论。
因此，电影符号学家之间的一个普遍共识是，放弃帧作为分析的最小单元。根据定义，镜头(shot)的持续时间超过一帧。与语言不同，电影中没有双重表达。也就是说，电影是一种不包含任何诸如音素(音素是最小的单位)等词汇项的话语。离散的、无意义的单位结合起来形成了第一个发音，即语素，其包含一个语义维度。事实上，镜头仍然大于语素。镜头是一个义素，至少是一个句子，麦茨总结道，“它(电影)没有任何与音素相对应的事物……它通过整个‘现实块’(blocks of reality)进行，这些区块在话语中实现其全部意义。这些区块就是‘镜头’”。[21]
4 叙事和时空
然而，衡量(measurement)的问题仍然在于实体时空语言的差异性。衡量问题不应与信息的指称内容或所描述对象的意义相混淆。它关注的是一个实体的个性化问题，旨在建立一种元语言(metalanguage)，这种元语言能够充分弥合电影符号学五种代码之间的差距，以寻求一种统一的电影语言理论。
叙事电影的内容可以形象化地比作一组轴，一组垂直轴(v1 vn)，一组水平轴(h1 hn)，在h1……hn和v1……vn之间的任意位置动态相交(见图1)。
图1 叙事的组合/聚合结构
在文本中，按线性链顺序组织信息的水平轴称为意义的组合维度。一个符号与所有其他符号形成组合关系，这些符号可能出现在同一轴上，但不会同时出现而是以“非此即彼”为基础。此系统用于管理影像组合代码的规则，以及探究这些代码如何赋予信息以意义。叙事电影属于这种寻求内容时序意义的组合模式。根据麦茨的论述，叙事是按照顺序排列的事件的总和。它是一个封闭的话语，是通过没有意识到事件的时间序列而展开的。
可能的选择性连接的垂直轴被称为意义的聚合维度。在符号学中，一种范式通过构建影像元素间的关联来生成意义。在话语链中，一个符号与同一轴线上的所有其他符号同时进入聚合关系。虽然聚合轴只出现在电影展开的过程中，但它独立于时间叙事组合序列。在两个轴相交的地方，意义即被破译。意义的产生与横轴上所含能指的出现顺序无关。在交叉点创建的符号可以通过许多不同的方式提供意义。符号(signs)可能引用一种象征代码(symbolic code)，而象征代码反过来又赋予所生成的符号以意义。有时所生成的符号本身就是一种代码(code)，然后它就变成了特定导演作品序列中的一种风格或特征的代码类型。换言之，所生成的符号可能是特定导演自己所持有的特殊代码。在这种情况下，根本不存在对代码的反向引用；相反，一种新的代码是由个别独立的导演或作者创建的。由于符号学关注的是电影的内部运作，而不是单部电影或单个导演，因此理论家有必要将这种新的特殊代码推广到已知现存的其他代码中。根据定义，组合和聚合代码超越了单部电影，只能通过一系列电影或系统进行研究。
而虚拟现实则将代码扩展到可能正在操纵范例的“参与者-解释者”(participant-interpreter)中。符号学关注的是预先给定的电影的内部运作，而不是单部电影、单个导演或参与者。根据定义，组合和聚合代码超越了单部电影，只能通过一系列电影进行研究，而在虚拟现实中，分析发生在视觉关系本身中。
在下文中，笔者将指出发展四维电影符号学理论的基础，与目前基于三维叙事的研究相比，这一理论结合了虚拟现实。
在实体语言中，个体是通过指定一组属性(P1、P2、P3……Pn)来定义的。例如，在电影中，我们可以通过陈述一系列帧、光线和色调的相互作用、纹理、图像以及所表示的对象来使镜头个性化。[22]然而，在四维时空语言中，个性化取决于坐标结构中所指定对象或个体的位置，这个坐标结构表示空间和时间(x y z t)。“镜头”目前仍然是一个不可或缺的参考，就像在语言学研究中的“词”(word)一样。一部电影的制作至少由一个镜头构成，诚如语言表述至少由一个音素组成。
这两种语言系统具有不同的属性。因此，将它们混为一谈，认为它们在同一时间可以占据同一地点是有误导性的。具体而言，影像的时空参照物相当于整部影片的时空坐标结构被记录在画面上。思考一下适用于这两种语言系统的同等概念。在实体语言中，两个人可能占据相同的位置。两个单独的帧可能描绘完全相同的主题、光线与色调的相互作用等，但这种情况在时空语言中是不可能的(两个镜头不能在同一时间占据相同的位置)。这一点即使在分解和叠加的情况下也是如此，因为帧在时空系统的坐标结构中所处的位置仍然是指定的。唯一受影响的因素是帧中所描述的聚合关系。
那么，电影分析中的个体是什么样的实体?在大多数符号学研究中，分析的基本单位通常被定义为镜头。麦茨说，“胶片中没有任何与第二个发音的纯粹独特的单位相对应的事物；它的所有单位——即使是最简单的，如溶解和擦除——都是直接有意义的……”。[23]因此，电影语言的准则要求在叙事中有陈述，而不是在陈述中有语素，更不用说在语素中有音素。麦茨得出结论：
“镜头”——一个已经很复杂的单位，必须加以研究——目前仍然是一个非常重要的参考，就像语言学研究中的“词”一样……它构成了最大化的最小片段，因为制作一部电影或电影的一部分至少需要一个镜头——同理，语言陈述必须至少由一个音素组成。从一个持续的镜头中分离出多个镜头，从一个镜头中删除多个帧就是破坏这个镜头。如果镜头不是电影意义的最小单位(因为一个镜头可以传达多个信息元素) 那么它至少是电影链的最小单位。[24]
换言之，“镜头是一种论断……就像一个未定义长度的复杂语句”。[25]埃米尔·本维尼斯特(Émile Benveniste)对此表示赞同，他将镜头定义为“完整的论断”。[26]照片或电影镜头不能收录在一种视听词典中，因为每张图片都已经是一个句子，一种符号话语。彼得斯(J.M. Peters)[27]确实承认，一张照片是由更小的离散单元组成，比如透视、角度、持续时间和相机的位移。这些元素中的每一个都是一个能指，但必须是空的，因为它们在获取一个具体形式之前必须与图片话语结合起来。[28]约翰·范·齐尔(John van Zyl)将镜头定义为“不是一个单一的话语词汇单位(比如单词) 而是一个高度复杂的记录，记录了其所指对象性质内部的关系”。[29]尼科尔斯观察到，“在(艾柯的)风景中的标志性图像(包括纹理、阴影、对比度、线条等的标志性代码的最小单位——其本身是没有意义的单位，如音素)组合形成标志性符号(识别的最小单位——眼睛、靴子、树等)”。[30]
这些图像在电影帧内混合在一起，形成义素——一种类似于话语的多种符号的复合体。因此，镜头不是一个词，它至少是一个句子。[31]安伯托·艾柯(Umberto Eco)[32]谈及代码在原子元素上的符号功能，其中它的功能体(表达和内容)彼此独立。换言之，表达的内容必然是对符号的引用。这并非公理。这意味着受不同规则约束的同一表达，可以与不同的内容相关联。电影是许多符号学现象的交汇点，因此，内容被认为是最小实体的重要组成部分。对电影符号学和语言学假设之间的关系概括如下：“在电影分析中，不可能存在一个镜头等于一个句子的问题——一个镜头可能由几个句子组成，甚至可能是一段用自然语言表达的话语。理论语言学结束其分析的那一点也许是进行电影分析的起点。”[33]“电影从普通语言结束的地方开始： 在‘句子’的层面——电影制作人的最小单位和语言的最高属性单位。”[34]
这些定义都不包括时间元素。罗德·惠特克(Rod Whitaker)谈及：“乍一看，帧似乎是最基本的内容载体，因为大多数视觉元素都在它的空间范围内。然而，帧可能作为内容指示器而被忽略，因为在观看体验中，它并不存在。帧是静止的……画面中存在的所有视觉元素也都存在于镜头中。”[35]
然而，衡量内容就是衡量它与信息的其他部分的关系远近，从而直接与信息的意义相联系。时空体(chronotope)即表明时间、空间和意义已被锁定。虽然单帧镜头(frame-shot)的内容本身没有时间特性，但它在坐标时空框架(或整部电影)中的位置确实提供了这样的条件，通过此条件，使得该帧可以被视为组合模式中最低实体的单位，在这种组合模式中，该帧内的空间类似于义素。这反过来又赋予了单帧镜头以时间性，因为每一帧都是理解整部电影的重要组成部分。
5 电影理论的启示
在电影时空语言范围内运作的是相交叉的组合聚合式叙事关系。这些元素在时空语言和实体语言中都是相同的，因此可以应用于更为广泛的符号系统、符号和语言功能。虽然这一特性继续将符号学分析局限于叙事性电影，但它确实抓住了元语言形成的核心，将电影的实体成分(言语)和时空成分结合起来。
最小的实体——镜头——是一个句子，甚至是一段话。有些镜头比其他镜头揭露的更多——镜头有潜台词和“即时”(on the line)最佳点，它们通过解释语境，充当潜台词的统一体。单帧镜头相当于一个句子或一个段落，这取决于帧中所包含符号的丰富程度，以及其在整个电影的坐标时空结构中的位置。因此，这种四维时空语言系统将符号功能作为最小分析段的一个组成部分。总之，单帧镜头的概念确实满足了个性化过程的要求。然而，该单位的识别并不能自动解决电影音轨上的言语问题，尽管它看起来确实满足了电影视觉特性的条件。元语言仍然有待发现，它将弥合言语(实体语言)和视觉(时空语言)之间的鸿沟，而体验则出现在虚拟现实中。
(一) 时空坐标系
如果我们在空间图像中考虑时间，假设所有时间都存在于一个时空坐标系，我们就可以绘制出空间和时间的拓扑区分图。在时空坐标系中，一个维度被认为是时间，另外三个维度被认为是空间。类时和类空的划分如图2所示。
图2 空间图像中的时间
类时线是垂直的虚线。任何一部给定的电影都可以比作一个特定的时空坐标系，它代表了一个四维物质世界，在空间上精准定位，并垂直于时间轴。我们应该把它看作是沿着时间轴任意位置上具有任何期时间段时间的一个时期。根据罗德·惠特克的定义，他的分析可以外推至将“帧”比作“瞬间”，即瞬间处于没有持续时间的时期。无论胶片的相关运动(每秒24帧)如何，这一瞬间是绝对不同的，因此，在y是时空对象的情况下，我们可以将最小单位或实体y定义为t1处的x1，即y是时刻t1处x1的最小值。换言之，从理论上来讲，帧可以构成单个或基本的分段分析。这一观察结果对单帧镜头中所表示的时空特性具有一定影响。虽然单帧镜头的内容本身没有时间特性，但它在坐标时空框架(或整部电影)中的位置确实提供了这样的条件，通过这些条件，使得该帧可以视为组合模式中最低实体的单位。这反过来又赋予了单帧镜头以时间性，因为每一帧都是理解整部电影的重要组成部分。
接下来主要阐释空间符号在2D电影和3D电影之间的重新分配。这是指它与三维空间方向轴以及虚拟现实的关系。当一个人认为空间/虚拟现实的时空语法在形成意义的过程中将其流变性从视觉符号转变为感觉-感官的观点上时，信息在修辞消费方面往往会发生转变。换言之，符号的生成可以是通过其他方式来实现的，比如虚拟现实强调通过感官通道来推断意义，从而利用虚拟现实建立一种数字视觉体验的物理存在。“空间语言”在“基于框架”和“空间多样性”之间存在着巨大的差异。也就是说，虚拟现实让参与者能够感觉到和看到新领域内的世界，这带来了一种新的空间方向，避开了传统的电影或视频帧。虚拟现实与罗伯托·罗塞里尼(Roberto Rossellini)的问题非常不同，“事情是这样的，为什么要操纵它们?”[36]因此，一部纯粹的电影会描绘出一种完美的现实幻觉。皮尔·保罗·帕索里尼(Pier Paulo Passolini)明确表示电影缺乏双重表达能力，并认为在电影语言中，语法和修辞并不是分开的：“电影先有风格，后有语法。”亚历山大·阿斯特鲁克(Alexandre Astruc)声称他的电影“语汇”包含了事物的神韵，“这个世界上浓墨重彩的描摹”。[37]马塞尔·马丁(Marcel Martin)写道，电影并不包含严格的符号系统。[38]
梅洛-庞蒂(Merleau-Ponty)的现象学方法则认为，一系列电影就像生活中的奇观一样，本身就具有意义。[39]也就是说，符号是失效的——能指和所指在电影中并不是分离的，但不同于虚拟现实，观众与画面仍然是分离的。另外，一方面，麦茨的结构主义符号学将文本关系置于观众解释之上，观点占主导地位；从理论上来说，导演借助这样一种方式对其叙事进行编码，这一形式决定了观众的反应。于是，观众反应被电影形式定位成导演编码的特定解读。另一方面，符号学赋予解释者特权，解释者可以偏离导演的观点，以不同的方式“观看”或解读电影，而这些方式不一定符合导演的意图或电影的文本形式。换言之，这些观众对电影文本意义的理解可能不符合所声称的基于符号学引导的解释。总之，电影符号学在其“能指-所指”二元关系中简单地忽略了观众，而符号学则在其三元框架中包括了观众。
(二) 胶卷与数字世界
增强现实是数字技术在现实世界上的虚拟叠加。混合现实(Mixed Reality 简称MR)类似于虚拟现实，但有助于增进真实世界与数字世界之间的交互。“神奇的飞跃： 企业空间计算”(Magic Leap: Spatial Computing for Enterprise)机构制造出了一种可穿戴的空间计算机装备，将物理世界和数字世界融为一体。它能够投射数字光场(light fields) 使大脑能够将图像有形地同化到现实世界中。大脑的渲染功能被认为无法区分增强之维(augmentation)和现实之维，这实际上模糊了想象和现实之间的界限，在文本的空间场域中创造了一个“第三维度”的主观现实，几乎形成了时空的蒙太奇二重性。
在蒙太奇中，观众被置于画面(帧)之间，并且不在任何画面(帧)中。从理论上来讲，表征性和象征性的融合，主体和代理之间的统一，将x、y和z轴合并在一个维度上。存在于非切线维度的表征性符号文本被观者识别为物理时空语境中的有形物理感官文本，增强了文本的多元性，并将二维现实融为一体，同时反映其各自的维度。文本修辞或解释项存在于观者的头脑中，同时也反映在光学波长上。镜中的两个世界，一方面是具有象征性的表征性偏见，另一方面是感官的偏见，在动态混合的时空中相互超越。[40]
用符号学的术语来说，这种符号的失效最好用显象来解释，这是一种整合了虚构、幻影和拟像的超级符号，无论它们是如何产生的(心理上的或技术上的)。与概念上有局限性的现象相比，显象在本体论意义上具有更完整的概念，其支持在主体存在的情况下进行有意义条件的设置。空间和时间中的任何情况都可能包含大量同时出现的显象，尽管这个数字趋于无限大，但并不是无限大。由于符号和解释项形成逻辑之间的联系，任何显象都将由显象实现时出现的符号主体的语用能力来定义。这不仅包括从二维到四维的碰撞，还包括想象的、将主体与客体联系在一起的场景，无论是在画面(帧)之内还是在画面(帧)之外的。
相比之下，电影影像模仿自然的模式，并与它所描绘的对象存在联系。虽然主要理论家都意识到符号学的不足，但很少有学者在构建一个框架以解释电影意义时碰到困难。同时，很少有学者讨论过时空关系。
结论： 时空与感官
电影理论家们发现现有的理论在解释能力上存在差异，因此一直在寻求符号学来帮助其构建电影语言。然而，结果却陷入学术上的僵局、分类学上的噩梦之中。
物体依靠空间关系相互传递意义(美学—时空体)。如果时空属性发生了变化，那么嵌入其中的意义也会发生变化。意义根植于“真实世界”的体验，不仅是通过与身体分离的三维平面，也是通过身体的感官体验。笛卡尔思想仍然是活跃的，但是它被认为是与身体相分离的，即使身体通过感官通道转译情感解释项和信息。在虚拟现实中，空间关系不仅通过抽象进入，而且更大胆地通过感官“空间”引导——身体成为“分布式”出口的延伸。虚拟现实设计中的嵌入式叙述[41]是通过一系列有意的“插曲”加以实现，这些“插曲”似乎是随机散布在游戏环境中的。参与者可以了解到他们采取的是主动反应而不是被动反应。[42]
电影语言的派生似乎取决于第四维度的应用，无论是从二维到四维还是多维。在可视化模态文本表征的系列中，我们可以绘制感官文本(sensory texts)和表征文本(representative texts)的特征簇。诚如玛丽-劳尔·瑞安(Marie-Laure Ryan)所言，感官或身份文本通过物理刺激功能实现语法意义，而表征文本则暗示象征意义，象征意义充当了分隔真实世界和沉浸式故事世界的框架。[43]表征文本的片段以被帧分隔开的模式聚集在一起，而感官文本则以需要参与者“进入帧”的模式进行提取。表征文本具有戏剧性的脚本特质，而感官文本则具有更高程度的提取设备。所提取内容解释的是“浮动”的代码，而不是“固定”的代码——也就是说，固定在叙事优先的基础上。“浮动”元素可能会偏离叙述所要求的具有凝聚力的结构。因此，在虚拟现实/游戏中，解释者很难专注于意义的内化。与电影不同的是，电子游戏不会诱导诸如促使玩家哭泣之类的情绪出现。
电影居于隐喻的镜子之外，散发出高度的修辞符号学和符号论特质，几乎无法加以利用和提取。通过对帧的划分以使观众区分开来，这似乎是基于时空语法的相似性而发生的。在“穿过镜子”的过程中，虚拟现实等模式似乎暗示了更高比例的感官文本和导航元素，但降低了象征和表征元素的使用——或者至少不像基于帧的模式那样。在虚拟现实中，“文本表示在某个方面就像全息图片： 你不能同时看到世界和符号。读者和观众必须把注意力集中在符号之外，才能见证一个三维的、栩栩如生的现实的呈现”。[44]因此，感官知觉包含了表征文本。对符号以及与符号相关事物的驱逐，是因为虚拟现实通过“虚拟现实效应”否定了对中介存在的认可，即否定符号(位、像素和二进制代码)在产生用户所体验的非中介存在过程中的作用。因此，为实现沉浸感，计算机被设计为“不可见”，从而促进用户和内容之间直接达成排他性契约。
注释：
[1]此小节摘自柯岩·托玛瑟利和达米安·托玛瑟利合著的图书(即将出版)(Bagliari Amir.2021.Open Semiotics.Paris:L'Hartman)。同时我们也要感谢已故的阿诺德·谢普森(Arnold Shepperson)所作的贡献 他在未发表的笔记中撰写了这篇文章的第一小节。
[2]McLuhan M.Understanding Media:The Extensions of Man[M].New York:McGraw Hill 1964.
[3]Metz C.Film Language:A Semiotics of the Cinema[M].New York:Oxford University Press 1974.
[4]Metz C.Language and the Cinema[M].Berlin:De Gryuter Mouton 1974.
[5]皮尔斯符号学关系的性质要求任何符号都只能是与解释项的对象有关的真实的(即对行为产生影响)符号。而在皮尔斯的数学分解上 关联就是函数意义上的映射。因此 “象似符-指示符-象征符”的三大符号分类法就是指符号正确映射到其指代对象上的方式。皮尔斯三分法的图表 将符号与话语、哲学和与人类状况有关的现象学联系起来。此图表通过可能体验世界的表现和再现的方式 借由意义和情感的多个维度进行设计 以便读者阅读。
[6]Hartshorne C Weiss P Burks A W.The Collected Papers of Charles Sanders Peirce (8Vols.)[M].Cambridge MA:Harvard University Press 1931-1958.
[7]Metz C.Film Language:A Semiotics of the Cinema[M].New York:Oxford University Press 1974:24.
[8]25 Thoughts on Virtual Reality Filmmaking[EB/OL].(2015-05-08)[2022-06-25].unit9/project/25-thoughts-on-vr-filmmaking-by-anrick/.
[9]Tomaselli D.Cosmology of the Relativistic Multi-Modal Chronotype[D].KwaZulu Natal province:University of KwaZulu-Natal 2020.
[10]Instructive Level Design[EB/OL].[2022-06-08].tvtropes/pmwiki/pmwiki.php/Main/InstructiveLevelDesign.
[11]Barricelli B R Gadia D Rizzi A et al.Semiotics of Virtual Reality as a Communication Process[J].Behaviour & Information Technology 2016 35(11):879-896.
[12]Eisenstein S M Pudovkin V I Alexandrov G V.A Statement [EB/OL].[2022-06-10].soma.sbcc.edu/users/davega/xNON_ACTIVE_CLASSES/FILMST_101/06_FILM_MOVEMENTS/SovietMontage/ASTATEMENTfilmsound_eisenstein_pudovkin.pdf 1928.
[13]Cohen-Seat G.Essai sur Les Principles d'une philosophe du Cinema[M].Paris:Presses Universitaires de France 1958:20-128.
[14]例如 Nichols B.Style Grammar and the Movies[J].Film Quarterly 1975 28(3):33-49;Beneviste É.La Phrase Nominale[M]//Benveniste É.Probleme de Linguistique Generale.Paris:Guillimard 1966:151-167。
[15]Tomaselli K G.Encoding/Decoding the Transmission Model and a Court of Law[J].International Journal of Cultural Studies 2015 19(1):59-70.
[16]Morley D.The Nationwide Audience:Structure and Decoding[M].London:British Film Institute 1980.
[17]Carroll L.Alice in Wonderland[M].London:Macmillan 1865.
[18]Eco U.On the Contribution of Film to Semiotics[J].Quarterly Review of Film Studies 1977 2(1):1-14.
[19]Nichols B.Style Grammar and the Movies[J].Film Quarterly 1975 28(3):33-49.
[20]Nichols B.Style Grammar and the Movies[J].Film Quarterly 1975 28(3):37.
[21]Metz C.Film Language:A Semiotics of the Cinema[M].New York:Oxford University Press 1974:114.
[22]Wilson N L.Space Time and Individuals[J].Journal of Philosophy 1955 52(22):589-598.
[23]Metz C.Film Language:A Semiotics of the Cinema[M].New York:Oxford University Press 1974:105-106.
[24]Metz C.Film Language:A Semiotics of the Cinema[M].New York:Oxford University Press 1974:106.
[25]Metz C.Film Language:A Semiotics of the Cinema[M].New York:Oxford University Press 1974:105-106.
[26]Benveniste É.La Phrase Nominale[M]//Benveniste É.Probleme de Linguistique Generale.Paris:Guillimard 1966:151-167.
[27]Peters J M.Pictorial Communication[M].Cape Town:David Phillip 1977.
[28]Peters J M.Pictorial Communication[M].Cape Town:David Phillip 1977.
[29]Van Zyl J A F.Towards a Socio-Semiology of Performance[M]//Van Zyl J A F Tomaselli K Gdia and Change.Johannesburg:McGraw-Hill 1977:43.
[30]Nichols B.Movies and Methods An Anthology[M].Los Angeles:University of California Press 1976:612.
[31]Nichols B.Style Grammar and the Movies[J].Film Quarterly 1975 28(3):37.
[32]Eco U.On the Contribution of Film to Semiotics[J].Quarterly Review of Film Studies 1977 2(1):1-14.
[33]Young D.Film Language and the Relevance of Linguistics to Film Semiology[M]//Language of the Arts Arts Colloquium.University of the Witwatersrand 1975:55-59.
[34]Metz C.Film Language:A Semiotics of the Cinema[M].New York:Oxford University Press 1974:21.
[35]Whitaker R.The Language of Film[M].Englewood Cliffs:Prentice Hall 1970:32.
[36]Metz C.Film Language:A Semiotics of the Cinema[M].New York:Oxford University Press 1974:41.
[37]Astruc A. Cin e- digest[M]//Bellour R.Alexandre Astruc.Paris:Seghers 1963:100-101.
[38]Martin M.Le Langage Cin matographique[M]. Paris:Editions du Cerf 1955.
[39]Metz C.Film Language:A Semiotics of the Cinema[M].New York:Oxford University Press 1974:105-106.
[40]Tomaselli D R.Cosmology of the Relativistic Multi-Modal Chronotype[D].KwaZulu Natal province :University of KwaZulu-Natal 2020:205-206.
[41]参见Jenkins H.Convergence Culture:Where Old and New Media Collide[M].New York:New York University Press 2006.
[42]Newton K Soukup K.The Storyteller's Guide to the Virtual Reality Audience[EB/OL].(2016-04-07)[2022-07-12].medium/stanford-d-school/the-storyteller-s-guide-to-the-virtualreality-audience-19e92da57497.
[43]Ryan M L.Immersion vs.Interactivity:Virtual Reality and Literary Theory[J].SubStance 1999 28(2):133.
[44]Ryan M L.Immersion vs.Interactivity:Virtual Reality and Literary Theory[J].SubStance 1999 28(2):132.
本文刊载于《上海交通大学学报(哲学社会科学版)》2022年第4期
编辑︱刘津
视觉︱欧阳言多
如果这篇论文给你带来了一点启发
