音画的交响:影像与音乐的表现性研究—第一节音乐要素的视觉联觉

动画作为电影的一种特殊形态，在继承其音画传统的基础上，还具有美术造型上的抽象特征，这在几何图形及抽象形态类的动画中非常明显，而这种风格的音乐动画往往试图跨越音乐和绘画的界限，用形状、位置和色彩等的变化体现“让眼睛看音乐”的理念，其依据的正是建立在音乐和视觉之上的联觉现象。

20世纪90年代，周海宏教授在他的博士论文《音乐与其表现的世界》中进行了“音乐音响与其表现对象之间的对应关系规律”的心理学层面的研究，区分了“联觉”和“联想”的概念——联觉发生在感觉层次，不需要语义网的联结关系为中介，是在所有人身上表现出来的普遍反应；而联想发生在观念层次，常常因语义网的联结作用而发生，是以个人经验为基础的。在音乐听觉中直接引起的是联觉活动，而联想则是在联觉基础上引起的后续心理活动。^[1]

在随后的实验中，他分别考察了音高、音强、时间、时间变化率以及紧张度等声音属性引起的联觉的规律，这也给音乐动画中联觉规律的探索提供了有益的借鉴。在此，同样沿用了这五个声音属性进行分析，同时在对应的视觉属性中，选择了线条、形状、块面、空间、光亮、颜色、质地及运动等比较有代表性的要素。

线条——点的延伸，取粗和细、直和曲、复杂和简单三组差别。

形状——特指二维平面的轮廓边缘，取规则与不规则、锐和钝两组差别。

块面——特指体积，取大和小、轻和重两组差别。

空间——特指位置及四周的关系，取高低、远近、汇聚和发散、开阔和压抑四组差别。

光亮——特指亮度的明暗及对比度大小。

颜色——也是光的组成要素，在此取冷和暖、浓和淡、单和杂三组差别。

质地——物体的触觉特性及视觉表现，在此取光滑和粗糙、轻柔和粗重两组差别。

运动——在视听语言中，运动包括被摄物体运动、机位运动和蒙太奇组接三个层次的运动，在此取物体速度的快和慢、事件密度的高和低两组差别。

音高也就是音调（Pitch），其物理属性就是声音的频率，音高的有规律划分构成了音乐的重要基石——音阶。对于音高所带来的听觉感受，在音乐美学领域也有涉及，例如，德国音乐学家里曼早在20世纪初的《音乐美学要义》中指出，“撇开力度而言，在音高上升的比例中，较高的音给人感觉更细、更尖、更锐，较低的音则感觉更为宽广和迟钝。”^[2]

在周海宏教授的研究中，通过实验测试了与音高体验具有对应关系的感觉特征，汇总为表6-1所示^[3]，可以看出除了情态活动之外，其他的项目都与视觉属性有着直接的关联。视觉所带来的情绪往往属于联想的范畴，例如，看到“一朵玫瑰”和“一条毒蛇”固然引起相应的形状上和质地上的感觉，但更多的情绪特征来自于对经验的联想。

表6-1 与音高体验具有联觉对应关系的感觉综合

根据表6-1以及相关的内容，可以进一步列出视觉元素与音高感觉的对应关系，如表6-2中所示。

表6-2 视觉元素与音高感觉的对应关系

此外，音调随时间呈现变化就构成了旋律，而各种视觉元素也因此会随着旋律特征的不同而变化。在此先不考虑旋律所唤起的情感联系，单就联觉的层面来讲，旋律的起伏就构成了视觉元素的运动特征。

旋律线的上行会使紧张度增加，而下行会使紧张度缓和。跳进又比级进有更强的力度变化，即便是一个音连续地重复出现所谓的旋律平行线，也并不意味着情感停止不前，通过与节奏的配合，一样能表现力度和情绪的变化。

在动画的表现中，除了严格意义上的实验行为，视觉元素与音高往往并不是一一对应的，如同电波图一般；而只是相互参照，整体态势上一致，而细节表现存在不同。但是在一段旋律中，最高音的出现往往会成为感情的高潮点，也表现为视觉上的高潮点。例如，在迪士尼2000年推出的《幻想曲2000》中有一个音乐动画短片是根据格什温的《蓝色狂想曲》创作的。乐曲一开始，单簧管经过低音区的徘徊的颤音演奏，音调突然上升，直冲云霄，进而演奏出爵士味道的主题，这一段的动画完全是由线条完成的，仿佛一只画笔运用“一笔画”的方法随着音高的起伏勾画出了一座城市的摩天大厦，如图6-1中所示。这段动画很有代表性，可以看出动画师既遵循了旋律的走向，又不是机械地跟随，让旋律独具匠心地为线条的绘制而服务。

图6-1 音乐动画《蓝色狂想曲》的开场

音强对应的物理属性是声波的振幅，显示了振动源所携带的能量，对人耳的主观感受是响度。音强在音乐中常常以力度（Dynamics）的形式表现，并且与音高的变化紧密关联。“当音从低向高运动和力度渐强时，会给我们以积极感，及表现为前进、升腾的运动；当音从高到低运动和力度渐弱时，则给我们以消极感，即表现为后退、畏缩的运动。”^[4]

周海宏教授的音强实验结果如表6-3所示^[5]。

表6-3 与音强相关的联觉

由此可以进一步列出视觉元素与音强感觉的对应关系，如表6-4中所示。

表6-4 视觉元素与音强感觉的对应关系

力度的对比是音乐中重要的表现内容，一种手法是利用节奏中固有的强弱拍的规律性重音，将要突出的音放在节奏重音上，如果位置不便移动，还往往通过切分或连音等技巧加以完成；另一种手法就是采用重音的标注，或渐强渐弱，或直接在乐句上标注力度。同样一段旋律，第一次呈现与第二次再现都会有不同的力度变化，不同乐句主题之间也会呈现出对比，这些手法同样被音乐动画所参考和借鉴。例如，《幻想曲2000》中作为开场的第一首曲目演绎了贝多芬著名的《命运交响曲》，当“命运动机”以很强的力度演奏时，动画也通过强烈的光束与飞溅的水花给予力量呈现，如图6-2中所示；而当此后弦乐演奏的副部主题无限柔情地出现时，动画中的内容是微微的涟漪和轻盈的水泡，如图6-3中所示。

图6-2 音乐动画《命运交响曲》中“命运动机”的展现

图6-3 音乐动画《命运交响曲》中随后副部主题的展现

这里的时间综合了音长（Duration）、速度（Tempo）和节奏（Rhythm）三种具有时间特性的内涵。“同一音质时间中的延续被称作音长，在一个单位时间内先后出现的音的数量是速度的本质，而声音先后出现的时间间隔的特征则是节奏的本质。”^[6]

在此需要指出的是，这三种时间特性的背后其实跳动着共同脉搏——节拍（Beat）。人们往往会用各种肢体表达来配合音乐在时间中的进行，这是人类所特有的一种对音乐的自然反应。

“理论家通过搜集来的大量材料的归纳整理以及科学研究表明，我们对一连串音的运动速度的印象或任何事物连续的感觉，都以相当于正常心跳的中庸速度为标准，来衡量事物运动速度的较快或较慢。”^[7]现代科学研究表明，婴儿出生前在母亲子宫中已经在感受妈妈的心跳的“节拍”了。“当外界事物以不同的运动速度进入我们的感觉时，心速都会作出审美的判断。例如，对于比心速较慢的运动，会感到迟缓、平静，对于比心速较快的运动，则会感到迅速、激动，甚至不安。”^[8]节拍成为一种“计时器”，是音乐中时间流动的参照标准，把时间分成相等的时间单元，来区分音长、体现速度、构成节奏。

周海宏教授的与音长、速度、节奏相关的联觉实验结果如表6-5所示^[9]。由此可以进一步列出视觉元素与音长、速度和节奏的对应关系，如表6-6中所示。

表6-5 与音长、速度、节奏相关的联觉

表6-6 视觉元素与音长、速度和节奏的对应关系

在动画中，将音乐中的“重音”与画面中的冲击点对位是一种常见的现象，在上一章“米老鼠式”配乐中关于关键帧制作的内容中已经提到过这个问题。除了细节处理之外，由于音乐动画往往音乐有较为完整的呈现，所以，巧妙地把握音乐中的高潮点与画面情节中的高潮点同步是一个高明的做法。例如，在《幻想曲》中《春之祭》一段中，巧妙地将音乐中轻柔的木管乐对应于脉脉涌动的云、地面的气流，而此后暴虐的铜管乐的节奏冲击对应于火山爆发时此起彼伏的喷射，如图6-4中所示。

图6-4 音乐动画《春之祭》中营造火山爆发

周海宏教授的论文中所提出的“时间变化率”，意在说明乐音发出时“果断”与“柔和”的表情，进而用振动体从开始振动到达到最大振幅所用的时间，即“起音”来进行了有针对性的实验分析，如表6-7中所示。^[10]

表6-7 与音长、速度、节奏相关的联觉

这实际上是个简化的理想模型，因为对前三个如音高、音强及时间属性来说，完全可以建立在单频波发生器的前提下进行测试，但“起音”则不然，只能靠单频波的“淡入”时间来近似地模拟。究其原因，是因为起音特性造成的原因稍复杂，一方面对于同一种乐器而言，它涉及演奏的方式，是断奏还是连奏，是否运用特殊的技巧，等等，都会造成不同的听觉感受；另一方面如果是不同乐器，听觉感受也并不是单独由ADSR^[11]包络特性中的A，也就是起音决定的，还取决于音质特性，包括发声的物理原理，如是弦振动还是气柱振动，此外还包括产生的谐波的数量和强度。

在实际的配器中也遵从这样的规律，例如，一般不会去用大号这种低音乐器来演奏密集跳跃的十六分音符，因为大号具有起音长的发音特性，还没等到乐器发出声音，所需的音符演奏时间已经过了。

在此，将时间变化率的涵盖面扩大至音质和音色以及演奏手法的范畴。根据表6-7以及相关的内容，可以进一步列出视觉元素与时间变化率感觉的对应关系，如表6-8中所示。

表6-8 视觉元素与时间变化率联觉的对应关系

从表6-8可以看出，时间变化率造成的感觉偏重在形和质，而与量和色等感觉关联不大，当然，时间变化率往往是和其他元素共同起作用的，比如与力度和节奏结合所形成的果断感，与音高结合产生的穿透力等。

在《幻想曲》中用作幕间休息的一个小片段，展示了用动画表现声音质感的音画实验，如图6-5上中所示是竖琴和小提琴的视觉表现，可以体会出其质感上的差异——竖琴的余音袅袅和小提琴的穿透力；再如图6-5下中所示是小号和巴松管的视觉表现，虽然表6-8的探讨中对颜色表现尚不明确，但在这段动画中对演奏者的情绪特征，比如是否吃力用颜色进行了表现；除此之外，如图6-6中所示是打击乐组与最终三角铁结尾的展示。

图6-5 音乐动画段落中对四种乐器的视觉表现

图6-6 音乐动画段落中对打击乐器的视觉表现

“紧张度不是声音的物理属性，而是主体的主观体验，它不仅来自对和声协和性的体验，并且也来自对音色的体验。”^[12]周海宏教授进一步指出音乐主观感受中的紧张感产生的原因是统一性，和声的协和状态和音色中泛音的多少都会影响到这种统一性，这种统一性还会受到各种声音属性的影响变得复杂化；此外还指出紧张感产生的一个重要基础是期待，这是一种具有倾向性的心理驱动，例如音程级进就比跳进更容易获得期待感，因而大音程的跳进会促进紧张感。紧张度的实验结果如表6-9中所示。^[13]

之前其他对声音属性的探讨显然带有明显的联觉特征，例如，巨大的声响会造成畏惧感，猛兽发出音调极低的咆哮令人战栗，迪厅强劲的拍子会影响到心跳……这些都出于生理上的本能反应。

但是既然“联觉发生在感觉层次，不需要语义网的联结关系为中介，是在所有人身上表现出来的普遍反应”^[14]，那么这里探讨的紧张度概念中统一感和期待感已经越过了联觉的界限。虽然音色的一些表现，比如演奏小提琴时采用震音弓法，固然可以从音高的细微变化中造成生理上紧张感的增加，但是和声的协和程度建立的统一感却已经是文化的范畴了，在西方音乐发展史中，和声的协和与否是个不断进化的过程，作为现代人受到了西方音乐传统的影响才能感受到这种紧张感，而并不是每个人都能表现出来的普遍反应。

表6-9 与紧张度相关的联觉

音乐的大调和小调、协和与不协和带来的不同感觉，使得“人们感受一列音时，并非各音前后各自独立，而是后者对前者都互相关联，从而获得各音的特殊价值”，“现代人的感觉，曲调的美不仅是不同音高的各音的进行，而在于其进行中的某一瞬间，都必然会进入我们所熟知而又能记忆的本于和声关系的某种一定的音级上，即使对这种进行的方向和高度我们都不能预测”^[15]。这也就是所谓的期待感，也会涉及调性的问题，例如，主调音乐中由于导音向主音“倾斜”而造成的期待感，显然是音乐传统和文化习惯的范畴。

所以在这里，紧张度的联觉测试已经成为一个“溢出”了的概念，但是对音画关系的分析来说，表6-9中的测试结果依然有很好的参考作用，可以进一步列出视觉元素与紧张度的对应关系，如表6-10中所示。

表6-10 视觉元素与紧张度感觉的对应关系

斯特拉文斯基的舞剧配乐作品《春之祭》就是一部对20世纪音乐产生重大影响的作品，音乐中充满了怪异的原始主义情调、粗暴的不协和、打击乐似的音响和倾斜的节奏，而迪士尼《幻想曲》中用音乐动画的形式演绎了这个曲目：宇宙生成、地球诞生、火山的喷发、泛滥的洪水、生命的起源、恐龙争斗……如图6-7中所示，动画师显然是汲取了音乐的特点，在画面元素契合的基础上，进行了适当的“视觉联想”，音乐的紧张度在动画中同样给予表现。

图6-7 音乐动画《春之祭》演绎生命的历程

从生理学角度上讲，音乐音响作用在听觉上只通过两种基本的物理属性：频率和振幅，从而形成了三个心理参数：音高、响度和音色，这其中音高对应于频率，响度对应于振幅，而音色反映了声波的复杂成分。

由于音乐所特有的时间特征，声音属性只有在时间展开中才获得音乐上的意义，于是就有了音高运动所构成的旋律，响度运动所构成的节奏和力度变化，音色运动所构成的乐器的音质表现，而旋律的叠加又会构成和声关系，等等。然而还必须进一步将音乐的要素加以组织和整合，才能使我们听到的不是声响，而是产生审美价值的音乐。

当聆听音乐时，内心是一个感受的过程，虽然因为音乐具有抽象的特征，不像影像以及语汇描述般具象，但确实又能够使人产生非听觉性体验，“在一般的情况下，音高的上升、力度的增强以及这些扩张步骤的增加，表现为积极的发展，感受到人的生命力和意志的增强；反之，音高的下降、力度的减弱以及这些缩小步骤的减退，则感受到消极的变化”^[16]。而这里所探讨的联觉，就是要找到作用于不同感官而带来相似感受的共同属性。

在音乐动画的创作中，对音乐进行视觉化的过程往往会建立在联觉的基础上，以几何图形及抽象形态为表现形式的动画更是过分地强调了这一点，用抽象的视觉元素表现复杂的内在情感，因为这种复杂性往往无法通过角色造型及细节的描述短时间呈现。不过有时过于极端，甚至会呈现“总谱化”特征，即音乐中什么乐器演奏了一个什么音符、怎样演奏的，就会存在什么样的视觉元素与之一一对应。这样的话反而使作品变成了机械性的音画实验，从而失去了其审美价值；但从另一方面讲，这类手法倒是实现了看到“乐音的运动形式”的想法。

一般来说，虽然由于多数动画存在情节叙事的要求，往往不能像歌舞演奏动画那样做到同步化，但是利用画面中的元素和运动过程与音乐“合拍”是一种视听结合的常见现象。在这个共同感受的基础上，再进行个人经验的联想，从而产生不同风格的视觉表达，“米老鼠式”配乐也正是这样的一个手法使用的典型。