新媒体的语言

课程汇报所用，粗糙搬运，禁止白嫖。

第一章 新媒体是什么

马诺维奇首先在第一章回溯了新媒体的历史，他介绍了19世纪30年代，路易·达盖尔发明了照相术，在当时的欧洲这引发了一股媒体的热潮，照相馆遍地开花，大家都想用这个新媒体机器拍一张肖像照。查尔斯·巴比奇设计了“分析机”，这个分析机其实已经具有了现代电子计算机最重要的几个特征，比如说它能录入数据和指令，并把这些信息储存在机器内存中。这两个人分别代表着媒体技术与计算，而新媒体正是这两条不同历史发展轨迹的融合。

到了19世纪90年代，媒体发展和计算机领域都进入了重要时期。电影的发明，使得现代媒体从静止图像发展到运动影像。面对繁杂的信息，电子制表机被政府部门广泛采用。

进入20世纪后，1936年是媒体和计算机史的重要节点，图灵发表了《论可计算数》这篇文章，康拉德·楚泽研制出第一台数字计算机。其实这个机器是使用穿孔带来控制计算机程序，而“带子”就是废弃的35mm电影胶片。这种媒体和计算机的奇妙相遇，也就预示了半个世纪之后的融合——媒体成为新媒体。这个进程意味着计算机不再只是一个工具，而是变成了媒体处理器。

在“新媒体的法则”一节中，马诺维奇列出了五项全新的趋势：数值化呈现、模块化、自动化、多变性和文化跨码性。

数值化呈现指的是新媒体对象由数字符码构成，将连续性数据转化为数值化呈现这个过程也就叫做数字化，它包含采样、量化两个步骤；在数值化呈现这一法则中，需要意识到现代媒体是具有离散性的，现代媒体的离散性，很大程度上与现代媒体产生于工业革命时期有关。比如电影胶片，每一帧影像是一张具有连续性的照片，但时间被切割为不同的帧。视频技术则走得更远，它沿着扫描线对每帧画面进行采样。

模块化也叫做新媒体的分形结构。所有的媒体元素都表现为离散采样的集合，如用PR、final cut进行电影剪辑。新媒体的模块化与结构化的计算机程序设计进行类比，局限性就表现在：计算机程序的某一模块被删除，程序就会停止运行。而新媒体则相反，它反而会使删除和替换更便利。

自动化比较好理解，比如使用ps自动调整图像、机器人对话、还有就是计算机依据强大的数据库，使得媒体获取路径越便捷高效等等这些都是自动化的例子。

多变性指的是新媒体对象绝非一成不变，它会有不同版本，且版本数量有无限增加的潜质，这也是媒体的数值编码和媒体对象的模块化结构所带来的结果。而旧媒体内部顺序，比如绘画，它确定了就不再改变，大量一模一样的副本可以在原版的基础上复制出来。这里需要注意的是，多变性法则区别于“多变的媒体”。因为1，马诺维奇把多变性看作新媒体的基本条件，不止是艺术的基本条件；2，马诺维奇是用这一词反映主流文化的逻辑——不同版本的事物共享一些意义明确的“数据”。如电影之于原著、原游戏。新媒体的多变性原则是计算机将数据呈现为变量而非常量的一种结果，如用户可改变游戏角色的外形等，但马诺维奇也提到无处不在的选择往往带来道德焦虑感。

文化跨码性指的是文化的计算机化进程逐渐实现了所有文化范畴和文化概念之间的跨码。在新媒体的术语里，“跨码”就是将一个事物转换成另一种格式。在这本书里，马诺维奇频繁地用旧媒体的视角研究新媒体，但他提出，这一视角也存在局限：它无法描述新媒体最基本的属性——可编程性。因为新媒体虽然是媒体的另一种类型，但新媒体也是计算机数据的一个特有类型。

他在新媒体不是什么这一节中，分析了一些关于新旧媒体区别的常见观点，阐述了数字化、交互性这种常常被认为是属于新媒体法则的情况，并且通过这种惯性认识，来表明自己的观点：他认为在旧的文化形式和媒体技术，比如电影中，这些法则已经存在并发挥作用。因此这些法则本身就是新媒体区别于旧媒体的有效证据。

第二章 交互界面

马诺维奇在这章的第一部分“文化交互界面的语言”中，他引入了“文化交互界面”这一名词，来描述光盘和DVD、网站、计算机游戏及其他由计算机分发的文化对象所使用的交互界面。并且分析了电影、印刷文字和通用的人机交互界面这三种文化形式如何塑造了20世纪90年代文化交互界面的外观和功能。

人机交互界面描述了用户与计算机交互的方式，比如：复制、删除、重命名文件，设置计算机的日期/时间等等。当然，随着种种文化形式的传播都转向以计算机为基础，我们逐渐与主流的文化数据发生“交互”。也就是说，我们不再与计算机“交互”，而是在与以数字形式编码的文化“交互”。其实我们现在玩《哈利波特》的手游，也是一个文化交互界面的例子，《哈利波特》它不仅仅是电影与书的集合体，还是一个应用程序。

文字是一种独特的媒体类型，在计算机文化中的地位:1,诸多媒体类型中的一种；2，计算机媒体的元语言；3，是计算机与用户交流的主要方式。从传统角度来说，印刷文字与修辞艺术密切相关。新媒体文化可以看作一个无限延展的平面，一个个文本散列其中，并没有特定的顺序。在这其中，时间变成了一张张平面的图片和风景，可供观察或导航。

印刷文字曾经对文化交互界面的语言有主导性的影响。随着印刷文字的影响逐渐变小，电影式元素的影响逐渐增强，现在信息更多地借助视听运动影像序列的形式呈现。电影式的感知长期存在于文化交互界面中，表现特征之一是呈现现实的矩形框，它继承了绘画中画框的特点。但对于绘画来说艺术家选定一个画框，画框就再也不会变了，而计算机交互界面获益于电影所带来的新发明——即画框的可移动性。 “电影眼”可以在空间中自由移动，展现不同的区域，同样，计算机用户也可以滚动浏览窗口中内容。

在计算机文化领域，电影式交互界面正在向文化交互界面转化，最剧烈的变化体现在计算机游戏上。比如说，游戏中强调“电影级”质感，《超级马里奥》、《古墓丽影》等。电影这一旧媒体，现在是计算机用户的工具箱，赋予了电影新的生命力。

文化交互界面如何在人机交互界面与传统文化形式之间找到中间地带呢？答案是保持一致性。大多数文化交互界面都包含一套相同的交互界面元素，而这些元素具有标准的语义体系，如“前进”“退后”这种图标。但因为每家网站和每个光盘都力求保有自己独特的设计，这些元素的设计样式在不同产品中各不相同。比如《魔兽争霸》中的图标，就必须与游戏中所描述的想象世界保持一致。

今天，文化交互界面的语言尚处于早期发展阶段，正如一百年前的电影语言。我们不知道最终的结果是怎样，是否最终会发展为一种稳定形式。鉴于计算机语言是通过软件实现的，它有可能会不断地变化下去。但有一件事可以肯定：我们正在见证一种新的文化元语言的诞生。

在第二部分“屏幕与用户”中，马诺维奇讨论了现代化交互界面的重要元素——计算机屏幕。在这一部分，他将计算机屏幕置于历史传统的背景之中，追溯了屏幕的不同发展阶段。

马诺维奇以问题为导向：

1，屏幕的历史分为哪几个不同阶段？——经典屏幕阶段、动态屏幕阶段、实时屏幕阶段。

2，观众所在的现实空间、观众的身体与屏幕空间之间是怎样的关系？——在这个问题中，马诺维奇提到，电影银幕其实是对身体的禁锢，虽然观众坐在座位上就可以穿越不同空间去旅行，然而，这种虚拟的运动性要求观众进入到一种新的、体制化的“不动”之中。马诺维奇把电影院比作一座座大监狱，它可以容纳数百名囚犯。犯人们既不能互相交谈，也不能随便换座位。当观众开启了这场虚拟旅程，他们的身体就固定在了这个暗箱的一片黑暗之中。

3，计算机如何继承屏幕的传统，又如何挑战屏幕的传统？随着虚拟现实使无屏幕的呈现设备到来，观众不再被束缚、固定、麻醉，任凭设备奉上已经备好的现成影像；现在的观众需要动起来，需要自己发声，才能看到相应的图景。然而，另一方面，虚拟现实对身体的禁锢也达到了前所未有的程度。它既要求观看者进行移动才能看到图像，同时又把观看者的身体连接在机器上。总之，虚拟现实延续了屏幕的传统模式，将观众的身体固定到某个机器上，从而使他们保持不动。同时，它也创造了一个前所未有的新状况——观众需要移动来参与。

我们现在处于一个充满屏幕的时代，它虽无处不在，可成通往另一空间的窗口，但屏幕仍然是屏幕，我们还没离开屏幕的时代。

第三章 操 作

马诺维奇在第一章分析了计算机数据的属性，第二章审视了人机交互界面。到第三章，他则探讨了应用软件。其中第三章讨论了三种操作——选择、合成、远程行动。“选择”是专业设计人员和用户都会使用的操作，“合成”是设计师专用的操作，“远程行动”是典型的用户使用的操作。

操作是新媒体的跨码性的又一案例。比如今年10月份巴黎世家与辛普森动画的合作，推出十分钟的动画《The Simpsons | Balenciaga》。

从数据库或菜单中预先设定的元素或选项里进行选择，对制作者和用户来说，都是一个意义非凡的操作。它使得专业人士的生产过程更高效，也让用户更有参与感，觉得自己不只是消费者。

从当下商业化传播的媒体元素中选取并组建一个媒体对象的行为，自旧媒体时代就已经存在，但是新媒体技术进一步实现了标准化，使其更容易执行。通过对选择和组合操作进行编码，将其纳入创作和编辑软件的交互界面，新媒体实现了这些操作的“合法化”。从数据库或资料库中提取元素成为默认模式，而从头开始创建新元素成为例外。其实，网络就是一个很好的例子，它构成一个巨大数据库，里面有图形、照片、视频、音频等等，并且大部分都是免费的，用户只需鼠标一点击，就可以把它保存到自己的设备中。

在关于“选择“这一操作论述的最后，马诺维奇用音乐DJ来总结了自己的论述。他说到，DJ是一种全新的作者，“选择”是DJ工作中的关键。DJ形象的崛起与计算机文化的兴起有着直接联系。DJ这一职业诠释了计算机文化所蕴含的全新逻辑：选择、组合那些已有的元素，同时，他们也呈现出这种逻辑所蕴含的、在创造新的艺术形式方面的真正潜力。

到了合成这一小节，我想向大家推荐一部电影，巴顿·莱文森导演的《摇尾狗》。了解这部片子的同学就会很好理解数字合成这个概念，因为它里面利用这一技术，捏造了一场不存在的战争，成功影响到总统大选。

数字合成：指使用专业合成软件，将一组运动影像段落或图片组合起来，构成一个大段落的过程,比如AE。三个概念步骤：（1）创建一个由不同元素构成的无缝三维虚拟空间。（2）模拟出摄影机在这个空间中的运动。（3）模拟出特定媒体的工艺效果。

数字合成作为一种创建动态影像的技术，其历史可以追溯到电影中的视频抠像和光学印片，但这些曾经相当特殊的操作手段，现在变成了创建运动影像的常规模式，数字合成也扩展这些技术的可用范围。数字合成体现了计算机文化中的一个更有普遍意义的操作，那就是将一系列元素组装起来，创建一个无缝的对象。

流畅的合成、变形、游戏中不间断的导航，都有一个共同点：传统媒体依靠蒙太奇实现的地方，新媒体都用连续性美学取而代之。比如康定斯基的作品就将不同的媒体轨道关联在一起。当然，合成这一操作也不仅限于新媒体，建筑中的半透明材料就是一种视觉合成。

狭义上的合成就是指数字合成，它主要用在电影特效、计算机游戏、虚拟世界等。数字合成的目的还为了欺骗观看者，它与其他模拟技术一样，都用于仿造现实。

在谈到合成的历史时，马诺维奇举了一个自己亲身经历过的例子，他说有当重要外宾访问莫斯科时，他们坐在豪华轿车中，总是沿着一些特殊安排的路线参观各地。在这些游览路线两边，每栋建筑都粉刷一新，商店橱窗展示着各色商品，苏联现实中单调褪色、破败杂乱的一面，都被精心隐藏了。

由此马诺维奇认为，蒙太奇是20世纪仿造现实的重要手段，他将蒙太奇分为时间蒙太奇和单一镜头内部的蒙太奇，其中，比如《美国消防员的生活》里梦境和睡觉的画面并置，《公民凯恩》、《后窗》深焦镜头等等就是单一镜头内部的蒙太奇。

电影更看重时间维度的发展，而计算机技术更看重空间维度，如何判断新媒体对象可以作为蒙太奇案例应满足两个条件：1，元素的并置应该遵循一个特定的系统。2，这些并置应该在建立意义、建立情感和美学效果方面发挥重要的作用。

在这一小节中，马诺维奇还补充了两个对蒙太奇的分类：本体蒙太奇和风格蒙太奇。本体蒙太奇指的是从本体论角度来看，一些元素在同一时间和空间中是不能相容的，而本体蒙太奇实现了这类元素的并存。风格蒙太奇指的是康拉德·泽曼采用了各种各样的特效手段，在不同媒介中创造出风格各异的影像并置。

在远程行动这一小节中，马诺维奇从狭义上探讨了远程在场作为一种远程环境中的物理存在。又从广义层面上论述了跨越远程距离进行实时通信。马诺维奇提出一个问题，我觉得大家也可以思考一下，与传统的技术相比，现在的远程通信技术有什么不同？马诺维奇从本雅明著名的“光晕”概念谈起，到维利里奥关于距离的概念。他认为实时影像工具让我们可以跨越距离触摸到对象的同时，也可以破坏这些对象。

第四章 幻 觉

马诺维奇以宙克西斯和帕拉休斯的比赛引入幻觉一章。本章聚焦幻觉主义，论述了幻觉主义所提出的几个问题。

电影中的现实主义是什么？对巴赞而言，现实主义是一种观念。对科莫利而言，现实主义起到了意识形态的作用。对大卫·波德维尔和珍妮特·史泰格而言，电影中的现实主义首先与电影的产业组织机构有关。巴赞、科莫利、波德维尔与施泰格为我们提供了三种不同的策略和三个不同的出发点。

巴赞的论述建立在比较的基础上，他比较了电影画面不断变化的画质与可视化现实的现象化表现。科莫利的分析提供了另一种策略——将计算机图形技术的历史以及风格惯例上的不断变化，理解为一系列更新换代的替换，这些替换维持了观众眼中的现实效果。波德维尔和施泰格使用的方法是分析计算机动画中的现实主义品质与计算机图形行业中特定的产业结构之间的关系。

按巴赞的方法，将三维计算机图形历史中的图像与自然现实的视觉感知进行比较，其结论似乎可以印证他的进化论叙述。巴赞认为，深焦摄影允许观众以更主动的姿态观看电影，从而使电影式感知更贴近现实生活的感知。这一观点在现代交互式计算机图形中也同样适用，用户可以不同视点，自由地探索虚拟空间。随着计算机图形技术向虚拟现实的拓展，巴赞“总体现实主义”的愿望似乎史无前例的即将实现。

以科莫利的观点看，现实主义媒体的历史可以看作一系列代码的取舍，一系列为实现现实效果而进行的替换，而不是向“现实”轴心靠拢的渐近线。回顾三维计算机动画的历史中现实主义规则的更替，它似乎也证实了科莫利的说法。制造幻觉的新技术出现，而旧的技术手段被淘汰。科莫利认为，这是一个从观众的视角出发来维持现实效果的过程。

以波德维尔的方法看，则从生产角度思考。计算机动画领域由软件驱动，通过产品差异化和版本的更新迭代来保持竞争力。

实现合成现实主义要达到两个目标:1,对于传统摄影规则的模拟，和对于现实生活中物体和环境的感知特性的模拟。2，模拟“真实场景”——需要解决三个问题：物体形状的呈现、物体表面的光线效果及物体的运动模式。

电影现实主义与合成现实主义的区别首先在本体论层面。通过本节的论述，马诺维奇力图证明电影理论中发展出来的、关于现实主义的理论，同样适用于论述新媒体中的现实主义，但并不意味着计算机现实主义问题已经解决。新媒体重新定义了呈现、幻觉及模拟的概念，促使我们以全新的方式来理解视觉现实的运作规律。

合成图像不受人类视觉和摄影机镜头的局限，它可以有无限的分辨率和无限的精细度。传统照片总是指向过去，而合成照片指向的是未来。照相现实主义三维计算机动画存在一个悖论，其图像并不逊色于传统摄影，它们是完美的真实，但又过于真实了。

在最后结论部分，马诺维奇对新媒体的时间性切换做出一个不同的解释，将新媒体中的时间性切换与新媒体之外的社会领域联系起来，而不是与计算机文化中的其他类似特效联系起来。这种幻觉和交互来回切换，强制用户在不同的认知活动之间进行切换。

软件应用程序都嵌入在操作系统的框架内；同样，新媒体也将电影风格的幻觉嵌入到交互式控制平台的框架内，使得电影成为计算机屏幕上的一个小小窗口，成为网络中的众多数据流中的一条，成为硬盘里众多文件中的一个。

第五章 形式

计算机时代带来了一个与计算机密切相关的概念，那就是数据库。在数据库这一节中，马诺维奇探讨了三个问题：1，为什么新媒体倾向于数据库的形式而不是其他形式？2，我们是否可以通过分析计算机编程和数字化媒介的特性来解释这一趋势流行的原因？3，数据库和叙述之间的关系是什么？

首先，我们解释一下数据库的概念：在计算机科学中，数据库被定义为数据的结构化集合。为了实现快速存取和检索，计算机对存储在数据库中的数据进行组织，因此，数据库绝对不是一系列材料的简单集合。不同类型的数据库分别使用不同模型来组织数据。数据库本身所具有的文化形式意义，是马诺维奇想在这里深入讨论的问题。含有“文化”内容的多媒体作品比较青睐数据库的形式。比如如线上展览、虚拟博物馆等。

计算机时代带来了一个全新的文化领域的算法：现实→媒体→数据→数据库。网络这一庞大而不断变化的数据库的兴起，给很多人提供了资料检索这个职业。比如说色情网站以一种极端的方式呈现出网站的逻辑，重复利用一批来源于其他色情网站的、一模一样的照片，只有少数网站有原创内容。

当然，数据库和叙述在计算机文化中的地位并不平等。我们也不期望新媒体以数据库完全取代叙述。新媒体并不是从根本上与过去决裂；相反，它在文化的各类范畴中分配不同的权重，将曾经处于背景的内容凸现出来，或者将曾经的前景放到背景中。

为了进一步理解计算机文化如何重新分配数据库与叙述的权重，马诺维奇引入了符号学理论中的组合与聚合两个概念。他表明，构成叙述的特定词语、句子、镜头和场景具有物质存在；而那些构成作者的想象世界和电影风格的元素，往往只存在于无形中。也就是说，建构叙述的数据库是隐性的，而实际的叙述是显性的。但新媒体改变了这种关系。数据库具有了物质存在，而叙述开始去物质化。

现代媒体成数据库和叙述的新竞技场，数字计算机成数据库形式的完美媒介。数据库像病毒一样，侵占了CD光盘、硬盘驱动器、服务器和网站。

马诺维奇聚焦于叙述与数据库如何协作从而形成新的叙述，他分析了格里纳韦和维尔托夫两位导演的作品。格里纳韦一直致力于研究如何调和数据库形式和叙述形式的关系问题，在线性叙述之外建构各种可能性，使用不同体系来组织电影。比如他的装置作品《楼梯：慕尼黑放映》，在慕尼黑城市的各处设置了一百块银幕，每块银幕代表电影史上的一年。他这个作品就给我们带来了一个空间化的数据库，同时也带来了一种叙述。从一块银幕走到另一块银幕，人们可以以此了解电影的历史。

同时，马诺维奇也分析了维尔托夫《持摄影机的人》。他将电影剪辑比喻为在一个数据库中创建一条叙述轨迹，在《持摄影机的人》中，电影剪辑便构成了整个影片的方法。维尔托夫以特定顺序穿越数据库，建构出一个论点。素材从数据库中提取出来，以特定的顺序被安排组合，构成了现代生活的一幅图景。同时，这也是对这种生活的质疑，是对于我们每天、每秒所遇到的这类画面的真实意义的另一种阐释。维尔托夫在这部作品里实现了如何将数据库和叙述融合到一种全新的艺术形式中。

马诺维奇把可导航空间看作一种文化形式，这不仅因为它在新媒体景观中的突出地位，以及它在新媒体历史上的持久性，还因为它不仅是一个数据库，更是一种新媒体独具的新形式。可导航空间已经成为一种与其他类型数据进行交互的普遍方式，成为计算机游戏和运动模拟器中常见的交互界面，也成为几乎所有计算机实践的普遍形式。

在论及导航的诗学时，马诺维奇举了邵志飞的作品《可读的城市》，我感觉马诺维奇应该还蛮喜欢邵志飞的，因为他这本书里提到很多次。这个作品是以真实城市为基础的计算机可导航空间，用户通过骑自行车完成导航过程。

其实，装置艺术也与可导航虚拟空间设计密切相关。在新媒体的语境中，许多装置作品都可以看作密集的多媒体信息空间，它们将图片、视频、文本、图形和三维元素整合到同一个空间布局之中。并且许多装置都赋予了观众自主权，让观众决定“信息存取”的排序。就如去年ocat上海馆的“重新聚焦媒介：东亚录像艺术的兴起”研究型影像艺术展，就是一个很符合的例子。

紧接着，马诺维奇论述了可导航空间的历史渊源、流行的原因及先例。

1，1863年，夏尔·波德莱尔在《现代生活的画家》中，描绘出一个全新的现代都市男性形象——漫游者。可导航空间是一个主观化的空间，其结构呼应着主体的运动和情感。当漫游者穿越现实中的城市时，这种主观化的改造只发生在漫游者的感知中、在漫游者穿越虚拟空间的导航中，空间可以真正发生改变，成为折射用户主体性的一面镜子。

2，19世纪，在马克吐温的《哈克贝利·费恩历险记》中，描绘了另一番关于穿越空间的导航及主体性的景象。主体性是在主体与自然、主体与敌人之间的冲突中形成的，而不是在某个群组内的人际关系中而形成的。这种结构在西部片以及西部片的主人公身上得到了最极致的体现。

3，现在的网络冲浪者们不断地在邮件组和新闻组中发帖，积累无穷无尽的资料，他们就像是波德莱尔笔下漫游者的现代化身。而穿越虚拟空间导航的用户扮演了库珀或马克·吐温小说中的人物——19世纪探险家的角色。这一点对于计算机游戏中的可导航空间尤其适用。

可导航空间实际上也是一个新的开始，计算机文化并不是可导航空间唯一适用的领域。马诺维奇同时简要地讨论了另外两个领域——人类学和建筑，由此发现更多关于“可导航空间的想象”的例子。

在探讨了新媒体的两个主要形式——数据库和可导航空间之后，我们也倾向于将它们在计算机文化中的特殊作用视为一场更大范围文化变革的标志。在这本书中，马诺维奇选择了强调新媒体和旧媒体之间的连续性，历史的重复和创新之间的相互作用。他想说明新媒体如何借用了其他媒体，尤其是电影的传统形式和惯例。总之，马诺维奇在文化史的空间中建立一系列轨迹，新媒体就位于这条轨迹上，它立足于历史之上，是发展轨迹上的一环。

第六章 电影是什么

马诺维奇在最后一章提出，我们应该在两个走向上思考电影与新媒体的关系。

1，是从电影到新媒体，这构成了本书的主干。第一章到第五章使用了电影史和电影理论勾勒出推动新媒体技术发展和风格演变的逻辑，追溯了电影语言在新媒体交互界面中的重要作用。

2，从计算机到电影。最后一章将聚焦于计算机化如何影响了我们对于运动影像的定义？它是否为电影语言提供新的可能性？它会带来电影的新形式吗？

马诺维奇在“电影，索引的艺术”这节关注计算机化对虚构的实拍电影的影响。他从运动影像的宏大文化史角度，来说明电影的索引性变化在电影制作过程中的意义。这一论述将分为两个部分：1，沿着历史发展轨迹，从19世纪创建运动影像的技术，论述到20世纪的动画与电影。2，从目前正在取代传统电影胶片技术的各种计算机软件和硬件中，抽象出共同的特征与交互界面隐喻，从而提出数字电影的定义：数字电影=实拍素材+绘画+图像处理+合成+二维计算机动画+三维计算机动画。数字化革命的一个主要结果，是先锋性在计算机中得以实现。 总体来看，这些特征和隐喻提出了数字化运动影像的全新逻辑。在这一逻辑中，摄影与电影从属于绘画和图形，电影作为媒体艺术的身份被消解。电影一方面接受了计算机作为一种生产力工具，但另一方面，电影仍然不愿放弃自身独特的电影效果。

本书的基本假设之一是：通过回溯视觉文化与媒介的历史，特别是电影的历史，我们可以找到许多与新媒体设计有关的策略和技术。也可以说，为了发展一套新媒体的新美学，我们不仅应该关注计算机在生成、组织、处理和分发数据方面所独具的全新可能性，同样也应该关注文化史。

马诺维奇还提到，不同于电影中传统的时间蒙太奇，空间蒙太奇另辟蹊径，以空间序列的模式取代传统的时间序列。空间蒙太奇也可以看作一种适用于多任务、多窗口的图形用户交互界面的美学。计算机编程将一项任务分解为一系列基本操作，并逐一执行。电影也遵循这一工业化生产逻辑，使用顺序叙述取代所有的叙述模式，在屏幕上逐一展示流水线式组接起来的镜头。

正如前面讨论的，电影语言现在正在成为所有类型的计算机数据和媒体的交互界面，马诺维奇因此提出另一种思考新媒体交互界面与电影之间关系的方法，那就是把电影阐释为信息空间。如果说人机交互界面是通往计算机数据的交互界面， 那么电影可谓通往发生在三维空间事件的交互界面。正如绘画一样，电影呈现出可见的现实中我们熟悉的影像，比如小津安二郎的大部分作品。

在本书的最后，马诺维奇提出了一个很有趣的疑问：未来的电影看起来会像《黑客帝国》中的“数据雨”一样吗？我们还不知道答案是什么，但是可以通过展现新媒体的新属性，来指明新媒体的全新属性。马诺维奇认为武克·科西克的艺术作品便呈现了计算机运动影像作为计算机代码的身份这一特点。

本书指出,在计算机时代，电影与其他现存的文化形式实际上已经成为一种代码。虽然新媒体增强了现有的文化形式和语言，也为重新定义它们打开了大门。现有文化形式和语言的交互界面中的各类元素，告别了它们在过去所连接的那些数据类型。此外，曾经位于背景中，或者处于边缘的文化可能逐渐步入中心地带，例如，数据库开始挑战叙述。而且，更重要的是，文化的在线传播模式开始挑战传统的“离线”传播模式。从根本上看，文化技术、文化习俗、文化形式和文化概念的开放，是计算机化带来的影响最为深远的文化效应。

4自序

研究缘起：

* 用符号学研究视觉媒体

* 历程：20世纪80年代研究视觉=-艺术的“工作机制”到90年代研究新媒体的新美学维度（引出概念“文化软件的符号学”semiotics of cultural software）

* 21c 初研究方法的转变：从单个视觉作品为样本转到分析大量作品

* 概念：文化的科学 science of culture

导论

5我试图描述和理解洗呢媒体语言发展的内在逻辑（我并不主张新媒体只有一种语言，我把"语言”用作一个泛称，意指新媒体对象的设计师所使用的、用以组织数据、构建用户体验的一系列管理（conventions））

6——8

研究方法：把新媒体的语言放在现代视觉与媒体文化史中分析，运用人文学科和计算机科学的相关理论，采用的整体方法论可以被称为“数字唯物主义”（digitial meterialism）——47 从媒体研究推进到所谓的“软件研究”，从媒体理论到软件理论。

研究问题：

新媒体对旧媒体的继承和发展

* 新媒体在哪些方面依赖现存的文化形式和语言，又在哪些方面与它们决裂？

* 新媒体工具在创造现实的幻觉、吸引观众及呈现时间和空间方面有怎样的独特性？

* 旧媒体中的惯例和技术，注入矩阵边框、运动视角和蒙太奇，是如何在新媒体中运作的？

* 如果我们能建立一个考古学框架（可参考文献计量学），将那些新的、基于计算机的媒体创造技术，与过去那些呈现和模拟技术连为一体，我们应该在哪里定位重要的历史突破呢？

计算机革命对于整个视觉文化的影响；

* 我们转向基于计算机的媒体，这如何重新定义了静态影像与运动影像的本质？

* 计算机化又如何影响了我们文化中的视觉语言？

* 有哪些全新的美学可能性会出现

研究对象：新媒体的所有领域和重要的新媒体对象（如美国商业大片）

研究目的：

建立起一套自上而下的新媒体理论，通过研究计算机硬件与软件的原理及在计算机上创造文化对象所涉及的操作揭示这一实践中全新的文化逻辑

研究主题：

* 电影史与新媒体史的平行关系

* 数字电影的身份

* 多媒体语言与19世纪各种“前电影”（pro-cinematic）文化形式的关系

* 与其在电影中的功能相比，屏幕、运动摄影机及蒙太奇在新媒体中的功能

* 新媒体与先锋电影的历史渊源

12

在本书中，信息文化information culture 与视觉文化是平行概念

三个重要概念：

1. 语言 language

2. 对象 object

3. 呈现 representation 指各种荧幕技术

第一章 新媒体是什么

20

本章结构(论点）

1. 新媒体代表了良好总不同历史发展轨迹的融合：计算与媒体技术。两条历史轨迹的融合，就是将所有现存的媒体转换成了计算机可以识别的数值类数据。新媒体就此诞生——

2. 媒体这种全新形态带来的影响：将新媒体的法则简化为五项——数值化呈现、模块化、自动化、多变性和文化跨码性。

3. 阐述了在旧的文化形式和媒体技术（如电影中）有些已经存在并发挥作用。这些法则本身就是新媒体区别于旧媒体的有效证据。

法则阐述：

27 数值化呈现 numerical representation结果：

* 新媒体对象可以用数字形式呈现

* 新媒体对象受算法操控

30

模块化：新媒体的分形结构 fractual structure of new media ——q：模块化的结果和本雅明基于工业时代提出的“光晕”aura的消失有何异同？（根据消费主义来划分？）

例子： HTML

32 自动化

应用领域：

1. 计算机游戏

2. 媒体获取路径

36

数值化与模块化的结果——多变性 variability

新媒体的逻辑与后工业时代的按需生产production on demand 和及时交付 just in time逻辑具有了一致性

重要特征：可伸缩性 scalability ——特例是 超媒体40

41 新媒体的逻辑适应了后工业社会——将个性看得比共性更重要

44

用户需要这种个性化的自由吗——联系数字劳工，反思是否真的实现了更多的个性化自由

从常量到变量，从传统社会到现代社会中无处不在的选择，与此相伴而来的是道德焦虑感。！

——消费社会下，个性推送中充斥着无处不在的广告，只有在媒体平台上存在的内容才有资格被“个性化推荐”，因此，人获得的个性化信息是否存在有限性和虚伪性？

45 文化跨码性 ：将一个事物转化为另一个格式

思考软件理论的路径

60 交互性

这是一种新型身份认同，适用于认知劳动（cognitive labor）的信息时代。工业社会的文化手段——例如电影和时尚——要求我们认同他人的身体形象，交互媒体要求我们认同他人的心理结构。电影观众无论男女，都钦慕并试图模仿电影明星的身体；计算机用户实际上也都被要求遵循新媒体设计师的心理轨迹。

第二章 交互界面

65

符码所创建的文化信息或者整套语言也会带有相应的模式、体系或者意识形态。大多数现代文化理论都建立在这些理念之上。——称为“符码的非透明性”non-transparency of the code

交互界面将自身逻辑强加于媒体之上——“剪切”与“粘贴”

67

point

内容-交互界面在艺术品中无法被分开讨论

72文化交互界面的语言

1990年第一个十年内三种对文化交互界面产生过重要贡献的文化形式：

* 电影

* 印刷文字

* 人机交互界面

81

《The Dddress of the Eye》一书中探讨了现代电影理论的三个基础隐喻：画框、窗户和镜子。皇框的隐喻来自现代绘画，是形式主义理论的核心议题；窗户的隐喻源于现实主义电影理论（巴赞），强调感知行为。现实主义理论沿袭了阿尔伯蒂的观念，将电影银幕看作是通往世界的透明窗户。最后，镜子的隐喻式精神分析电影理论的中心。

Aesthetics of Film (Texas Film Studies Series)

法国电影理论家雅克·奥蒙著作，提出“屏幕空间通常被习惯性地理解为更广阔的图景空间（scenegraphic space）的一部分”。——摘自《新媒体的语言》pp81

82

通过VRML交互界面，天性（nature）被紧密地接入文化（culture）之中，我们的眼睛被纳入“电影眼”之中，我们的身体被纳入虚拟摄影机的虚拟身体之中。（the body of shell）

86

电影元素正在逐一注入计算机中：首先是单点的线性透视，其次是运动摄影和矩形视窗，最后是摄影和剪辑的惯例；还有从电影中借用的、基于表演惯例的数字人物和角色，以及相关的化妆、场景设计、以及叙述结构本身。电影不仅仅是一种文化语言，它正在成为一个文化交互界面，逐渐取代印刷文字，成为所有文化交流的工具箱。

95

经典荧幕

动态荧幕 dynamic screen 电视、电影

实时荧幕 screen of real time

109

虚拟现实带来了根本性突破，在观看者的身体和影像之间，它建立骑了一种全新的关系。

另一方面，虚拟现实对于身体的禁锢达到了前所未有的程度——联系P96 的讨论观点“屏幕的功能是呈现也是遮蔽”——具身形；后人类主义：人包含生理结构和信息技术

——人参与世界的方式发生了改变，不再仅仅是参与而是沉浸？虚实的界限难以分辨？离真实越来越远还是正在参与建构新的真实？——首先要明确真实的概念，是否自然主义就意味着真实？

111

呈现与模拟

模拟传统力图将虚拟和现实空间混为一谈，而不是分开他们。模拟空间与现实空间具有相同的尺度，他们的边界不被强调，观众可以在现实空间中自由运动。

112

模拟传统例子：真人大小雕像的兴起

虚拟现实是模拟传统的延续

第三章

118 本章研究应用程序，讨论三种操作：选择selecting、合成compositing /远程行动 teleaction

合成：抠像、数字合成 （核心在于无缝）

130 选择的逻辑

后现代主义与PS

——拼贴文化

135

DJ 与新媒体技术带给用户的“选择”

DJ的本质，是一种通过丰富繁杂的方式对选择出的元素进行混合的能力。现代电子音乐证明，混乱中也有艺术。——计算机文化全新逻辑的最好诠释

142 新媒体的流变——模块化

143

选择与合成反应了后现代主义的实践：模仿pastiche 和借用 quotation

144 在现代图形用户的交互界面中存在明显反蒙太奇倾向：多层信息在平面上共处且其中不产生新的意义——强调平滑性和连续性

146 数字合成——仿造现实、欺骗观众

149

时间蒙太奇：将不同的片段连接形成时间上连续的片段

单一蒙太奇：发生在单一镜头内部的——分屏

同一个镜头内部有不同的现实连接

——多类叙事在同一个空间镜头中同时发生？

153模拟技术的下一代是数字合成。数字合成技术可以从历史的角度被看做是单一镜头的蒙太奇

157

数字合成 使得空间维度、画框维度和时间维度同等重要。

158

数字运动影像不再是视听文化的一个子集，它构成了视听-听觉-空间文化的一部分。

一个作为蒙太奇案例的新媒体对象需要满足两个条件：1 元素的并置应该遵循一个特定的系统 2 这些并置在建立意义、建立情感和美学效果方面发挥着重要的作用——通过建立这一套逻辑，可以创造出一种新的蒙太奇，称之为空间蒙太奇

此外还有本体蒙太奇和风格蒙太奇

本体蒙太奇：让几乎不可能在同一时间和空间中共存的元素并存

《探戈》

风格蒙太奇：强调镜头之间的风格差异

166

远程在场（通过计算机实现的虚拟在场）本质上是反在场的。——人们不必亲自来到某一个地点就可改变改地点的现实状态

——或者说，反物理空间的在场？

影像-工具与远程在场最重要的区别在于后者可以实现实时性——？传输也存在延迟？

172 光晕 本雅明 ：艺术作品，历史客体或自然客体的独特存在

光学 维利里奥

距离使客体化成为可能

小光学与大光学：不同之处在于变化的急剧程度

小光学包括远与近的区别，大光学是信息的实时电子化传输

视觉-触觉对立

第四章 幻觉

本章探讨的问题：计算机幻觉主义式图像中生成过程中新“内在”逻辑

186合成现实主义及其不足

电影的现实主义VS计算机图形的现实主义：

* 巴赞：进化论——对真实的还原、对真实感受的还原

* 科莫利：电影技术、美学和社会意识形态交叉决定（尤其是意识形态）——“添加”和“替换”

* 波德维尔：电影产业的视角——现实主义是电影产业竞争的工具

计算机图像与现实主义——巴赞：进化论

* 计算机技术的发展：群体动画

* 观众自由探索虚拟空间的主体性

计算机图像与现实主义——科莫利

* 三维计算机动画

与产业 商品的更新

198

电影现实主义与合成现实主义之间的区别首先在于本体论的层面。新的现实主义是局部和不均匀的，而不是模拟和统一的。

合成图像及其主体 201

合成照片已经比传统照片更“真实”了。事实上，它们过于真实了。

202

计算机图形学实现的是照相现实主义

传统照片指向过于，合成照片指向未来。

《侏罗纪公园》与苏维埃美学：使未来与现在结合为一体；服务于宣传与意识形态

Q 1976年之前中国大陆有科幻片吗？

革命的浪漫主义在1956之后出现，电影创作中也有一些新的尝试，比如纪录片《黄宝妹》在最后的场景里是纺织女如天仙降落——可以被称为科幻片吗？是否也体现了一类与苏维埃类似的社会主义现实主义审美？

合成现实的后果：主体转换、知识型转换

例子：画作1656 维拉斯凯兹《宫娥》：认识论的转变（主体的变化）

幻觉、叙述与主体性

交互性与幻觉：现实建构过程中的可见性

提醒用户注意到机器的存在：用户被迫等待信息加载

虚拟世界具有一种流动的本体论，它受用户的操作影响。

陌生化美学：马列、对资本主义的批判

元现实主义：旧的现实主义对应着现代社会中意识形态的运作，但今天的意识形态以全然不同的方式发挥作用：巧妙地不断解构本身，巧妙地为主体展现大量丑闻和调查。

——对呈现结果的呈现，建构过程可见的现实主义

缝合理论被用来解释这一具体机制：

拉康

阿兰 米勒

欧达尔

第五章 形式

数据库与叙事

234

聚合与组合

组合维度的元素与“在场”相关联，而在聚合维度，元素与“缺席”相关联。

255

文化理论与空间

第六章 电影是什么

第一节 数字电影与运动影像的历史

“前电影”时代：19世纪80年代

模拟电影时代 20世纪90年代前：动画成为子集

——意大利现实主义电影

动画保留了动画影像的特征，使用赛璐珞技术

数字电影时代：20世纪90年代之后

——成为动画的特例

数字电影=实拍素材+绘画+图像处理+合成+二维计算机动画+三维计算机动画

——从技术形式的角度？如果从本体（电影对现实的反映）的层面，应该把动画认为是电影的一部分？

第二节 电影的新语言

现代电影技术与19世纪运动影像融合成一种新的混合语言：影图

循环：即可能是硬件的限制，也可能是新媒体的全新可能性来源

一本系统庞大的书。这是第一本详尽分析新媒体视觉美学的著作，它将新媒体置于视觉文化的历史视野中，清晰阐述了新媒体与以往媒体形态的联系与区别。通过在绘画、摄影、电影和电视中探寻新媒体美学的源头，马诺维奇考察了数字影像、人机交互界面、超媒体、计算机游戏、合成、动画、远程在场（telepresence，又称远程呈现、遥现）及虚拟世界。

视觉艺术的“工作机制”（20世纪80年代）发展到研究新媒体的新美学维度（20世纪90年代），进而探索如何将用于创作、分发和交互的各类软件应用程序和平台进化理论化（21世纪的头十年）。但是，我最初的想法并不是这些，而是我最初的想法并不是这些，而是描述组成视觉作品的元素和维度，并理解它们是如何被我们的感官和大脑处理，从而生产意义和情感的。这一方面是因为计算机速度的提升，另一方面也因为“视觉文化”现在以数字形式大规模生成。

艺术与技术从来都是紧密相连的，艺术家总是在第一时间采用新技术：我们信手拈来新技术，天马行空地乱试一气，进行一些工程师们从来没想过的尝试；我们试图理解新技术的意义，思考新技术的影响，不断探索新技术的界限，进而完成突破。

“新视觉”运动预示着相机和电影摄影机的新机动性，并且使非传统视角成为其诗学的关键部分。

我将蒙太奇分为两种：第一种是时间蒙太奇——将不同的现实连接，形成时间上连续的片段。第二种是单一镜头内部的蒙太奇——这种蒙太奇与前一种相反，将不同的现实连接，形成同一影像的多个不确定方面。

维尔托夫的理论认为，通过使用蒙太奇，电影可以突破其索引性的本质，在观众面前呈现出现实中并不存在的影像。

不同世界之间的界线，不必被刻意抹除；对于不同空间的呈现，不必在视角、比例和亮度上相匹配；不同的图层可以保留其各自的特征，不必完全被合并到同一空间；不同的世界可以在语义上相互冲突，不必构成一个统一体。

本雅明认为，摄影师就像外科医生一样，“深深地刺入（现实）之网”；镜头的变焦可以“窥探壳中之物”。

《持摄影机的人》或许是现代媒体艺术中最能体现数据库想象力的作品。

维尔托夫的电影至少包含三层内容：第一层是摄影师拍摄电影素材的经历，第二层是观众在剧场中观看电影的镜头，第三层是电影本身，包括记录着莫斯科、基辅、里加风貌的镜头，并按照一天的进程（起床—工作—休闲活动）将这些镜头组织起来。如果第三层是一个文本，前两层可以视为其元文本。它提供了一系列无拘无束，而且似乎无穷无尽的技术手段，构建出新的电影话语方式。在当代语言中，这些技术手段被称为“特效”。

今天我们正在见证另一种新媒体的诞生，即数字计算机这一元媒体。与一百年前电影诞生时相比，现在的我们已经完全认识到了这一新媒体革命的重要意义。

虽然我们这个时代的分析文章认识到了计算机接管文化的重大意义，但大多人都在阐述对于未来的猜想，而非记录与论述现状。

新媒体的所有领域：网站、虚拟世界4、虚拟现实、多媒体、计算机游戏、交互性装置、计算机动画、数字视频、电影以及各种人机交互界面。

文化的计算机化进程不仅带来了新的文化形式，例如计算机游戏和虚拟世界，而且重新定义了现有的文化形式，比如摄影和电影。

“新媒体的法则”一节描述了我眼中影响新媒体发展的四个重要趋势：模块化、自动化、多变性及跨码性。

第一部分“新媒体是什么？”——数字媒介本身、其物质和逻辑结构。

第二部分“交互界面”——人机交互界面；操作系统。

第三部分“操作”——操作系统上运行的应用软件、其交互界面及主要的操作手段。

第四部分“幻觉”——软件创造出的数字影像所具有的全新逻辑和外观。

第五部分“形式”——将新媒体对象组织成一个整体的过程中所常用的惯例。

许多艺术家都从事商业设计来谋生；另一方面，职业设计师又是一群真正推动新媒体语言发展的人，他们进行系统化的实验，并创造出新的标准和惯例。第二种内涵即工业化生产的内涵，同样适用于新媒体。

我将屏幕定义为一个呈现虚拟世界的矩形平面，它存在于观众物质世界中，不会对现实视野构成阻断。模拟指的是通过技术手段使观众完全沉浸于虚拟世界中，包括巴洛克式的耶稣教堂、19世纪的全景画、20世纪的电影院。

14世纪的印刷和19世纪的摄影对现代社会与文化的发展产生了革命性影响，而现在我们身处一场类似的新媒体革命中。在这场新媒体革命中，所有文化都向着计算机介入的生产、分发和传播模式转变。

计算机媒体革命不仅影响了传播的所有阶段，包括信息的获取、操纵、存储和分发；也影响了所有的媒体类型，包括文本、静态影像、运动影像、声音和空间建构。

将新媒体的法则简化为五项——数值化呈现、模块化、自动化、多变性和文化跨码性。

电影的图像符码被抛弃，让位于更高效的二进制码。电影成了计算机的奴隶。

幸运的是，故事并没有到此结束，一个美好的转折出现了。楚泽那段带有二进制代码与图像符码叠加的古怪胶片，预测到了半个世纪之后的融合过程。媒体与计算机这两条历史轨迹终于相遇了：达盖尔的银版照相法与巴比奇的分析机相遇，卢米埃尔兄弟的电影机与霍利里思的制表机相遇，最终走向一体。所有媒体都被转化为可供计算机使用的数值数据。图像、运动影像、声音、形状、空间和文本都成为可供计算机处理的一套套数据。简言之，媒体成了新媒体。

计算机不再仅仅是一个计算工具、操控机制或者传播设备，它变成了媒体处理器。

由计算机创建的新媒体对象在本质上是以数字的形式呈现的。

将连续性数据转化为数值化呈现，这个过程就叫作“数字化”（digitization）。数字化包含采样和量化两个步骤。

语言是对现实的分割

整个万维网也具有模块化特征，它由大量网页构成，每个网页也由相互独立的媒体元素构成，我们可以单独访问其中的每个元素。

在媒体作品的“低水平”和“高水平”自动化之外，另一个日益自动化的媒体应用领域是媒体获取路径。

即同一媒体作品的不同版本可以具有不同的大小和不同的细节程度。我们不妨把可伸缩性比喻成地图，如果把一个新媒体对象比作一块具体的领土。整个媒体作品的内部元素和结构可以根据用户与程序之间的互动进行修改或实时生成。我们可以把这些操作看作开放式的交互。

每个人都可以建立起自己个性化的生活方式，从大量的（虽然并不是无限的）选项中“选择”自己的意识形态。

新媒体技术可以看作由独特个体组成的理想社会的乌托邦。新媒体对象向每一个用户保证，他们的选择都是独特的（这也就意味着，他们潜在的思想和欲望也都是独特的），而不是预先编排好的、与其他用户共享的。

在新媒体的术语里，“跨码”就是将一个事物转换成另一种格式。

一方面，新媒体的确是媒体的另一种类型，但另一方面，新媒体也是计算机数据的一个特有类型：它被存储在文件或数据库中，可供检索和分类，通过算法运行，最终写入输出设备。

我们可以从媒体研究推进到所谓的“软件研究”，即从媒体理论到软件理论。

电影完成的是一个更艰难的观念性突破——将连续性的时间打散。

一张图像中，有多少信息对于观看者是有用的？到了新媒体的第一个十年，技术发展日臻成熟，一张数字图像所能蕴含的信息，已经远远超出了人们需要的数量。

新媒体技术的用户与理论家们一次又一次强调这些新技术所具有的将心理外化（externalize）和客体化（objectify）的趋势。

虚拟技术可以将心理过程完全客体化，或者更恰当地说，与心理过程融为一体。

空间叙述：

空间叙述“所涉及的空间大体上可以分为四类，即故事空间、形式空间、心理空间和存在空间。所谓故事空间，就是叙事作品中写到的那种”物理空间“（如一幢房子、一条繁华的街道、一座哥特式的城堡，等等），其实也就是事件发生的场所或地点。任何叙事作品都必定会有一个或多个故事空间，因为构成故事的一系列事件必然会占有一定的空间，就像它们必然会占有一定的时间一样。所谓形式空间，就是叙事作品整体的结构性安排（相当于绘画的”构图“），呈现为某种空间形式（”中国套盒“、圆圈、链条等）。这是一种非线性的结构模式，传统的以因果一线性模式结构而成的小说无所谓形式空间。所谓心理空间，就是作家在创作一步叙事作品时，其心理活动（如记忆、想象等）所呈现出来的某种空间特性。所谓存在空间，则是叙事作品存在的场所。一般而言，小说等文字性叙事作品的存在空间不是太重要，一部保存在图书馆中的小说与存在自己书架上的同一部小说，本质上不会有什么不同。而口头讲述出来的叙事作品以及图像性叙事作品的存在空间则是非常重要的，比如说，在那些特别庄重的场合，就不太适合讲那些低俗的故事；而绝大数著名的图像性叙事作品，都存在于像教堂、寺庙、石窟这样的特殊空间中，这种特定的空间（场所）对存在于其中的图像叙事作品的主题和结构形态都会产生比较大的影响。 ——摘自《空间叙事研究》