Click to see the map in the full scale or download map in pdf format here

Language options: EN / CN

Fractal chains of production and exploitation

人工智能系统解剖

作为人工劳动力,数据,和全球资源剖析图的 亚马逊 Echo

凯特 · 克劳福德(Kate Crawford) 1 和瓦拉丹·卓勒(Vladan Joler)著 2
(2018)

Cylinder

I

一个圆柱形物体被放在一个房间里。它不引人注意,外形流畅、简单、小巧。高14.8厘米,在它上缘环绕着一圈蓝绿色的灯。它静候着,一个女人走进了房间,怀里抱着一个熟睡的孩子,然后她对着这个圆筒说道,

“Alexa,打开大厅的灯。”

圆筒突然有了生命,“好的。”房间随之亮了起来。女人微微点了点头,把孩子带上了楼。

这是一次与亚马逊Echo设备的互动 3 简短的指令和响应是这个为消费者所设计的AI语音设备最常见的交流方式。但在一个这么短暂的互动时刻,大量的功能矩阵被激活:交错的资源提取链、人力劳动、和跨越数据挖掘、物流安排、资源分配、事件预测和优化功能等多重网络的算法处理。这个系统的规模几乎超出了人类的想象。我们如何才能开始看到它,并理解它作为一种联结形式的无穷和复杂呢?让我们从一个概述开始:一个囊括了诞生、生命和死亡三个阶段的 “全球系统”分解视图,和一篇包含21个部分的文章。这两者一起组成了一个AI系统的“解剖全图”。

Amazon Echo Dot (schematics)

亚马逊智能助手 (原理图

II

这位女士与Alexa交谈的场景取自2017年最新版本亚马逊Echo 的宣传视频。视频以“向全新的Echo问好”开头并解释道Echo将与Alexa(人工智能代理)连接以便于“播放音乐,呼叫朋友和家人,控制智能家居设备等等。”该设备包含七个定向麦克风,因此即使在播放音乐时它也可以随时听到用户的声音。该设备有多种样式,例如金属灰色或基础米色,专为“融入环境或凸显而出”而设计。”但即便是那些较为闪亮的设计款式,它们仍向外界呈现出一种空白感: 使用者不会被告知这个设备背后用以驱动其互动能力的庞大网络。宣传视频只是简单地指出Alexa能够执行的事务范围在不断扩张。“因为Alexa身处云端,她总是在学习如何变得更加智能,并不断添加新功能。”

这一切是如何发生的呢? Alexa是一个无实体的拟人声音,代表一系列极其复杂的信息处理网络之外的 一个人机交互界面。这些网络收到持续不断的,宛如潮汐般的馈送——人类的声音流如潮水般涌进网络,被翻译成文字,并用以查询与匹配数据库中的潜在答案,Alexa的回应则是这一波潮水的尾声 。对于Alexa给出的每个回应,其有效性可以从以下问题来推断:

同样的问题再次出现了吗?((用户是否觉得被听见了?))
问题被重新组织了吗?((用户是否觉得这个问题被理解了?))
这个问题之后是否有行动被执行?(本次交互是否引向了可被追踪的动作:比如灯开了,产品被购买了,音乐被播放了?)

通过每一次互动,Alexa都会进行自我培训,以便更好地聆听,更准确地分析, 更精准地根据用户的命令触发动作,并建立一种更完整的用户偏好、习惯和欲望模型。是什么使得Alexa的这些行为能够成为现实?简单地说:在每一个为用户创造便捷的短暂时刻——无论是回答问题,开灯还是播放歌曲——都需要用到由不可再生材料,劳动力和数据所推动的巨型全球网络。 其所需要的资源规模比人类操作一个家用电器或轻启一个开关所需的能量和劳动力大得多。虽然完全计算出这些成本是几乎不可能的,但如果我们想要理解和管理那些贯穿我们生活的基础设施技术,对于这类资源消耗的规模和范围的认识正变得越来越重要 。

III

乌尤尼盐沼(The Salar)是世界上最大的平坦地表,它位于玻利维亚西南部,海拔3656米。这是一个被好几米厚的盐壳所覆盖的高原,这些盐壳的锂含量异常丰富,占世界锂储量的50%至70%. 4 乌尤尼盐沼与邻近的智利阿塔卡马地区和阿根廷一起,成为了锂开采的主要地点。这种柔软的银色金属目前能够为移动联网设备供能,它是生产锂离子电池的关键材料,被称为“灰色黄金”。例如,智能手机电池通常含有少于8克的锂5每辆特斯拉汽车的电池组大约需要7千克锂.6 这些电池的使用寿命都有限,一旦用完,它们就会被当作垃圾扔掉。亚马逊提醒用户不可以自己打开修理Echo,因为这将使保修失效。 亚马逊 Echo采用插座充电方式,并配有移动电池。但使用寿命仍然有限,超出寿命之后也只能作为垃圾扔掉。

根据艾马拉人的关于玻利维亚起源的传说,安第斯高原的火山山脉诞生于一场悲剧 7 很久以前,当火山们仍活跃并自由地漫步于平原时,图努帕(Tunupa)——唯一的女性火山——生下了一个婴儿。出于嫉妒,雄性火山们偷走了她的孩子,并将它驱逐到一个遥远的地方。众神为了惩罚火山,将它们全部钉在地球表面。图努帕为她离去的孩子而悲泣,她的眼泪和母乳融合在一起,形成了一个巨大的盐湖:乌尤尼盐沼。正如李安杨(Liam Young)和凯特戴维斯(Kate Davies)所说,“你的智能手机依靠火山的眼泪和母乳运作。这片土地通过我们口袋里的手机与地球上的所有地方连接起来; 通过无形的商业、科学、政治和权力线索与我们每一个人联系起来。” 8

Lithium

IV

我们的分解视图结合并可视化了大规模人工智能系统运行所需的三个主要“采掘”过程:物质资源、人力劳力、和数据。 我们考虑这三个因素在时间上的变化——通过单个亚马逊Echo的诞生、生命与死亡的视觉描绘来呈现。为了真正体现出采掘过程的全球规模,我们需要超越对于人类个体、个人数据,和单个科技公司三者之间的简单关系分析。文森特·莫斯科(Vincent Mosco)已阐述了“云”这个对于离线数据管理和数据处理的抽象隐喻,与通过强征人口来开采地壳矿物的物理现实是完全矛盾的. 9 桑德罗·梅扎德拉(Sandro Mezzadra)和布雷特·尼尔森(Brett Nielson)用“开发主义”(extractivism)这个词来命名当代资本主义中各类采掘形式间的关系,这恰恰是我们在AI产业语境下不断见证的. 10 取尽地球和生物圈的资源,与AI中的数据采集,人类沟通与社交行为的货币化之间具有非常深入的联系。 梅扎德拉和尼尔森指出,劳力是这种采掘关系的核心,而这种关系在历史中反复上演:从欧洲帝国主义采用的奴隶制劳动,到马来亚橡胶种植园中被强迫工作的工人,再到玻利维亚的土著居民被驱使采掘作为第一个全球货币使用的白银。当我们在反思“采掘”的概念时,需要同时考虑到劳力,资源和数据三个要素。这挑战了一些被广泛接受的关于人工智能的重要理念:我们很难单独“看到” 这些过程中的任意一个,更不用说全部的过程了。因此,需要一个可视图将这些相互联结却相隔千里的分散流程合并入一个完整图景中。

Extractive operations

V

如果你从左到右阅读我们的地图,整个故事将以地球开始,也以地球结束,并伴随着跨越深时(deep time)的地质过程。但是如果从顶部读到底部,故事的开头和结尾都将是人类。顶部是人类主体,向Echo提问,并向亚马逊公司提供对训练数据来说十分具有价值的口头提问与回答,这些数据将被用来进一步完善亚马逊的AI语音系统。地图的底部是另一种人力资源:关于人类知识和能力的历史,它也被用于训练和优化人工智能系统。这是人工智能系统与其他形式的消费者技术之间的关键区别:它们依赖于大量对于人类生产的图像、文本和视频的摄取,分析和优化。

Earth

VI

当人类使用Echo或其他音控的AI设备时,他们的身份不仅仅是处在产品终端的消费者。我们很难将人工智能系统的人类用户置于单一类别中——相反,他们应该被视为一种混合体 正如希腊神兽喀迈拉是由狮子、山羊、蛇和怪物组合起来的神话动物一样,Echo的用户是集消费者、资源、工作者和产品于一身的集合体。 在许多科技系统中,人类用户都具有这样的多重身份 。在亚马逊Echo的案例中,用户购买了一个针对消费者的设备,从而获得了一系列便捷的功能。但他们同时也是一种资源,因为他们的语音命令正在被收集,分析和保留,以便建立一个前所未有的庞大的人类语音及指令语料库。消费者还提供了劳动力,因为他们不断提供有价值的服务,贡献有关Alexa回复准确性、实用性和整体质量的反馈机制。从本质上讲,他们在帮助训练亚马逊基础设施堆栈之内的神经网络。

VII

所有超出设备有限的物理及数字界面的东西,都不在用户的控制范围之内。Echo呈现出光滑的表面,无法打开,无法修复,也无法改变其内在功能。这个圆筒本身是一个非常简单的集合了一系列传感器的塑料产品——它真正的能力和繁复远在我们看不见的地方。 Echo只是家庭中的一个 “耳朵”:一个无实体的、永不显现其与远程系统深层联系的听觉主体。

1673年,耶稣会的博学家阿塔纳修斯·基歇尔(Athanasius Kircher)发明了对讲雕像(statua citofonica),即“会说话的雕像” 。基歇尔是一位非凡的跨学科学者和发明家。他一生中出版了四十件主要作品,涵盖医学、地质学、比较宗教学和音乐等不同领域。他还发明了第一个磁钟,许多早期的自动机,以及扩音器。 他的对讲雕像是一个非常早期的监听系统:本质上是一个由巨大的螺旋管制成的话筒,一边采集来自公共广场的对话声音,一边通过管道传到位于贵族私人房间内的雕像口中。正如基歇尔所写:

“这个雕像必须置于一个既定的位置,以使螺旋形管的末端部分精确地对应于嘴的开口。这样的情况下,它将是完美的,并且能够清楚地发出任何声音:事实上,雕像将能够用人或动物的声音持续说话:它会大笑或者冷笑;它会哭泣或者呻吟;有时它会发出令人震惊的巨响。如果螺旋管的开口位于一个开放的公共空间,那么所有人们所发出的音节都将汇集于管道中,并通过雕像的嘴巴再次出声。” 11

这一监听系统可以窃听广场上的日常对话,并将它们传达给17世纪的意大利寡头政府。 基歇尔的对讲雕像是社会精英提取信息的一种早期形式——在街上说话的人完全不知道他们的谈话内容正被传送入他人之耳,并将被用以掌握权力、制造娱乐和累积财富。在家中的贵族们也并不知道这么一个神奇的雕像是如何说话并传达各类信息的。雕像的目的就是为了模糊整个系统的运作方式:人们能看到的只有一个优雅的雕像。即使在这一早期阶段,监听系统就已是为权力、阶级和机密服务的。但基歇尔系统的基础设施非常昂贵——仅少数人能够使用。那么这个延续至今的问题就是,构建此类系统到底意味着多少资源的消耗?这个疑问将带领我们来到藏于基础设施表面之下的物质本性。

Statua citofonica

阿塔纳修斯·基歇尔尕,“对讲雕像”,1673

VIII

杰西·帕瑞卡(Jussi Parikka)在其《媒体地质学》(A Geology of Media)一书中提出,我们不应从马歇尔·麦克卢汉的观点来看待媒体,即媒体是人类感官的延伸, 12 取而代之的,我们要把媒体看作为地球的延伸。 13 媒体技术应在地质过程的背景下被认知,从创造和转化过程,到构建媒体根基的自然元素的运动。将媒体与技术作为一种地质过程去反思,能让我们意识到当前社会技术革新所需的不可再生资源正处于殆尽边缘。 AI系统扩展网络中的每个物件,从路由器、电池到麦克风,都是使用数十亿年才能生成的元素所构建而成。从深时的角度来看,我们正在采掘地球的所有历史沉淀以服务于短暂一瞬的技术开发,并建造出一些寿命仅有几年的设备。例如,消费者科技协会指出智能手机的平均寿命为4.7年。 14 这种淘汰循环将刺激更多产品消费,驱动更多商业利润,最终导致更多的不可持续采掘操作。元素和物质材料产于一个非常缓慢的发展过程,却经历了一个异常迅速的挖掘、冶炼、混合和物流运输阶段——整个转化过程跨越数千公里。从矿石开采到电子垃圾堆中的材料沉积,地质变化标志着这个阶段的开始和结束。正因如此,我们的地图以地壳开始也以地壳结束。然而,我们所描绘的转化和运动过程只是最粗略的解剖概论:在这些相联关系下存在更多层的供应链分形结构、人类及自然资源剥削、企业及地缘政治力量集合以及持续的能源消耗。

IX

在资源、劳动力和数据采集之间建立的联系让我们不可避免地回到传统剥削的框架。但是这些系统是如何产生价值的?我们可以在克里斯蒂安·富克斯(Christian Fuchs)和其他作者对数字劳动力进行检视和定义的文章中找到一个有用的概念工具。数字劳动力的概念最初与不同形式的非物质劳动形式有关,它的出现早于如人工智能的设备和复杂系统 。数字劳动力——建立和维护数字系统堆栈的工作——绝不是一种虚拟或转瞬即逝的工作,而是在不同的行为活动中有深远的体现。 15 其涉及的范围极广:从契约矿工开采作为信息技术物理基础的矿物,到中国工厂中严格受控、但仍旧危险的硬件生产和装配过程,再到发展中国家用于标记AI训练数据集的外包工人,以及清理毒物废弃堆的非正式体力工人。 这些过程创造了新的财权积累,却仅仅集中在极小的社会阶层中。

Marx’s dialectic of subject and object in economy

Product of labour(Subject - object): 劳动产品(主体 - 客体)

Labor power(Subject): 劳动力(主体)

Means of production: 生产资料

Marx’s dialectic of subject and object in economy

X

这个展示价值攫取及生产的三角绘图代表了我们地图中的一个基本要素,从地质演变中诞生的物质,到作为消费者AI产品的生命阶段,最后在电子垃圾堆中的消亡。就像富克斯的作品一样,这样的三角形不是孤立的,而是在生产过程中相互连接着。它们形成了一种流动循环,其中劳作产物被转化为资源,资源被转化为产品,再被转化为资源,这样无限循环。每个三角代表生产过程中的一个阶段。尽管这在地图上看上去是一个关于转变的线性路径,但另一种独特的视觉隐喻更能代表当前开发主义的复杂性:熟知为谢尔宾斯基三角的一种分形结构。

线性的展示不能显示出生产和开发的每一步都是基于前一阶段之上的。如果我们通过分形结构的视觉呈现来描绘生产和开发系统,最小的三角将代表自然资源和各类劳动力,例如矿工是劳动力,而矿石是产品。下一个更大的三角形包涵金属加工,再下一个将代表零件制造的过程,以此类推。我们地图中最后的一个三角形,即亚马逊 Echo本身的单元制造,涵盖了所有层面上的开发利用——从亚马逊公司的底层到顶部,即杰夫·贝索斯(Jeff Bezos)作为亚马逊首席执行官的角色。像古埃及的法老一样,他站在人工智能价值采掘的最大金字塔的顶端。

Sierpinski triangle or Sierpinski fractal

谢尔宾斯基三角或者谢尔宾斯基分形结构

XI

回到这种可视化——马克思生产三角的一种变形——的基本要素,每个三角在创造利润的同时产生了价值盈余。如果我们查看每一台设备在生产过程中每项活动的平均收入规模(在地图左侧显示),我们会发现不同收入间的巨大差异。根据国际特赦组织(Amnesty International)的研究报告,在挖掘用于制作16个跨国品牌锂电池的钴元素期间,工人们每天拥有相当于1美元的工资,却要在危及生命和健康的环境下工作,并常受到暴力、勒索、和恐吓 16 国际特赦组织还调查到有年仅7岁的儿童在矿场工作。相比之下,位于分形金字塔顶端的亚马逊首席执行官杰夫·贝索斯在2018前五个月平均每天收入2. 75亿美元,据彭博亿万富翁指数(Bloomberg Billionaires Index)报道 17 在刚果某个矿场工作的孩子需要超过70万年的不间断工作才能获得与贝索斯单天收入同等的金额。

这张地图上的许多三角形背后都隐藏着围绕劳动剥削和非人道工作环境的故事。元素转换带来的生态影响和收入差距只展现了这种深层系统性不平等的皮毛。我们研究了不同形式的代表算法过程的“黑箱” 18 但这张地图还指向另一种形式的不透明:创造、训练和操作如亚马逊 Echo这类设备的过程,本身就是一种黑箱。考虑到遍布世界各地的多层承包商、分销商和下游物流合作商,我们很难对其进行完整的检验和追踪。正如马克·格雷厄姆(Mark Graham)所写,“当代资本主义向消费者掩盖了大多数商品的历史和地理位置信息。消费者通常只能在当下的空间和时间中看到商品,并极少有机会窥见生产链的前端,以了解生产、转化和分销究竟发生在何处。” 19

对当代生产链流程进行调查和追踪有极高的难度,一个例证是英特尔用了四年多的时间来充分了解其供应线,以确保其微处理器产品中没有来自刚果的钽元素。作为半导体芯片制造商,英特尔为苹果提供处理器。为了做到这一点,英特尔拥有自己的多层供应链,在100多个国家拥有超过19,000家供应商,为其制造过程和工具提供原材料,并为其工厂、物流和包装服务提供机器。 20 一家领先的科技公司花了整整四年的时间才了解自己的供应链,揭示了这个过程从内部掌握的难度,更不用说外部研究人员、记者和学者了。总部位于荷兰的科技公司飞利浦也声称其正在努力使其供应链“无冲突”。比如,飞利浦拥有数万家不同的供应商,每家供应商都为其制造流程提供不同的组件。 21 这些供应商又与成千上万的组件制造商连接在一起,这些制造商从数百家炼油厂购买材料,这些炼油厂从不同的冶炼厂购买原料,这些冶炼厂由未知数量的贸易商提供,直接涉及合法和非法采矿业务。在《权利的元素》中,大卫·S·亚伯拉罕(David S. Abraham)描述了全球电子供应链中稀有金属交易商的无形网络:“从矿山到笔记本电脑的稀有金属网络通过交易商、处理器和元件制造商的模糊网络传播。交易员不仅仅是购买和销售稀有金属的中间商:他们也在调控信息,是金属工厂和我们笔记本电脑组件之间的隐藏环节。” 22 根据计算机制造公司戴尔的说法,金属供应链的复杂性带来了几乎无法克服的挑战。 23 这些矿物的开采早在最终产品组装之前就开始了,这使得追踪矿物的来源非常困难。另外,许多矿物质与再生金属一起冶炼,几乎不可能将矿物质追溯到其来源。因此,我们看到理解完整供应链的尝试是一项实实在在庞大的任务:揭示了21世纪全球技术产品生产的复杂性。

XII

供应链总是一层叠一层,处在一个不断蔓延的网络中。苹果的供应商体系揭示了在它们的设备中:成千上万个单独制作的零件被嵌入其中,而这些零件又是由上百家不同的公司所供应。为了使每一个零件都能够出现在装配线上,并由富士康工厂的工人来组装,不同的零件需要从30个国家的750个供应商地点运输而来。 24 这形成了一种超级复杂结构,供应链中嵌套着供应链,忽然猛增的几万个碎片化供应商,几十万吨船载原料和数十万在产品装配之前就牵涉在过程中的工人。

如果将这一过程想象为一个材料、零件和产品流动所凭借的全球性、泛大陆网络,我们会看到它与全球信息网络的相似之处。信息网络中,单个因特网包(Internet Pack)会行进至亚马逊Echo系统之中,我们在此可以将其想象成一个单独的货物集装箱。 25 全球物流和生产如今令人炫目的壮观景象离不开这种简单又标准化的金属物发明。由于标准化集装箱的存在,使得现代船运工业可以将地球模型化为一个大型、单一的工厂,从而迎来了爆炸性的发展。2017年,海运交易的集装箱运货船总容量接近250,000,000固定负载,主要来自于丹麦马士基集团、瑞士地中海航运公司,以及法国达飞海运集团等船运巨头公司,其中每一家都拥有数百艘集装箱货船。 26 对于这些商业投资者来说,船运是一种能够穿行于全球工厂的复杂网络中相对廉价的方式,但它掩盖了更大的外部成本。

近些年来,货运船每年排放的二氧化碳占全球排放量的3.1%,比整个德国的排放量还要高。 27 为了最小化他们的内部成本,大部分集装箱船运公司大量使用非常劣质的燃料,导致空气中含硫量上升,也带来其它有毒物。据估计,一艘集装箱货运船的污染排放量与5千万辆汽车相当,而这一工业所带来的相关问题也间接导致了全世界每年六万人的死亡。 28 甚至像世界航运工会这样与产业比较亲近的组织也承认,每年都有数千个集装箱在海上丢失,沉入海底或者四处漂流。 29 有些集装箱装有毒性物质,可能会渗入海洋之中。一般来说,劳工们会在海上呆9到10个月的时间,常常要长时间轮班,而且与外界没有联系。菲律宾的劳工在全球货运劳力中的占比超过三分之一。 30 全球物流中最要紧的成本来自于大气,海洋生态系统和其中所包裹的一切,以及低薪劳工。

Cargo container

货物集装箱

XIII

人类科技与日俱增的复杂化和微型化取决于一种技术过程,令人感到奇异的是,这种过程与早期中世纪炼金术的目标相呼应。中世纪炼金术试图将基础金属转化为“高贵”的种类,而今天的研究者使用稀土金属来增强其它矿物质的性能。地球一共有17种稀土元素,深嵌于笔记本电脑和智能手机之中,以使它们的体积更小,重量更轻。在色彩显示器,扬声器,相机镜头,GPS系统,可充电电池,硬件驱动以及其它很多元件之中,稀土都会起到一定的作用。从光纤电缆,移动通信塔中的信号放大到卫星和GPS技术中都有稀土元素的存在,它是通讯系统的关键组成。但是我们很难弄清楚这些矿物质精准的用处和配置。正如中世纪炼金术士的研究隐藏在密码及含义模糊的符号之中,当代社会对于这些稀土在设备中的使用过程也被保护在保密协议和交易机密之中。

稀土具有非常独特的电子,光学和磁学性能,人类至今无法找到其它材料或者合成替代品可以与之相提并论。虽然它们被称为“稀土金属”,但有些元素在地壳中的含量是相对丰富的,只是开采起来非常昂贵,并且带来高度污染。大卫亚伯拉罕(David Abraham)描述了广泛用于高科技设备的元素镝(Dy)和铽(Tb)在中国江西的开采情况。他写到:“被开采的粘土中只有0.2%含有宝贵的稀土元素。这意味着被挖出的稀土矿土中,99.8%都被当成废料弃置,它们被称为“尾矿”(tailings),丢弃回了山川溪流之中,”又产生了比如铵这样新的污染物。 31 为了精炼一吨稀土元素,“中国稀土协会预估这一过程将会产生75000升酸性水,以及一吨放射性残渣。” 32 此外,开采和精炼活动消耗大量的水,排放大量二氧化碳。2009年,中国生产了全世界稀土供应量的95%,据估计,白云鄂博单一矿区就占到世界存量的70%。 33

Rare earth elements

钪 钇 镧 铈

镨 钕 钷 钐

铕 钆 铽 镝

钬 铒 铥 镱

稀土元素

XIV

一张关于印度尼西亚邦加小岛的卫星照片讲述了半导体生产中人类与环境付出的代价。在这个小岛上,大多数“非正式”矿工都是站在临时的浮桥上,用竹竿刮过海底,然后潜入水下,用巨大的类似真空的管子从海底表面吸取锡。据《卫报》的一份调查报告所述,“开采锡矿的利润非常可观,但这是一种毁灭性贸易,会破坏小岛的景观,推倒农场和森林,消灭渔业资源和珊瑚礁,损害漂亮的棕榈海滩所带来的旅游业。从空中观察这一破坏最为清晰,可以看到在团团簇拥的茂密树林周围,有一些巨大的橙色长条形贫瘠土地。这一景观不是由采矿直接主导的,而是由麻点一样的坟墓所形成,其中埋葬着过去几个世纪因为采锡而亡的矿工尸体。” 34 邦加和勿里洞这两个小岛,产出了印度尼西亚90%的锡,而印度尼西亚是世界上第二大的锡出口国。印尼的国有锡业公司天马集团,直接向三星等公司供货,也向焊材制造商晟楠和升茂供货,这两家公司转而将产品供应给索尼、LG和富士康。 35

XV

在亚马逊配送中心,大量产品按照计算机安排的顺序被放置在几百万个货架上。这个空间中的每个物品位置都由复杂的数学函数精确计算得出,这些函数处理订单信息,并创建产品之间的相对关系。这一算法行为的目标是为了优化仓库中共同协作的人机运动。工人凭借电子手环的引导和帮助,穿行于飞机库大小的仓库中,这些仓库塞满了依据不透明的算法规则而排列的物体。 36

在亚马逊成千上万的公开专利之中,有一份编号为9280157的美国专利令人吃惊地表现出了对于工人的异化,这是人机关系中的至暗一刻。 37 这一专利描绘了为工人设计的金属牢笼,上面装有不同的机械控制附件,由一个原本用来挪动商品货架的驱动系统来控制它的移动。

我们从剖析图的研究中一次又一次看到,反乌托邦的未来建立在当下和历史反乌托邦体制所达成的一种不均匀分布之中,并散布在一系列现代技术设备的生产链条之中。隐匿在价值掘采金字塔顶端的少数人拥有令人惊讶的财富和舒适的生活。但是这一金字塔的主体却来自矿井的黑暗隧道,放射性的废弃物湖泊,弃置的运输箱,以及大公司的工厂宿舍。

Amazon distribution centers

编号为20150066283 A1的亚马逊持有专利

XVI

在19世纪末,一种名为电木的东南亚特色树木成为了技术爆发的核心。这些树主要来自马来西亚,能够产出一种名为杜仲橡胶的奶白色天然乳胶。1848年,英国科学家迈克尔法拉第(Michael Faraday)在《哲学杂志》上发表了使用这种材料作为电绝缘体的研究,之后杜仲橡胶迅速风靡了工业世界。它被认为能够解决绝缘电报线经受海底环境的问题。随着全球海底商业的增长,电木的需求也不断增加。历史学家约翰塔利(John Tully)描述了本地马来人,华人以及迪雅克人如何为了微薄的薪水而从事十分危险的树木砍伐和收集乳胶的工作。 38 处理过的乳胶经新加坡的贸易市场销往英国,随后被加工成很多产品,包括绵长无尽的海底电缆护套。.

一株成熟的电木可以产出200克乳胶。但是,1857年制成的第一条横跨大西洋的电缆大约3000公里长,重达2000吨 – 需要大约250吨的杜仲橡胶。为了生产1吨这种材料,就需要90万根树干。马来西亚和新加坡的丛林被砍光了,等到1880年代早期,电木已经灭绝了。英国为了在最后关头抢救一下自己的供应链,于1883年通过了一项停止采集乳胶的禁令,但这种树木已经绝种了。 39

维多利亚时代杜仲橡胶的环境灾难,从全球信息社会的历史源头上说明了技术与其物质性、周围环境和不同形式的采掘之间形成了层叠交错的关系。正如维多利亚时期的人为了早期的电缆而使得生态灾难突然降临,现在的稀土挖掘和全球供应链体系也会危及当代脆弱的生态平衡。从建设当代网络社会所需的技术材料到大规模基础设施中传输、分析和储存数据所需的能源再到基础设施的物质材料:这些深入的联系和付出的代价比今天的大公司对于人工智能的想象要更为重要,历史也更为久远. 40

Palaquium gutta

电木

XVII

大规模人工智能极大地消耗能源。但这些被消耗物质的详细情况在大众想象中仍然是模糊的。想要精确得到关于云端计算服务的能源消耗量是非常困难的。 据一份绿色和平组织报告所述,“在产业透明化的推进过程中,最大且唯一的障碍是亚马逊网络服务(AWS)。世界上最大的云计算公司进行大规模操作的能源足迹几乎是完全不透明的。在全球云供应商中,只有亚马逊网络服务依然拒绝告知公众其公司业务对于能源消耗和环境的基本影响。” 41

我们作为人类主体,与技术平台每次的交互中几乎都是可见的。我们总是可以被追踪,被量化,被分析,以及被商品化。但与用户的可见性相反,这些联网设备的生命周期细节,包括出生,活着和死亡各个阶段的情况,都是模糊的。随着Echo这种依赖于中心化人工智能基础设施的设备出现,这些细节就更加的不为人知。

即使消费者逐渐熟悉了卧室里的一台小型硬件设备,或者是一个手机应用,或者是一台半自动驾驶的汽车,但是真正的事件过程是在机器学习系统中完成的,一般来说,用户与该系统距离很远,而且全然无法感知。在很多情况下,透明度并没有多大意义 – 如果用户缺乏真实的选择空间,以及如果企业不能负起责任来,仅仅是透明度无法扭转目前这种权力的不对等。 42

机器学习系统的输出结果在多数情况下是不负责任且不受治理的,但它的输入数据常常成谜。对于一些漫不经心的旁观者来说,从没有像今天这样可以如此轻易地建造一个人工智能或者以机器学习为基础的系统。触手可得的开源工具,结合亚马逊(AWS)、微软(Azure),或者谷歌(Google Cloud)等云处理巨头所提供的可租借算力,正在推动一种错误的人工智能民主化想象。即使机器学习的工具不再开架售卖,而是变得更为易得,比如TensorFlow,它们鼓励你建立自己的系统,但这些系统的底层逻辑,以及训练数据集只有少数几家公司可以获取,并被他们掌控在手里。像Facebook之类的平台所进行的是动态数据采集,用户的行为,嗓音,标记的图片和视频或者医疗数据都会被用来训练神经网络。在这个采掘主义盛行的时代,数据真正的价值被少数金字塔顶端的人所控制并掘取。

XVIII

当大规模数据集被用来训练人工智能系统,其中涉及的个人图像和视频通常会被打上标注。 43 这一标注过程如何将数据原有的意义废置并冻结,以及更进一步,如何利用低薪数据标注劳工来完成,需要被全面阐释。

1770年,匈牙利发明家沃尔夫冈冯肯佩伦(Wolfgang von Kempelen)建造了一种下棋机器,被称作土耳其机械人(Mechanical Turk)。他的目的,部分是为了获得奥地利女皇玛利亚特蕾莎(Empress Maria Theresa)的关注。这个机器能够与人类对手下棋,而且在持续了将近九年的欧洲和美洲巡展期间赢得了大部分的比赛,十分令人惊讶。但是土耳其机械人只是一种障眼法,一位棋手大师藏在机器里面并操作机器下棋。160年后,亚马逊网开始推广基于微支付的众筹平台,同样以土耳其机械人为名。据艾汉埃蒂斯(Ayhan Aytes)所言,亚马逊曾试图通过人工智能程序来寻找零售网站上的雷同产品页,但这一努力失败了,随后亚马逊便着手开发土耳其机械人。 44 在一系列徒劳而昂贵的尝试之后,项目工程师们转而使用人类劳工,这些劳工躲在计算机的后面工作,身处流水线式的基于Web系统之中。 45 亚马逊的土耳其机械人数字车间(Mechanical Turk digital workshop)效仿人工智能系统,对机器学习过程进行检视,评估以及纠正,但它通过人脑来完成这一过程。对于亚马逊土耳其机械人的用户来说,应用程序完成任务所使用的,似乎是高级人工智能系统。但它更接近于一种“仿冒人工智能”,通过远程且分散的廉价数据标注劳工来帮助客户完成他们的生意目标。正如埃蒂斯所观察,“在这两个案例中(1770年的土耳其机械人以及亚马逊服务的当代版本),工人激活了这些骗人的诡计,但他们的工作被机器的奇观所掩盖。” 46

这种隐形的、被掩盖的劳动,无论是外包还是众包,藏匿于界面之后,伪装在算法过程之中,现在变得极其常见,尤其是在为训练神经网络而进行的数据标注过程,这种标注往往需要检视数千小时的数据档案。有时这种劳动完全是无偿的,比如谷歌的验证码服务系统(reCAPTCHA)。很多人都经历过一种自相矛盾的体验,为了证明你不是人工主体,而被迫去无偿训练谷歌的图像识别人工智能系统,选择那些含有街道号码,或者汽车、房子的多个方块图片。

正如我们在系统中反复见到的一样,当代的人工智能形式根本就没有脱离人。比如说矿井工人艰难的体力劳动,比如说装配线上不断重复的工人劳动,比如说分销中心的自动控制化劳动和雇佣全世界外包程序员的认知经济血汗工厂,再比如说机械土耳其人中的低薪众包劳力,或者无偿进行非物质劳动的用户。无论在上述哪个层级,当代技术都深深植根于对于人类身体的开发,并且以人类身体为基础来运作 。

Mechanical Turk

土耳其机械人

XIX

在他的一段式短故事“关于科学的精确性”中,豪尔赫•路易斯•博尔赫斯(Jorge Luis Borges )为我们呈现了一个虚构的帝国,该国制图科学十分发达,测量极其精确,以至于绘制一张帝国地图的尺寸与帝国实际大小相当。 47

“…在那样一个帝国,制图的艺术如此完美,以至于单单一个省份的地图就会覆盖一座城市,而帝国的地图,则会占据整个省。随着时间流逝,人们对于那些不合理的地图不再满意,于是制图工会制作了一张帝国面积大小的地图,与真实世界每个点的情况保持一致”。他们的后代对于制图学的研究不像祖先那么热衷,认为这些巨大的地图是无用的,而且不无冷漠地任凭地图被风吹日晒。在西边的沙漠里,直到今天,仍然有破烂的地图遗迹,动物和乞丐在上面栖居;而在所有的土地上,地理学不复存在,没有任何的遗留。

现在的机器学习方法有一种对于描绘世界的渴望,一种对于真实视觉、声音和识别机制可以全面量化的渴望。从宇宙学模型到使用最细微的人脸肌肉运动转译人类的情感世界,所有的一切都变成了量化的对象。让弗朗索瓦利奥塔(Jean-François Lyotard)引入了术语“趋近永恒”(affinity to infinity)来描述当代艺术、技术科学和资本主义都同样渴望将自己的边界推向一种潜在的永恒视界。 48 19世纪下半叶,随着社会重心聚焦于基础设施的建设和不均匀的工业化转向,为一小撮垄断自然资源开采和生产过程的工业巨头创造了巨量的财富。

如今新的永恒视界便是数据挖掘,机器学习以及信息重组,它们均由人机结合而成的人工智能系统来完成。这些领域被几个全球大公司所主宰,它们设定了资本积累、人类资源及星球能源开采的机制并建造了相应的基础设施。

这种对于新资源开采和新认知能力挖掘的渴望驱动人类去探寻前所未有的深层数据,用来量化人类的心智,包括有意识的和无意识的,私人的和公共的,另类的和大众的。在这种方式之中,出现了注意力经济中的多重认知经济, 49 审查经济,声誉经济, 50 以及情感经济,还出现了以加密货币为代表的信任和证明的量化及商品化。

量化的过程越来越深入人类情感,认知以及物理世界。训练集存在的目的是为了侦测情绪,寻找家族相似性(family resemblance),追踪不断变老的个体,以及识别坐下,挥手,举杯,或者哭泣等人类动作。每一形式的生物数据–包括法证、生物计量,社会经济,以及心理测量–都会被采集,并录入数据库以便训练人工智能。这一量化过程的基础通常非常局限:在类似于元视觉行为(AVA)这样的数据集中,女性主要位于“与孩子玩耍”的动作类别,而男人主要位于“踢人”的类别。人工智能系统的训练集声称可以深入到日常生活中极其细微的特征,但实际上却一直重复最陈腐和局限的社会模式,重新印刻一种人类过去的范式,将其投射到未来。

Quantification of Nature

量化自然

XX

“对于生物多样性和知识的“圈地”是自殖民主义兴起以来所进行的一系列“圈地”活动中的最后一步。陆地和森林是最早被“圈地”的资源,它们从社会公共资源被转化为商品。之后,人类通过兴建大坝,地下水开采以及私有化对水资源进行了“圈地”。现在轮到了生物多样性和知识,它们被“圈地”的方式是通过知识产权(IPRs),”范达娜希瓦(Vandana Shiva)解释到。 51 在希瓦的话中,“工业发展势必破坏资源的公共性,从而能够获得工业原材料所需的自然资源。而维持生命的系统可以被分享,但却不能作为私人财产被占有或者以个人利益为目的被开采。因此,社会公共资源不得不被私有化,人们赖以为生的基础也不得不被占用,以满足工业前进的动力和资本积累” 52

虽然希瓦的言论只涉及了知识产权对自然的“圈地”,但同样的过程也正发生在机器学习所带来的问题之中–加剧对于自然的量化。围绕人工智能的新淘金热正在圈定人类知识,感受和行为的不同领域,以便于掌控它们,将其私有化。2015年11月,当深思技术有限公司(Deep Mind)获取了皇家自由医院160万可识别病人的健康资料时,我们见证了一种特殊形式的私有化:对于知识价值的采掘。 53 数据集可能仍然可以为公众享有,但数据的元价值–它所创造的模型–是被私人所拥有的。虽然这样做的原因也有很多是为了促进公众健康,但如果其代价是对于公共医疗服务偷偷摸摸的私有化,那么对于社会来说是具有极大风险的。由此可以想象这样一个未来,在公共系统中的本地专业人工劳力持续扩张,有时会被私有大公司的中心化人工智能系统所取代,而它们使用公众数据来为少数人创造巨额财富。

Corporate border

企业边界

XXI

在21世纪的今天,我们看到了一种全新形式的采掘主义已经来临:它抵达了生物圈的最深处,以及人类认知和情感的最底层。 通过机器学习所定义的对于人类生活的假设非常狭隘、范式化且遍布错误。但是它们却正在将这些假设印刻并建立在新的世界之中,而且会对人类的机会、财富以及知识的分配产生越来越大的影响。

与亚马逊Echo交互所需要的堆栈(Stack)远远不止由数字模型、硬件、服务器以及网络所组成的多重“技术堆栈”层级。全堆栈的范围可拓展到资本,劳动以及自然,而且要求每一种资源大量的参与。这些系统的真正成本–社会,环境,经济,以及政治–总是隐性的,而且可能会一直不被人所察觉。

我们提供这份地图以及这篇文章是为了开启一种对于系统性采掘的广泛视野。建立人工智能系统所需要的资源规模太过复杂,易被知识产权法所掩盖,且深陷于逻辑复杂性的泥潭之中,致使人们在当下无法理解其中的问题。但实际上你每次对着卧室里的小圆柱体发出一个简单的语音指令“艾莉克莎,现在几点了?”,你都在利用这一系统。

而这个过程循环往复,不停地发生。

脚注

Download

Credits and acknowledgements

  • Authors: Kate Crawford and Vladan Joler

  • Maps and design: Vladan Joler and Kate Crawford

  • Published by: SHARE Lab, SHARE Foundation (https://labs.rs) and The AI Now Institute, NYU (https://ainowinstitute.org/)

  • Full citation: Kate Crawford and Vladan Joler, “Anatomy of an AI System: The Amazon Echo As An Anatomical Map of Human Labor, Data and Planetary Resources,” AI Now Institute and Share Lab, (September 7, 2018) https://anatomyof.ai

  • Acknowledgements: Our deep thanks go to Michelle Thorne and Jon Rogers at the Mozilla Foundation, who invited us to a retreat in summer 2017 where we first conceptualized this project. Thanks to Joana Moll and Meredith Whittaker for their inputs and inspirations on the first drafts of this text. Thanks also to all those who have given feedback, support and insights since, including Alex Campolo, Casey Gollan, Gretchen Krueger, Trevor Paglen, and Sarah Myers West at the AI Now Institute and Olivia Solis, Andrej Petrovski, and Milica Jovanovic at the SHARE Lab and all the wonderful folks from SHARE Foundation.

    Finally, thanks to Irini Papadimitriou and all the curatorial staff at the V&A Museum. This map and essay will be on display there as part of the 'Artificially Intelligent' show from Sep 6 - Dec 31, 2018.