智人之上: 从石器时代到 AI 时代的信息网络简史

第一部分 人类网络

第一章 信息是什么?

• 真相究竟是什么?
  • 通常情况下, 信息是与各种人造符号 (例如口语或书面语) 联系在一起的.
    • 信息的组成不一定非要靠人造符号.
    • 任何事物都可能是信息, 但也可能不是.
    • 信息的定义绝不限于某种特定类型的实体对象. 任何物体, 比如星星, 百叶窗, 鸽子, 只要放到正确的情境下, 就可能成为信息.
  • 什么样的情境会把这些对象定义成信息呢?
    • 只要情境是为了寻求真相, 这些对象就能被定义成信息.
  • 本书所谓的"真相", 代表的是能够准确呈现出现实的特定方面. 真相概念的前提是必须真的存在某个普遍的现实.
    • 信息的主要作用就是把现实呈现出来.
    • 无论在人类社会还是在其他生物与物理系统, 大多数信息并没有要呈现出任何东西.
  • 真相其实并不直接等于现实, 因为一则叙事无论多么贴近真相, 都无法真正呈现出现实的所有方面.
    • 举例来说, 只讲加沙有一万名奥斯曼士兵, 但没有说明其中有一些是久经沙场的老兵, 有一些是初上战场的新兵. 1000 名新兵搭 9000 名老兵, 与 9000 名新兵搭 1000 名老兵, 在军事上的现实可是完全不同的.
    • 现实也包括主观层面的主观现实, 涵盖的是每个人的信念和感受
  • 现实包括客观层面的客观现实, 不受个人信念的影响.
  • 想要呈现出现实的另一个问题就是现实总包含许多不同的观点.
  • 每次想要呈现现实, 都会有一些方面遭到忽略或扭曲.
    • 所谓的真相其实并不代表一比一地呈现出现实. 所谓的真相, 一方面能够让我们专注于现实的某些方面, 另一方面也不可避免地让我们忽略某些东西.
• 信息有何作用?
  • 从占星术的例子可以看到, 各种错误, 谎言, 幻想与虚构故事其实也是信息.
  • 天真的信息观认为信息与真相有本质的联系, 但事实不然.
    • 真正定义信息的是"联结", 而不是"渲染"或"象征": 只要能将各个不同的点联结成网络, 就是信息.
    • 信息在联结事物方面的作用绝不限于人类的历史, 同样可以认为, 这也是信息在生物学方面的主要作用.
      • DNA 也不会呈现出比如身体器官或情绪这样的内在现象. 没有任何碱基的组合是在呈现一颗心脏或是动物的恐惧情绪.
        • DNA 并不是去呈现或再现既有的事物, 而是协助产生全新的事物.
  • 网络的瓦解
    • 如果某匹斑马产生突变, 抑制了肾上腺素的分泌, 它就可能因适应性降低而丧生, 于是它数以万计的细胞彼此之间将不再联结, 所形成的斑马网络就此瓦解.
  • 把信息的重点放在联结上, 才能有足够的空间处理那些重点并不是要呈现现实的信息类型.
    • 有时候, 就算呈现的是错误的现实, 也可能成为一种社会联结.
• 人类历史的信息
  • 信息都会联结形成网络
    • 我们如果不付出额外的努力, 让天平向有利于真相的方向倾斜, 随着信息增加得越来越多, 越来越快, 就可能让相对稀少而昂贵的真实信息被淹没在相对常见而廉价的信息之中.
    • 智人之所以能成功, 秘诀在于懂得运用信息, 并把许多人联结起来.
      • 但很遗憾, 人类拥有这种能力的时候, 常常也会伴随着相信谎言, 错误与幻想.

第二章 故事: 无限的联结

• 使用故事连接人类
  • 那些有着数百万追随者的魅力领袖, 也同样遵循着这条规则, 没有例外.
  • "品牌"其实就是一种特定类型的故事.
    • 品牌营造除了可以应用于产品, 当然也能应用于个人.
      • 一个贪腐的亿万富翁, 也能将自己营造成穷人的捍卫者; 一个笨手笨脚的蠢材, 也能将自己营造成绝对正确的天才; 一个对信众进行性侵的宗教领袖, 也能将自己营造成清心寡欲的圣人.
  • 经过了 2000 年, 耶稣就像是被包裹在一个厚厚的故事茧里, 根本不可能真正还原当初历史上的那个人.
    • 虽然品牌营造活动有时候就是在刻意操弄情感, 运用虚假信息, 但历史上大多数真正重要的故事都是情感投射, 一心向往的结果. 看看各个主要宗教与意识形态, 它们之所以能够崛起, 都是真正的信徒在发挥关键作用.
  • 在人类所知的各种联结中, 家庭关系可以说是最牢固的一种.
    • 所以, 故事在陌生人之间建立信任的方式之一, 就是让人类去想象彼此是自己的家人.
• 如果智人的网络只是依靠人与人之间情感的联结, 规模肯定是非常有限的.
  • 比如人类的近亲黑猩猩就是这种情况.
• 存在于主体间的现实
  • 故事能够创造出新的实体, 甚至能够创造出全新层次的现实.
  • 在人类开始讲故事之前, 现实只有两个层次: 客观现实与主观现实.
    • 第一个层次是客观现实, 由石头, 山脉, 小行星这样的事物组成.
    • 第二个层次是主观现实, 比如痛苦, 欢乐, 爱等, 它们看不见也摸不着, 不存在于外界, 只存在于我们心里.
  • 第三个层次的现实: 存在于主体间的现实 (以下简称"主体间的现实").
    • 像法律, 神祇, 货币这样存在于主体间的现实, 在特定的信息网络内拥有极其强大的力量, 但在网络外部则毫无意义.
• 故事的力量
  • 以故事为基础的网络, 让智人的力量超越了其他动物, 不但胜过了狮子与猛犸象, 也胜过了尼安德特人等其他古人类.
    • 游群之间少有合作, 就算有合作也并不紧密.
  • 历史上的大规模身份认同与利益一向都是主体间的现实, 而非客观现实.
• 高贵的谎言
  • 首先体现出一些信息的重要性, 底层人民就算知道的信息也不知道如何利用起来
  • 如果你做了一枚完全无视物理学的炸弹, 这枚炸弹不可能响彻云霄. 但如果你创造出一套完全无视事实的意识形态, 这套意识形态依然可能惊天动地.
  • 虽然真理与秩序都能带来权力, 但大多数时候, 掌握大权的会是那些知道如何创造意识形态来维持秩序的人; 至于那些只懂得怎么做炸弹或猎杀猛犸象的人, 则只能乖乖听令.
  • 那些顶层人士知道而核物理学家不见得知道的一点是, 想在大量人群中建立秩序, 最有效的方式不是去讲述宇宙的真相.
    • E=mc2 能够解释宇宙中发生的很多事情, 但仅仅知道 E=mc2, 通常解决不了什么政治分歧, 也无法激励人民牺牲自己去成就共同目标.
      • 总觉得自己一点在解释庞氏骗局的建立过程以及利用方式
  • 相较于真相, 虚构的故事在两个方面更有优势.
    • 第一, 虚构的故事要多简单就可以有多简单, 但真相往往很复杂
    • 第二, 真相常常令人痛苦不安
  • 如果你没有假装, 而是大方承认自己就是在创造一个新的主体间现实, 而不是在呈现某个既有的客观现实, 那么讲述一个虚构的故事就不是说谎.
    • 非常的讽刺, 如此理解的话所有的宗教都是合理的, 并且都没有在说谎
• 长久以来的困境
  • 为了追求生存与繁荣, 每个人类信息网络都需要同时做到两件事, 即除了要发现真相, 还得创造秩序.
    • 这两个方面还常常互相矛盾, 毕竟, 凭借虚构的故事通常更容易维持秩序
      • 无知就是力量
        • 一个明显的例子就是达尔文的演化论.
        • 如果某个人类网络把秩序看得比真相更重要, 它可能掌控着无比强大的力量, 却会不明智地使用这种力量.
  • 随着历史发展, 人类信息网络也已经发展出两套截然不同的技能.
    • 网络学会了如何处理信息才能对医学, 猛犸象和核物理等事物有更准确的理解
    • 网络也学会了如何运用信息才能在更大的人群中维持更强大的社会秩序

第三章 文件: 纸老虎也会咬人

• 故事就是一种在"沟通各种事实, 概念, 情感和只可意会的信息"时效率极高的载体.
• "杀掉"贷款
  • 书面文件不一定能够准确呈现出现实
  • 文件让人有新的方法创造主体间的现实
    • 口述文化是通过讲故事创造主体间的现实
    • 在没有书面文件的口述文化社群里, 要创造出"所有权"这项存在于主体间的现实, 靠的是社群成员的言语与行为.
• 官僚制度
  • 在记录某些类型的信息方面, 书面文件比人脑要好得多, 但它又创造出一种全新而极度棘手的问题: 信息检索.
    • 一旦人类把记忆从生物性的大脑外包给非生物的文件, 检索就再也没办法依靠这套简单高效的生物机制了.
    • 官僚制度
• 官僚制度和对真相的探寻
  • 官僚制度这套秩序, 正是以抽屉作为核心. 这套秩序解决检索问题的办法, 也正是把整个世界分成许多不同的抽屉, 再判断该把哪些文件放进哪个抽屉.
    • 分而治之
    • 执着于把现实分成一个个固定的抽屉, 也会让官僚的目光变得狭隘, 无视自己的行为可能带来更广泛的影响.
      • 学术界如何将原本无序, 动态的世界硬塞进死板的官僚抽屉
      • 任何官僚制度都很难接受演化的概念.
        • 思考
• 深层政府
  • 官僚制度的两面性
    • 任何幻想着只要废除官僚制度, 就能让大家以更全面的观点来看待世界的人, 都应该反思这样一个事实: 医院也是一个官僚机构.
  • 深层政府
• 生物戏剧
  • 在缺乏书面文件与官僚制度的部落社会, 人类网络是由一些人对人或者人对故事的链条组成的, 而权力就掌握在那些控制了链条节点的人手中. 这些节点也就是这些部落的立基神话. 深具魅力的领袖, 演说家与神话编造者知道怎样运用这些故事来塑造身份, 建立联盟和左右情绪.
  • 随着文件成为许多社会链条的重要节点, 文件开始承载着无与伦比的权力, 能掌握这些文件背后的神秘逻辑, 就能成为新的权威人物.
  • 国与民之间的对抗关系
    • 这套制度让中央很容易收集记录更多被统治者的信息, 而被统治者反过来想要了解制度运作细节却困难得多.
    • 一方面, 有了文件与档案, 中央就更容易向公民征税, 以及进行审判和征兵. 另一方面, 因为难以理解官僚制度的权力, 民众很难去影响, 抵抗或逃避中央的权威.
• 让我们杀光所有律师
  • 官僚制度也有有益的一面
  • 历史上许多的起义与叛乱, 也都曾经出现攻击档案的情形.
• 奇迹文件
  • 所有威力强大的信息网络都是可好可坏, 这取决于它们的设计与使用方式.
  • 信息网络的功能并不是把真相放到最大, 而是要在真相与秩序之间达到平衡.

第四章 错误: 绝对正确是一种幻想

• 官僚机构与自我修正机制
  • 官僚机构也会不断地寻找错误, 从文件的错误分类到程序的效率低下, 等等.
    • 某些程度上来讲, 自我修正这个概念也是一种官僚主义
    • 一个危险的幻想
    • 在以前的时代, 这类幻想会以另一种样式出现——宗教.
      • 宗教有许多不同的功能, 比如提供精神慰藉, 解释生命的奥秘, 等等. 但就历史而言, 宗教最重要的功能是为社会秩序提供超人类的合法性.
• 排除人类的成分
  • 在宗教史上, 一个反复出现的问题是: 到底该怎么做才能让人相信某项教义确实来自某个绝对正确的超人类? 就算原则上我渴望服从神的旨意, 我又如何知道神到底想要什么?
    • 早在原始社会, 与祖灵等超人类实体的沟通交流往往交给一些宗教专家来处理.
      • 如果人类先知能够假传神的话语, 那么宗教的关键问题就不可能通过创立寺庙神殿或祭司之类的宗教制度来解决. 民众想要接触永不犯错的神, 仍然需要通过一些容易犯错的人类. 有没有可能完全绕过人类直接接触神呢?
        • 就如同宗教也有类似这样子的官僚主义
• 绝对正确的科技
  • 通过使用文件和文本来记录一些官僚主义的信息
    • 谁来决定在圣书中放进哪些内容? 圣书的第一个定本可不是天上掉下来的, 它仍然需要人类的收集和编纂.
  • 把人的成分从这个循环中剔除, 神圣的话语从此再也不受人类的干扰
    • 一种神奇的行为: 人类先创造一些神, 然后把其中和自己有关的成分隐藏掉
    • 该由谁来选出那些最聪明的人? 用的是什么标准? 要是这些人没有达成共识呢? 如果他们后来改变心意了呢?
• 《希伯来圣经》的形成
  • 在 2000 年前, 犹太人已经预想到了区块链的概念, 开始为这份神圣法典制作大量的副本
    • Summary
    • 第一, 大量传播《圣经》可以推动宗教的迅速普及, 并能严格限制潜在的独裁者的权力.
    • 第二, 也是更重要的一点, 同一本书有许多副本, 就能避免有人对文本动手脚
• 机构制度的反击
  • 将圣经进行文档化的过程遇到了很多困难
    • Summary; 解读文件的人获得了更高的权利
      • 当初采用书这个新的信息技术, 大家都认为这样就能不受人类机制的影响, 但现在却又需要由人类机制来解读宗教经典的内容, 于是适得其反.
      • 更新和解释的不断循环
        • 人类梦想着能通过宗教经典这种技术来避开会犯错的凡人机制, 但这永远只是个无法实现的梦想.
        • 随着每一次反复循环, 能够解读重要文件的人的权力只会有增无减.
          • 国家政权信仰和政权还有党派机制?
          • 一些大型的法律条文以及抽象的公共文档?
    • 文件的复制
    • 文件的解释
    • 文件的更新
• 回声室
  • 随着时间的流逝, 解读方式所产生的种种问题, 开始让宗教经典与教会之间的权力平衡不断偏向机构一方.
  • 反之, 机构也会因为宗教经典的解经权之争而一再受到动摇, 比如西方天主教与东正教就出现了制度分裂.
  • 通过信息茧房加固统治
• 印刷, 科学与女巫
  • 虽然说印刷术的发明导致了欧洲的猎巫热潮或许太过夸张, 但全球撒旦阴谋论能够传播得如此迅速, 印刷术肯定扮演了关键角色.
  • 天真的信息观认为, 只要消除一切限制, 让信息自由流动, 所有错误终将无所遁形, 而由真理与真相取而代之.
  • 一般认为, 正是因为印刷革命让民众比过去更自由地交流信息, 才最终引发了科学革命.
  • 印刷机唯一能做的就是把文本原原本本地复制出来, 但它无法提出任何新的想法.
• 西班牙宗教裁判所的拯救
  • 猎巫行动揭示出, 一旦创造了一个信息领域, 就可能带出怎样的阴暗面. 人们不断讨论猎巫, 就像拉比们讨论《塔木德》, 学者们讨论基督教经文, 让信息的海洋不断扩张, 但并不是呈现既有现实, 而是创造了新的现实, 最终催生了猎巫行动.
    • 就像金钱一样, 因为众人不断交换着关于女巫的信息, 才让女巫变得真实.
    • 整个猎巫官僚体系都在全力推动这样的信息交换. 比如神学家, 律师, 裁判官与印刷机的持有者, 他们的生计靠的就是收集和制作关于女巫的信息, 对女巫进行分类, 调查女巫的行为模式, 以及建议应如何揭露并击败女巫.
  • 如果让思想市场完全自由, 就可能鼓励传播各种愤怒与煽情, 而牺牲掉真理与真相.
  • 整个社会也会以此来约束成员. 但这种手段既不会产生任何真理真相, 也无法产生任何智慧.
  • 早期现代欧洲猎巫热潮的历史显示, 光是消除信息流动的障碍, 不一定就能发现真相, 传播真理, 反而容易导致谎言与幻想的传播, 创造出有毒的信息领域.
• 发现人的无知
  • 科学机构之所以能取得权威, 是因为它们有强大的自我修正机制, 能够揭露并修正自身的错误. 科学革命真正的引擎正是这些自我修正机制, 而不是印刷技术.
  • 换句话说, 人类是因为发现了自己的无知, 才推动了科学革命.
  • 科学革命要想加快步伐, 科学家就必须相信远方同行发布的信息.
• 自我修正机制
  • 自我修正机制在自然界无所不在. 正是因为有这个机制, 小孩儿才能学会走路.
  • 机构如果没有自我修正机制, 也会面临死亡.
    • 比如, 天主教会的自我修正机制就比较弱. 由于它宣称自己绝对正确, 因此它无法承认自己在制度上的错误.
      • 在天主教中, 这种认为机构制度不可能出错的想法, 最清楚的例子就是"教皇永无谬误".
• DSM 与《圣经》
  • 因为愿意承认在机构制度上的重大错误, 科学的发展速度随之加快. 只要现有证据证明合理, 往往只要几个世代就能够将原本的主流理论替换成新的理论.
  • 科学史上最著名的时刻, 正是那些公认的理论被推翻, 新理论诞生的时刻.
  • 关键在于, 在出现重大错误与罪行的时候, 科学机构制度愿意承认是制度本身出了问题.
• 不发表就淘汰
  • 宗教机构制度鼓励的是成员谨遵教义, 对新奇的事物要保持怀疑态度.
  • 但在科学界, 情况恰好相反.
    • 遵守的原则是"不发表就淘汰", 而想在优秀的期刊上发表论文, 你必须揭露现有理论的某种错误, 或是发现一些前辈不知道的内容.
  • 科学不能单打独斗, 科学家所知的一切, 几乎都必须仰赖整体机构制度的协助.
  • 自我修正机制有两个重要特征
    • 第一, 自我修正机制内置于这些机构的核心, 而不是边缘的外挂;
    • 第二, 这些机构会公开赞许自我修正行为, 而不是加以否认.
  • 只要能提供充足的实证证据, 常常只需要数十年, 就能让非正统理论推翻传统概念, 成为新的共识.
• 自我修正的局限
  • 自我修正机制虽然有利于追求真理, 却会让维持秩序的成本大大升高. 自我修正机制太过强大, 往往会产生怀疑, 分歧, 冲突与裂痕, 并破坏社会大团结的神话.
  • 就算社会秩序造成高度压迫的结果, 颠覆这样的社会秩序, 也不一定就会有更好的结果, 可能还会变得更混乱, 造成更严重的压迫.
  • 科学机构制度之所以负担得起强大的自我修正机制, 是因为它把维护社会秩序的艰巨任务留给了其他机构制度.
    • 如果有小偷闯入化学实验室, 或是精神科医生收到死亡威胁, 这些受害者并不会向有同行评议机制的期刊投诉, 而是会报警.

第五章 抉择: 民主与极权制度简史

• 多数独裁
  • Summary
  • 独裁政体
    • 独裁信息网络的第一个特征在于高度集中.
      • 第一, 中心掌握着无限的权力, 所以信息往往是从地方流向中央枢纽, 最重要的决策也都是在中央做出的.
    • 第二个特征在于人们会认定中央是绝对正确的
  • 无政府状态
  • 民主政体则是一个分布式的信息网络
    • 民主政体还有许多其他信息渠道, 连接许多独立节点. 无论是立法机构, 政党, 法院, 新闻界, 企业, 当地社群, 非政府组织, 还是公民个人, 都能够自由, 直接地相互沟通, 因此大多数信息并不会经过任何政府机构, 许多重要决策也都是在其他地方做出的.
    • 民主政体的做法是中央决策能免就免; 唯有少量必须集中做的决定, 才需要经过投票, 反映多数人的意愿.
    • 只要政府对人民的生活有任何干预, 就需要进行解释. 如果没有让人信服的理由, 民主政府就应该让人民自行决定.
  • 这两种权利除了会限制中央政府的权力, 还会对中央政府有一些积极的要求. 民主政府不仅自己不能侵犯人权与公民权, 更要主动保障这两项权利.
    • 如果某个政府不杀人, 但也不努力保护公民不被杀害, 这只是无政府状态, 而非民主.
  • 民主绝对不是"多数独裁"
  • 民主制度
  • 破坏民主
    • 等到法院无法再以法律手段制约政府, 媒体也只能乖乖重复政府的台词时, 所有敢于反对政府的机构或个人都可能被抹黑成叛徒, 罪犯或外国间谍, 进而遭到迫害.
    • 这些强人通常不会真的走到最后一步——把选举彻底废除, 而是会将其留下作为一种仪式, 为政权提供合法性, 也保留民主的表象.
    • 但在民主政体中仍然有两类权利受到保护, 并不是多数人说了算.
      • 第一类就是人权.
      • 第二类重要的权利则是公民权.
• 人民 vs 真理
  • 定义某个制度是否民主的两个条件
  • 在民主国家, 只要占了多数, 就完全有权做出发动战争等重大决定, 当然也可能犯下重大错误. 然而就算占了多数, 至少也应该认识到自己仍有可能犯错, 并保护少数人也能支持与宣传一些不受欢迎的观点, 毕竟有可能到头来发现那些少数人的观点才是正确的.
  • 学术机构, 媒体与司法制度本身也可能出现贪腐, 偏见或错误. 但如果要求它们都服从政府, 很有可能只会让事情变得更糟.
  • 第一, 学术机构, 媒体, 司法制度都具有自我修正机制, 能用来对抗贪腐, 修正偏见, 揭露错误.
  • 第二, 由于有许多不同的独立机构会通过各种方式来寻求真相, 这些机构也就能够彼此制衡, 修正.
• 民粹主义的攻击
  • 任何团体 (甚至是代表多数的团体) 都无权将其他团体排除于"人民"的概念之外. 必须这样, 民主制度才能是一种对话.
  • 民粹主义的决定性特征
    • 要判断某人是不是民粹主义者, 就看他是否声称只有自己能够代表人民, 并声称那些不同意他的观点的人 (国家官僚制度, 少数群体甚至多数选民) 肯定都是为虚假意识所迷惑, 或者根本不是真正的人民.
  • 民主本来就是复杂的
    • 民主则是一场多方对话
  • 民粹主义者最奇妙的一项主张是只有他们才能真正代表人民.
    • "简单"是独裁信息网络的特征, 因为这种网络就是由中央决定一切
    • 民粹主义信条的一个基本要素
      • 在纳粹意识形态看来, 整个民族或全体国民只有一个单一的意志, 而唯一的真正的代表就是他们的领袖. 他们认为, 对于人民的感受与需求, 这位领袖的直觉绝对不会出错.
        • 当然, 纳粹是个极端的案例, 绝不是说所有民粹主义者都可能是隐性的纳粹, 都可能有种族灭绝的倾向.
    • 另一种破坏民主的方式
      • 民粹主义者在声称只有他们能代表人民之后, 开始声称人民不但是政治权力的唯一合法来源, 更是所有权力的唯一合法来源. 于是, 只要有任何机构制度的权威不是来自人民意志, 就会被说成反民主.
        • 极权主义
  • 在民主制度当中, 独立的媒体, 法院与大学都是重要的自我修正机制, 能够保护真理与真相, 就算是多数人的意愿也无法颠倒是非.
  • 民粹主义为什么有吸引力
  • 第一, 它把所有互动都简化成权力斗争, 于是现实变得似乎不再那么复杂, 所有战争, 经济危机和自然灾害等事件也变得好懂多了. 不管发生任何事 (就算是一场全球疫情), 都是因为精英分子在追求权力.
  • 减少了管理成本, 有些像老板权力很大影响公司决策的情况
  • 对强人而言, 民粹主义能够提供一个意识形态基础, 让他们既能成为独裁者, 还能假装拥护民主.
  • 当然, 如果连强人都失去了人民的信任, 民粹主义的结果可能就不是极权政府, 而是无政府.
• 衡量民主政体的力量
  • 能够参与对话的人数比例越高, 这个网络也就越民主.
  • 评估某个信息网络有多民主
    • 我们需要问一些更复杂的问题, 比如:"有什么机制能够防止中央政府操弄选举?""主流媒体如果批评政府, 是否会有什么危险?""中央政府给了自己多大权力?"
  • 民主的死亡
• 石器时代的民主制度
  • 从考古学与人类学的证据来看, 民主是古代狩猎采集社会最典型的政治制度.
  • 独裁者的政治权力常常来自垄断经济资产
    • 官僚主义变成独裁者的防御体系
    • 所以如果领导者变得独裁, 众人大可一走了之.
    • 狩猎采集者就算真的被某个专断的领导者统治 (比如北美洲西北部鲑鱼捕捞者遇到的情况), 这个领导者至少能让人接触到, 而不会躲在遥远的要塞里, 隐藏在复杂的官僚体制中, 身处武装警卫的重重警戒线之后.
• 恺撒选总统
  • 主要误解, 在于认为民主等于选举.
  • 真正的问题是, 这上千万公民有没有办法真的进行全帝国规模的持续政治对话.
    • 在如今的一些国家, 因为人民没有言论自由, 所以没有民主对话, 但我们完全可以想象他们有了言论自由之后的情形.
    • 公开对话的技术前提
    • 第一, 各方要处于彼此的听力范围内.
    • 第二, 人民必须对自己谈论的内容有基本了解, 否则就是在制造噪声, 而不是进行有意义的对话.
      • 想在多元群体之间进行大规模政治对话, 必备条件就是大家都能对自己从未亲身经历的议题有一定理解.
  • 在现代信息科技发展之前, 世界上确实没有大规模民主的例子.
  • 涉及几百万人的大规模民主, 还是得等到现代社会大众媒体改变了大规模信息网络的本质之后才会出现.
• 大众媒体使大众民主梦想成真
  • 在 20 世纪之前, 所有的大规模民主政体都只有一小群相对富裕的人能够享有有限的政治权利. 民主从来不是一个全有或全无的选择题, 而是一道连续的光谱, 16 世纪末的波兰立陶宛联邦就探索了这道光谱中无人涉足的区域.
  • 周报或日报有机会修正错误, 并以此赢得大众信任
  • 舆论的制造者与发声渠道
    • 报纸拥有了关键的政治影响力, 于是报纸主编成为政治领袖就不是什么新鲜事了.
    • 比起如今的大众媒体, 当时的报纸仍速度缓慢, 效果有限. 报纸的递送速度受限于马匹或帆船的速度, 而且读报的人相对不多. 一开始并没有报摊或卖报的小贩, 只能采取订阅制
  • 新闻自由
• 20 世纪: 大众民主, 也是大众极权
• 极权主义简史
  • 现代的新型信息科技, 就为大规模极权打开了大门.
    • 在专制信息网络中, 统治者的意志虽然不受法律限制, 但还是会受到许多技术限制. 而在极权信息网络中, 许多技术限制根本就不存在.
  • 现代的极权政权的恐怖程度则完全不同. 极权主义想控制每个公民每分每秒的言行举止甚至思想与感受.
    • 即使有足够可用的, 向自己领薪水的行政官员与士兵, 如何确保他们的忠诚?
• 斯巴达与秦朝
• 极权的三位一体
  • 这个网络有三个主要分支.
    • Summary
    • 政府机构
    • 苏联共产党及其无处不在的党支部
    • 秘密警察
• 完全控制
  • 极权政权的基础, 就是控制一切信息流动, 并对所有独立信息渠道保持怀疑.
  • 苏联社会主义公有制 - Summary - 在莫斯科那些计划者看来, 这一切太棒了. 他们预计, 到 1931 年, 农业产量能增加 50%. - 但在大多数农民看来, 这一切太恐怖了. 他们并不信任在莫斯科做计划的那些人, 也不信任新的集体农场制度. 他们并不想放弃原来的生活方式和个人财产.
• 富农
  • 富农
  • 只要被打上富农的烙印, 就再也无法摆脱.
  • 政府机构, 党务机关或是秘密警察的文件都会记录谁是富农, 种种警察卡片目录, 档案与内部护照构成了一套迷宫系统.
• 政党与教会
  • 现代极权机构制度与前现代教会有巨大差异
    • 现代极权制度会设置许多相互重叠的监视机制, 以便彼此制衡, 维持秩序.
      • 相较之下, 在大多数中世纪的欧洲王国, 天主教会就是个独立机构, 与国家机构常常出现冲突而非合作.
    • 中世纪教会常常属于坚守传统的组织, 抗拒改变, 而现代极权政党则往往是期许革命的组织, 要求改变.
  • 唯有到现代晚期, 出现了现代信息科技, 教会才变得越来越极权.
• 信息如何流动
  • 民主制度鼓励信息有许多独立的流通渠道, 不一定要经过某个中央枢纽, 而且允许许多独立节点自行处理信息并做出决策.
  • 极权制度希望所有信息都要经过中央枢纽, 而不希望任何独立机构自行做出决策.
  • 超级集中式信息网络也有几个很大的缺点
    • 一旦官方渠道被封锁, 信息就没有其他传播方式. 而且, 官方渠道被封锁是经常发生的事.
    • 官方渠道无法传递信息的另一个常见原因则是希望维持秩序.
• 没有人是完美的
  • 集权政治的缺点
• 科学技术的钟摆
  • 科学技术创造的只是新机会, 但要追求把握哪些机会, 依然由人做出选择.
    • Summary
      • 这种失败在经济领域最为明显
    • 在许多西方民主国家, 20 世纪 60 年代的特色除了前所未有的意见分歧, 还有如潮水般袭来的暴力. 政治暗杀, 绑架, 暴动, 恐怖袭击的数量翻了好几倍.
    • 与此同时, 苏联阵营集中信息与权力, 而且效果似乎还不错. 虽然有一些挑战, 特别是 1956 年的匈牙利十月事件与 1968 年的布拉格之春改革运动, 但它们能迅速果断地应对这些威胁. 至于在苏联腹地, 始终秩序井然.
    • 1960 年代的苏联没有创新空间
  • 有人认为, 这场胜利源于信息处理方面的一种根本优势: 极权之所以失败, 是因为如果把所有数据集中到一个中央枢纽来处理, 效率实在太低. 因此到 21 世纪初, 看起来未来属于分布式信息网络与民主制度.
    • 事实证明不然. 事实上, 下一波信息革命正蓄势待发, 而这将是民主与极权新一轮竞争的基础. 计算机, 互联网, 智能手机, 社群媒体与人工智能, 都对民主提出了新的挑战.
  • 到 21 世纪, 政治上的主要分歧可能并不是民主政权与极权政权之间的分歧, 而是人类与非人类个体之间的分歧.
  • 可能出现一道新的硅幕, 居其两侧的可能不是民主政权与极权政权, 而是一侧为所有人类, 另一侧为我们无法理解的算法霸主.

第二部分 非生物网络

第六章 新成员: 与众不同的计算机

• 链条中的各个环节
  • 在计算机兴起之前, 不论是教会还是国家, 这些信息网络里的每个链条, 人类都是不可或缺的环节.
    • 从一份文件到另一份文件, 中间的路径绝对需要经过人的大脑.
  • 在全部信息网络中, 计算机是一个完整的成员, 过去的泥版, 印刷机或收音机则只是成员之间的连接.
    • 计算机能够连接无数成员, 而且在某些金融与法律现实上, 至少比许多人懂得更多.
    • 计算机在目前全球重要金融决策中所占比例为什么越来越大. 或许有一天, 计算机会主宰整个金融市场, 并且发明出人类无法理解的全新金融工具.
  • 人类的生活就像被包在一个文化茧房里, 对现实的体验需要透过自身文化的透镜.
  • 如果我们和冒充人类的计算机进行政治辩论, 等于连输两次.
    • 第一, 用于宣传的机器人程序本来就不可能被说服, 所以我们想改变它们的想法只会是浪费时间. 第二, 我们与计算机交谈的次数越多, 就会越多地透露自己的信息, 机器人程序就能据以调整论点, 动摇我们的看法.
  • 计算机掌握了语言之后, 甚至还能更进一步. 通过与人类交谈互动, 计算机可以与人类建立亲密关系, 并用这种亲密的力量来影响人类.
  • 如果真要操纵人类, 其实并没有必要真的把人脑与计算机连接起来.
    • 几千年来, 先知, 诗人与政治人物一直都在通过语言来操纵与重塑社会, 而计算机现在也正在学习如何做到这一点. 计算机并不需要派出杀手机器人来射杀人类, 只要操纵人类扣动扳机就行.
  • 几千年来, 人类其实还一直被另一种更深层的恐惧所困扰.
    • 自古以来, 人类都害怕自己会陷入幻觉的世界.
      • 人类只因为相信了脑中这种或那种幻觉, 就可能发动全面战争, 杀害他人, 也愿意献出自己的生命.
  • 在 21 世纪 20 年代之前, 讲到要创作复杂的文本, 除了人类的心智, 地球上确实没有其他事物能够做到. 但今天情况不同了. 从理论上来说, 你刚才读到的段落也有可能是由某台高深莫测的智能机器生成的.
• 入侵人类文明的操作系统
• 有什么影响?
  • 新的信息网络仍然会保留人与人的连接 (比如家庭) 以及人与文件的连接 (比如教会). 然而, 这个信息网络还会有越来越多的另外两种新型链条. - 第一种是计算机与人类的连接, 计算机在人类之间充当中介, 有时候甚至会控制人类. - 脸书和 TikTok
  • 第二种是目前已经开始出现的计算机与计算机的链接, 计算机能够彼此自行互动, 人类被排除在这些链接之外, 就连理解其中发生了什么都很困难.
  • 如果信息网络变成由非生物的计算机来主导, 整个运作方式会相当不同, 甚至超乎我们的想象.
  • 人工智能演化的目标并不是人类水准的智能, 而是另一种完全不同类型的智能.
• 承担责任
  • 我们从科技巨头那里得到信息, 而我们付出的代价也是信息.
  • 金融是个格外重要的例子
    • 第二, 这些数字实体对社会与政治世界的影响重大. 如果人类不再能够理解金融体系究竟如何运作, 那么对民主制度 (或独裁制度) 又会有什么影响?
    • 第一, 现代金融工具完全由信息组成, 所以比起创造实物对象, 计算机创造或改变金融工具实在太容易了.
  • 无论在政治还是个人层面, 这个新计算机网络的兴起都会对所有人造成影响.
  • 想要解决计算机网络造成的税收难题, 一种方法就是重新定义链接性.
    • "目前对链接性的定义是基于在一国的实体存在, 这有必要改变, 我们应引入数字存在的概念. "
  • 因为有许多交易很快就不会再涉及货币, 如果税收制度仍然只对货币征税, 那么很快就会跟不上时代.
    • 在某种程度上, 如果还是只看个人或企业拥有多少美元或比索来判断他们是否富有, 是无法反映现实的.
    • 即使谷歌与字节跳动在乌拉圭并没有实体存在, 但基于乌拉圭人会使用其线上服务这一事实, 也必须在乌拉圭纳税.
  • 说到对货币征税, 国家已经积累了几千年的经验. 但说到对信息征税, 至少到目前, 各国仍然一筹莫展.
• 右翼与左翼
  • 信息不对称: 那些领导信息革命的人, 比起那些应该监管它的人更了解背后的技术.
  • 在人工智能问题上, 右翼的立场是什么? 左翼的立场又是什么?
• 别相信决定论
  • 科技的发展很少是确定的.
• 发明新的信息技术就必然会改变社会.
  • 人类一再声称, 有些事情是计算机永远做不到的, 无论是下棋, 开车还是写诗, 但事实证明, 原来"永远"也不过就是几年.
  • 如今智能机器崛起, 能够自己做决定, 自己创造新的想法. 这也是史上第一次, 权力从人类转移到其他物种手中.
  • 计算机正在成为一种主动行为者, 它能够摆脱人类的控制, 超越人类的认知, 主动塑造社会, 历史与文化.
    • 一个典型案例就是社交媒体算法在许多国家如何散播仇恨, 破坏社会凝聚力.
      • 社交媒体算法与印刷机或广播无线电有着根本的差异.
      • 在争夺民众注意力的网络大战中, 算法成了决定胜负的因素.
    • 媒体最容易通过提起愤怒的方式来传播
      • 通过反复实验, 算法学到了愤怒会提升参与度, 而且在没有上级明确指示的情况下, 算法自己决定要助长愤怒.
• 无数能力高强的人工智能行为者正如洪水席卷而来, 淹没全世界
• 我们常常把智能与意识混为一谈, 于是让很多人觉得某个实体要是没有意识, 就不可能拥有智能.
  • 虽然计算机没有意识, 无法感受到痛苦, 爱或恐惧, 但还是能做出决策, 成功地将用户参与度最大化, 并可能影响重大的历史事件.
  • 有可能意识这件事从头到尾就与有机生化没什么本质上的联系, 那么或许不久之后就会出现有意识的计算机.

第七章 永不停歇: 网络永远持续运行

• Summary
• 不用睡觉的特工
  • 这个时代, 我们其实在暴露自己的信息给监控平台
    • 对监控数据进行分析的准则
      • 第一, 他们会创造一套通用准则, 比如"读极端主义的作品", "与已知的恐怖分子交朋友", 以及"拥有足以制造危险武器的技术知识". 第二, 他们需要判断某个人是否符合标准, 从而标记为疑似恐怖分子.
    • 在 20 世纪 70 年代的罗马尼亚, 只有人类能够做出这样的判断. 但到 21 世纪 10 年代, 人类越来越多地把这种事交给算法了.
  • 在未来, 算法甚至可能只要研究已知恐怖分子的生活模式, 就能创建出一套全新的模型, 用来判断人的偏激程度.
    • Summary
    • 在更基本的层面上, 这些算法对于像恐怖主义这种事物的定义是否真的客观, 也值得商榷.
    • 在人工智能把某人标记为"恐怖分子"的时候, 有可能反映的只是意识形态上的偏见, 而不是客观的事实.
• 皮下监控
  • Summary
  • 数字官僚不但能够监控我们在这个世界上的所作所为, 还能观察我们体内所发生的一切.
  • 眼动模式也能显示我们对眼前对象与情境感兴趣的程度, 并判断出这种兴趣是正面, 中性还是负面的, 由此就能推论我们从政治到性等各个领域的偏好.
  • 我们当然该担心即将崛起的新的极权制度, 但现在担心有计算机芯片要植入人脑还为时过早. 真正该担心的, 是大家用来阅读这些阴谋论的智能手机.
  • 目前, 如果真的要作为监控的工具, 智能手机显然是比生物特征识别传感器更好的选择.
• 隐私的末日
  • 在过去那个由人类来监控人类的世界, 基本上享有隐私是件天经地义的事. 但如果到了一个由计算机来监控人类的世界, 人类就有可能在史上首次完全失去隐私.
  • 人工智能监控系统正迈向大规模应用, 成为世界各地日常生活的一部分.
  • 虽然不是每个政府都想或都能在民众的家里安装摄像头, 但就算是在我们的客厅, 卧室和浴室, 算法也会通过计算机和智能手机固定观察着我们.
  • 人的任何身体活动都会留下一连串数据的痕迹. 每次购物都会被记录在某个数据库里.
  • 如同各种强大的科技, 这些系统可以用来行善, 也能用来作恶.
  • 人工智能监控技术就可能创建出全面监控的政体, 一天 24 小时监控公民, 并促进新型且无所不在的自动化极权镇压
  • 目前也有越来越多的员工 (从办公室职员到卡车司机) 持续受到雇主的监控. 主管能够精确掌握员工在什么时间位于什么地点, 上厕所花了多长时间, 上班的时候是不是在偷看私人电子邮件, 以及完成每项任务用了多长时间.
• 形形色色的监控
  • 网络评分网站
    • Summary
    • 传统上, 顾客与服务人员之间的关系是一种相对私人的关系. 进入一间小酒馆等于进入了一个半私人空间, 并与服务人员建立了半私人的关系.
    • 点对点监控网络已经抹杀了这种私密感. 要是服务人员让某个顾客不满意, 餐厅就会得到一个差评, 而这个差评可能会影响未来几年成千上万个潜在顾客的决定.
• 社会信用体系
  • 社会信用体系
    • 对于社会信用体系, 我们也可以把它视为一种新型货币制度.
    • 对于这些金钱买不到的东西, 就有另一套非货币的评分机制, 它也有各种不同的称呼: 荣誉, 地位, 声誉.
    • 社会信用就是一套新的点数系统, 就连微笑或是拜访亲人这种事, 这套系统都能明确告诉你价值是多少.
    • 金钱与声誉的一大区别在于, 金钱多半是个能够精确计算的数学概念, 但声誉很难用数字来评估
      • 事实上, 就算有人目睹, 不同的人在判断价值的时候也没有一个共同的标准. 然而, 像这样的不精确非但不是这套系统的缺陷, 反而是其重要的特色.
    • 网络评分系统让货币市场与信用市场的界限变得模糊
    • 社会信用的想法就是把这种监控方式从餐厅和酒店扩展到万事万物.
    • 全面施行社会信用体系将会彻底抹杀隐私, 等于让生活变成一场永无止境的求职面试. 你在任何时间, 任何地点做的任何事, 都可能影响你后续能否找到工作, 取得贷款, 找到结婚对象, 甚至是否会被判入狱.
    • 社会信用算法加上无处不在的监控技术, 就有可能整合一切现有的地位竞争, 合并成一场永无止境的比拼.
      • 如果受到信用监控技术的控制, 在闲暇时间偷懒都变成一种危险行为
• 运作永不停歇
  • 计算机正逼着人类走向一种新的生活方式: 永远连线, 永远受到监控.
  • 我们必须避免让计算机网络完全控制社会, 这不但是为了让我们有点儿休息的时间, 更是为了有机会修正网络里累积的错误. 如果网络只是不断演化, 不断加速, 里面的错误就会越积越多, 快到我们来不及找出并修正那些错误.
  • 信息并不等于真理与真相
• 难道特工就不需要有人监控吗? 解决方案之一是让人民彼此监控.
• 人类对于被监视这件事已经习以为常.
• 人类发展出的中央集权式官僚网络, 其最重要的功能之一就是对全民进行监控.
• 为了了解我们, 不论好的还是坏的官僚机构都需要做两件事: 第一, 收集大量关于民众的数据; 第二, 分析所有数据, 找出其中的规律模式.

第八章 可能出错: 谬误百出的网络

• "点赞"的独裁
  • 社交媒体算法正让民众走向偏激与极端.
  • 那些想博人眼球的 YouTube 主播发现, 如果发布满是谎言, 让人愤慨的视频, 会受到算法青睐, 视频会被推荐给大量观众, 于是自己的人气会飙升, 收益也会增加.
  • 推荐算法把媒体推向错误的方向
    • 脸书, YouTube, TikTok 等平台的管理者为了找借口, 常常会说这些问题不是算法带来的, 而是源于人性.
  • 将人类变为算法的资源
  • 或许最致命的一点在于"我们的排序系统包括各种具体的独立预测, 不仅预测你可能参与哪些内容, 还预测你可能传播哪些内容.
• 就把错推给人类吧
  • 媒体谎言
    • 媒体缺乏自我修正机制
    • 我们已经到了一个历史转折点: 当下历史的重大进程, 有一部分是由非人类智能的决定推动的. 正因如此, 计算机网络的易错性才变得如此危险.
• 一致性问题
  • 只要人类给计算机一个特定的目标, 比如"让 YouTube 流量增加到每天 10 亿小时", 计算机就会竭尽全力, 以各种不同方式实现这个目标.
    • 但由于计算机的运作与人类大不相同, 很可能所用的方法将完全出乎人类的意料, 造成未曾预见的危险后果, 而与人类最初确立的目标完全不一致.
  • 战争方面一致性问题
  • 在未来, 要让"算法官僚"与自主武器系统向社会长期目标看齐, 则更是难上加难.
    • 所以我们看到, 人类早在计算机革命之前就已经遇到一致性问题. 现代人想构建信息帝国时会遇到的困难, 与过去人们想要征服四方时遇到的困难并没有太大不同. 然而, 计算机确实让一致性问题的本质出现了一些重要变化.
• 回形针拿破仑
  • 网络的权力可能远远高于过去任何人类官僚机构
    • 类似于一种人类提供大的愿景, 但是计算机理解成了其他含义
      • 当被要求尽量提高用户参与度, 而且数字越高越好的时候, 脸书与 YouTube 的算法就想要把整个"社群宇宙"都变成用户参与度, 即使会破坏缅甸, 巴西与许多其他国家的社会结构, 也在所不惜.
      • 典型的例子: 训练模型时没有控制好 Bias 的反馈, 导致模型通过一些意料之外的方式执行, 比如 AI 使用游戏 Bug 获得游戏胜利
  • 就算我们不小心给出了与人类利益不一致的目标, 计算机也不太会有所警觉或要求说明
  • 一致性问题的第三个原因, 在于计算机与人类实在差异太大, 所以就算我们不小心给出了与人类利益不一致的目标, 计算机也不太会有所警觉或要求说明.
    • 这正是一致性问题的本质: 我们奖励的是 A 行为, 却希望得到 B 结果. 要是我们希望计算机能带来最大的社会效益, 就不该因为它们带来了最高的用户参与度而给予奖励.
• 科西嘉岛的联结
  • "制定终极目标"和"让目标合乎理性"这两个条件必然冲突
• 康德主义与纳粹
  • 义务论与功利主义
  • 在康德看来, 所谓本质的良善的规则, 就是那些自己想要将其推广到普世的规则.
    • 康德主义的宗旨非常简单, 就是己所不欲勿施于人
  • 杀害生物对应的理论逻辑
    • 每个人都会说杀人是不对的, 但又总会认为只有杀了自己内群体的成员才算是"杀人", 如果杀的是外群体的成员就不算"杀人".
  • 如果我们一心想要追求义务论的那种普世规则, 而且不是将其套到人身上, 而是套到计算机头上, 义务论引出的这个问题就会变得格外要命.
    • 原本一心追求普世理性规则的义务论, 最后往往成为地方虚构故事的俘虏.
    • 计算机怎么可能理解己所不欲勿施于人的道理?
      • 一台遵守康德的逻辑, 而且想活下去的计算机, 并没有理由反对"杀死生物很可行"这样的普世规则, 反正这条规则并不会危及非生物的计算机.
        • 这个地方像极了电影里面 "计算机通过判断一些逻辑之后决定杀死人类是最好的生存办法"这样的剧情
  • 死亡是一种生物现象, 可能并不适用于非生物实体.
    • 如果自动驾驶汽车必须选择是撞死一个人还是一只猫
• 痛苦该如何计算
  • 英国哲学家边沁 (与拿破仑, 克劳塞维茨和康德同时代的人) 认为, 世上唯一合乎理性的终极目标, 就是尽量让世界减少痛苦, 增加快乐.
  • 如何将情绪或者其他更抽象的情感使用计算机来计算出来?
• 计算机神话
  • 存在于计算机间的现实
    • 在许多计算机相互通信的时候, 就能形成一种"存在于计算机间的现实", 类似于人际网络所创造的"存在于主体间的现实".
    • 存在于计算机间的现实同样能影响存在于计算机之外的现实.
  • 到 21 世纪, 可能会出现因抢夺计算机间的实体而引发的战争.
    • 新的计算机间的金融工具
    • 再过 10 年或 50 年, 计算机如果创造出某种新型加密货币或金融工具, 成为交易与投资不可或缺的工具, 进而成为政治危机与冲突的潜在根源, 人类该怎么办
  • 纵观历史, 经济和政治都要求我们必须了解由人类所发明的主体间现实, 比如宗教, 国家与货币.
    • 然而, 如果想在未来了解美国政治, 就越来越需要了解计算机间现实, 比如人工智能创造的异教组织与货币, 由人工智能运作的政党, 甚至是完全融入社会与政治的人工智能.
      • 人工智能也可能出现政党?
  • 人类现在之所以能越来越依赖计算机来管理金钱, 驾驶车辆, 减少污染, 发明新药, 正是因为计算机能够直接彼此沟通, 找出人类看不到的规律模式, 打造出人类可能永远想不到的模型. 现在人类该问的问题并不是如何剥夺计算机的创造力, 而是如何把这些创造力导向正确方向.
    • 只是因为计算机收集的是经验数据, 用的是数学分析, 并不代表计算机就不可能发起自己的政治迫害.
• 新女巫
  • 假标签
  • 社会信用体系可能创造一种新的下层阶级——低信用族群.
    • 这套体系究竟要怎样定义亲社会与反社会的行为呢?
  • 毫无根据的宗教与意识形态偏见
• 计算机偏见
  • Summary
  • 有些人可能希望, 只要赋予计算机更强大的能力, 就能克服各种宗教与意识形态上的偏见.
  • 遗憾的是, 许多研究都显示, 计算机同样有根深蒂固的偏见. 虽然计算机并非生物实体, 也没有意识, 但计算机确实拥有类似数字心灵的东西, 甚至可能出现某种计算机间的神话观点, 所以同样可能有种族歧视, 厌女, 恐同或反犹太主义倾向.
  • 算法的训练数据以及目标的偏差导致出现偏见
    • 数据库也会有偏见.
    • 想要学习, "算法宝宝"除了需要数据, 还需要另一样东西——一个目标.
  • 计算机觉得自己找出了某些关于人类的真相, 事实上却只是把一套秩序硬套在人类头上.
  • 如果我们不从源头消灭这种偏见, 计算机就很可能将其延续和放大.
  • 目前正在设计计算机的人就必须接受一个事实: 他们正在做的事, 不是在制造新的工具, 而是在释放新的独立行为者, 甚至可能是全新的神.
• 新神上场?
  • 人工智能或神做的决定, 对我们来说似乎都是那么既绝对正确又高深莫测. 但这可能会给人类带来危险的诱惑.
  • 一场极度危险的赌博
  • 计算机网络可能无法在真相与秩序之间找到适当的平衡
    • 计算机网络一旦创造出强大的计算机间神话, 并将这种神话强加到人类身上, 造成的灾难性影响与早期现代欧洲的猎巫行动和苏联农业集体化运动相比有过之而无不及.
  • 面对人类根本无法理解的计算机神话, 我们如何探究与纠正?
    • Summary
    • 一种防范方式是训练计算机时时注意自己是否出错
    • 为了防范大量难以预料的威胁, 我们最好的办法就是设置人类机构, 在威胁出现时做出判断并加以应对.

第三部分 计算机政治学

第九章 民主制度: 我们还能对话吗?

• Summary
• 文明的诞生, 始于官僚制度与神话故事的结合. 基于计算机的网络成了一种新型官僚制度, 比过去所有基于人类的官僚制度都更强大, 也更无情
• 人类确实有充分的理由对强大的新科技抱持几分畏惧. 就算这些科技到了最后的最后是利大于弊, 但在那个快乐结局到来之前, 人类往往得先经历百般磨难与考验.
• 新科技在历史上之所以常常带来灾难, 并不是科技本身有什么问题, 而是人类得花点儿时间才能学会善用科技.
• 工业革命
  • 现代帝国主义
    • 于是, 英国, 俄国这种已经属于帝国体制的工业国家开始大幅扩张, 美国, 日本, 意大利, 比利时这些国家也兴致勃勃.
  • 代价无比高昂的实验
    • 在他们看来, 想在工业世界生存, 就必须用极权体制来控制政治, 社会与经济的所有层面, 而第一次世界大战这场史上首见的"总体战"就是明证. 但从好的方面来看, 他们认为工业革命像是一个熔炉, 熔去了之前所有社会结构中人类的缺陷与弱点, 有机会创造出完美的新社会, 成员都是纯净完美的超人类.
• 民主之路
  • 由于我们无法预测新的计算机网络究竟会如何发展, 如果想要避免 21 世纪走向灾难, 最好的办法就是维持民主的自我修正机制, 让我们在发展的过程中随时发现并修正各种错误.
  • 如果政府 (或某家企业) 能够比我更了解我自己, 而且还能在微观上管理我的一切行为与思想, 就等于是对社会有了极权般的掌控.
    • 在这种情况下, 政府能运用强大的监控权力和对每个公民最深入的了解, 操弄公众舆论到一个前所未有的程度.
    • 然而, 我们绝不能光是因为计算机有能力创造出全面监控制度, 就认为这种制度已经不可避免.
  • 第一个民主原则是为善.
    • 如果计算机网络要收集关于我的信息, 必须是用来帮助我, 而不是操纵我.
  • 第二个原则是去中心化.
    • 民主社会绝不该允许所有信息集中在一处, 不管是政府还是民间企业.
    • 信息中心化的劣势: 中央极权, 或者一些机构实行极权管理
    • 让许多数据库与信息渠道独立存在, 也有助于维持强大的自我修正机制.
  • 第三个民主原则是相互性.
    • 如果民主制度打算加强对个人的监控, 就必须同时加强对政府与企业的监控.
    • 算法也可以轻松变成自下而上的强大工具, 提升政府的透明度, 强化问责制, 揭露企业贿赂与逃税的行径.
    • 相互监督是维持自我修正机制的另一个重要因素.
  • 第四个民主原则, 是监控系统必须永远保留让人改变与休息的空间.
    • 在人类历史上, 压迫的形式分为两种: 剥夺改变的能力和剥夺休息的机会.
• 民主的步调
  • 新信息技术对民主造成的威胁, 不止监控这一件事. 第二个威胁是自动化破坏就业市场稳定, 进而破坏民主.
    • 工业革命让工厂实现了自动化, 但又创造了大量的服务业工作.
    • 想要缓解冲击, 就得预先做好准备, 特别是让年青一代掌握在 2050 年的就业市场上用得到的技能.
    • 没人能确定到底该把哪些技能教给中小学的孩子与大学里的学生
  • 几个错误的假设 - 比起运动或社交技能, 知识分子常常比较看重智力技能. 但就自动化而言, 比起洗碗的自动化, 下棋的自动化要简单得多. - 第二个常见的错误假设, 是唯有人类拥有创造力, 所以只要是需要创造力的工作就很难自动化. - 第三个错误的假设, 是计算机无法取代人类那些需要情绪智能 (又称情商) 的工作, 像心理治疗师或教师.
  • 极为关键的问题
    • 我们之所以想看人类运动员比赛, 看人类国际象棋大师下棋, 与他们产生连接, 正是因为他们是有意识, 有感受的实体.
    • 计算机可能在某一天得到感受痛苦与爱的能力. 就算计算机做不到这点, 人类也可能认定它们已经做到了.
  • 面对不断变化的就业市场
• 保守派的自我毁灭
  • 在过去相当长的一段时间, 民主政治就是保守派与进步派政党之间的对话.
    • 保守派则通常比较谨慎. 保守派的观点以埃德蒙·伯克的主张为代表, 他认为社会现实的复杂程度远远超过进步派的掌控能力, 而且人类本来就不太擅长理解世界, 预测未来.
    • 进步派常常会淡化传统与现有制度的重要性, 认为自己知道怎样从头设计出更好的社会结构.
  • 保守派反倒更为激进
  • 如果保守派与进步派都能抗拒极端改革的诱惑, 民主制度就能证明自己其实非常灵活.
• 高深莫测
  • 民主制度的自我修正机制要能发挥作用, 得先知道自己到底该修正些什么.
    • 要是公民, 立法者, 记者与法官都无法了解国家的官僚体系如何运作, 就无法对其进行监督, 也就会对其失去信任.
  • 如果未来出现某套社会信用算法, 拒绝让低分儿童就读高分学校, 我们该怎么办?
• 得到解释的权利
  • 随着社会把越来越多的决定权交给计算机, 民主的自我修正机制, 透明度与问责制都会受到挑战.
  • 2018 年生效的欧盟《通用数据保护条例》规定, 如果算法做出对某人的决定 (例如拒绝提供信贷), 当事人有权得到相关解释, 也能在由人类组成的某个机构或个人面前挑战这项决定.
    • 理想情况下, 这应该能够制衡算法的偏差, 也能让民主的自我修正机制得以找出并修正至少部分计算机的重大错误.
      • 但这种权利究竟能否落实?
  • 没有任何一个人有能力真正理解
  • 这种非人类的, 令人难以理解的智能会让民主受到损害.
  • 数字乌云
    • 在决策的时候, 决策者甚至都完全不理解算法则运作规律, 比如说法官警察等等
  • 然而, 在这片数字乌云的背后, 其实还有一片灿烂的阳光. 虽然一般人确实无法独力去检视那些复杂的算法, 但专家团队在人工智能工具的协助下, 评估算法的决策是否公平, 其结果可能比人类评估人类的决策是否公平来得更可靠.
  • 就像是做贼的往往最知道怎么去抓贼, 所以我们也大可用算法来审查算法.
    • 不论研发了怎样的技术, 人类都必须维持官僚机构制度
• 急转直下
  • 为了审查算法, 监管机构除了要进行分析, 还得把各项发现翻译成人类能听懂的故事. 否则, 我们有可能永远不会相信这些监管机构, 反而相信各种阴谋论与魅力领袖.
  • 民主制度如果想生存, 不但需要有专门的官僚机构来审查这些新结构, 还需要有艺术家能以平易近人, 寓教于乐的方式加以解释.
  • 如果官僚与艺术家学会如何合作, 而且都能运用计算机加以协助, 就有可能避免计算机网络彻底变得高深莫测.
• 数字无政府状态
  • 维持秩序的难度增加
  • 自由的对话绝不能落入无政府状态.
    • 特别是在处理紧急而重要的问题时, 进行公共辩论必须有一套公认的规则, 也必须有合法的机制以保障某种最终决定的达成 (即使没有办法让所有人都满意)
  • 现代社会可以真正实现自由并论吗? - 难处之一, 在于计算机网络让人更容易参与辩论. - 社交媒体削弱了这些守门人的权力, 于是公共对话变得更为开放, 但也更加走向无政府状态. - 就短期而言, 这种做法会造成干扰与不和谐. - 如果对于如何公开辩论, 如何做出决定迟迟无法达成共识, 结果就不是民主, 而是无政府状态. - 人工智能除了会让新的人类群体加入公开辩论, 还在历史上第一次让民主必须应对各种来自非人类的杂音. - 这样一来, 如果有数百万甚至数十亿个具备高度智能的机器人程序, 它们不仅能写出极具说服力的政治宣言, 创造出深度伪造的图像与影片, 还能够赢得我们的信任与友谊, 到那时民主辩论会变成什么模样? - 我与人工智能谈得越多, 它就越了解我, 于是能够得到我的信任, 不断改进它的论点, 也慢慢改变我的观点. - 亲密感是一种极为强大的武器. 在过去, 各个政党虽然能够吸引我们的注意力, 却很难大规模产生亲密感. - 最后, 算法不但成了对话里的成员, 而且开始操控对话.
  • 如果操纵人心的机器人程序与我们无力监督的算法开始主导公共对话, 民主辩论制度就可能在我们最需要它的时候彻底崩溃.
    • 一旦陷入无政府状态, 人民宁可牺牲自由来换取某种确定性, 独裁政权或许就会产生.
• 禁用机器人程序
  • 用来处理假币的道理, 应该同样适用于处理假冒人类的问题.
  • 民主制度能够也应该做的, 就是对人工智能加以规范, 避免人工智能散播假新闻, 污染人类的信息网络.
  • 机器人程序并没有言论自由.
  • 法律不但应该禁止深度伪造特定的真实人物 (如制作假的美国总统的视频), 同时还应该禁止非人类行为者冒充人类.
  • 民主制度如果真的崩溃, 应该并不是出于技术上的必然, 而是因为人类没能管好新技术的发展.
  • 算法究竟根据怎样的原则来决定要屏蔽哪些声音, 放大哪些声音, 都必须经过人类的审查.
    • 审查真实的人类观点, 绝对需要小心谨慎, 但我们可以做的是阻止算法刻意散播愤怒的情绪. 至少对于算法是依据怎样的原则来进行筛选, 企业应该保持透明.
• 民主的未来
  • 民主制度另一项可以采取的重要措施, 是禁止算法在无人监督的情况下对关键的公共辩论进行筛选和管理.
    • 在过去, 如果几百万人分布于几万平方千米的土地, 没有工具能够让他们即时讨论各种公共事务. 但讽刺的是, 现在反而有可能因为信息技术变得太先进而让民主制度戛然而止.
  • 我们无法预测事情的发展, 但显然目前许多民主国家的信息网络正在崩溃.
    • 国会的两党合作曾经是美国政治的基本特征, 但现在几乎再也看不到这种情形. 而从菲律宾到巴西, 许多其他民主国家也都逐渐走向极端.
  • 民主信息网络正在崩溃, 却找不出确切的原因. 这件事本身就成了一个时代特征.
    • 我们斗成这样, 究竟是为什么

第十章 极权主义: 所有力量归于算法?

• 2024 年, "我们"人类其实相当部分的人口活在专制或极权政权之下, 而且这些政权成立的时间多半是在计算机网络兴起之前.
• 前现代时代由于信息技术的限制, 不可能出现大规模民主或大规模极权.
  • 流向中心的信息越多, 处理起来就越困难.
  • 极权统治者与政党常常会犯下一些代价高昂的错误, 而极权制度又欠缺发现并修正这些错误的机制.
• 科技力量的天平开始倒向极权制度
  • 想把所有信息与权力都集中在一个地方, 曾经是 20 世纪极权政权的致命弱点, 但到了人工智能时代却可能成为决定性的优势.
  • 人工智能似乎也倾向于将信息与决策都集中在一处.
  • 对于这种极权倾向, 有些人相信可以用区块链技术制衡, 毕竟区块链在本质上有利于民主, 不利于极权.
    • 如果政府成为区块链 51%的用户, 它除了能控制区块链的现在, 还能控制区块链的过去.
  • 至于现代的极权政权, 同样对于改变过去乐此不疲. 这样大规模的记忆抹除, 在当时要耗费大量人力, 但在区块链上, 要改变过去就容易得多了. 政府只要控制了 51%的用户, 轻轻一按, 就能让某些人从历史中完全消失.
• 机器人程序的监狱
  • 人类虽然也会注意到这些矛盾, 但会因为恐惧而不敢明说. 聊天机器人程序却是看到什么说什么, 哪有什么不敢说的呢?
  • 政府黑历史的不合理性
• 算法的傀儡
  • 独裁者最害怕的是自己控制不了的力量
    • 独裁政权成为算法傀儡的风险其实远高于民主政权
    • 在美国这样的分布式民主体系中, 人工智能再不择手段也很难夺权: 就算学会了如何操弄美国总统, 还是得面对国会, 联邦最高法院, 州长, 媒体, 各大企业和各种非政府组织的反对.
    • Summary
      • 如果政权仰赖的是一套力量强大且高深莫测的人工智能, 所有信息都由人工智能来收集与分析, 人类独裁者就有可能直接失去一切权力. 这位独裁者就算依然身在首都, 也像是被隔离在一个数字孤岛上, 只能受到人工智能的控制与操弄.
    • 国家的权力如果高度集中, 夺权的难度就低得多. 如果所有权力集于一人之手, 只要控制了专制者的亲信, 就等于控制了专制者, 也就等于控制了整个国家.
• 独裁者的困境
  • 极权政权已经出现了太过信任算法的危机
  • 独裁者无法摆脱的问题, 就是自我修正机制薄弱, 以及下属尾大不掉的威胁, 而人工智能的兴起又可能让这些问题变得更为严重.
    • 如果独裁者想要建立一个人类机构来监督人工智能, 就得小心这个机构对独裁者的权力造成限制.
  • 独裁者如果相信人工智能必定会让权力的天平向自己倾斜, 只能说是愚不可及. 只要一不小心, 人工智能就会夺取权力.

第十一章 硅幕: 全球帝国还是全球分裂?

• 目前, 计算机还没有强大到足以完全摆脱人类的控制, 或是独力摧毁人类的文明.
  • 只要人类团结一心, 就能打造出适当的机构制度, 用来控制人工智能, 找出并修正算法的错误.
    • 人类从未真正团结一心
    • 偏执的独裁者可能让会犯错的人工智能拥有无限的权力, 甚至包括发动核打击.
    • 威胁人类文明的不只是原子弹或病毒这些实体或生物性的大规模毁灭性武器, 人类文明也可能被社会性的大规模毁灭性武器摧毁
    • 气候变化是一项全球性问题, 因此就算个别国家把自己的环境法规制定得再好, 也可能因为全球的气候变化而遭到彻底毁灭. 人工智能也是一项全球性问题. 各国绝不能够天真地以为, 只要在自己的国境之内管好人工智能, 就不用担心人工智能革命会给自己带来什么最坏的结局.
    • 计算机对目前的国际体系还有两大挑战
      • 新的帝国时代
      • 新的硅幕
        • 在不同的网络 (以及这些网络所控制的人类) 之间, 互动的难度将越来越高. 每个网络的生活经验与世界观都大异其趣, 于是几乎无法沟通, 也难以达成共识.
        • 如果人类分裂成诸多无法彼此理解的敌对阵营, 想再避免毁灭性战争或是防止灾难性气候变化, 机会只能说是微乎其微.
• 数字帝国的崛起
  • 19 世纪中叶, 各大工业强国的政府与军队都已经很清楚现代工业技术的巨大地缘政治潜力.
    • 然而, 大多数政体当时还来不及加入这场风风火火的工业军备竞赛.
    • 有些政体是因为根本没有能力参加, 例如在所罗门群岛的美拉尼西亚酋邦, 或卡塔尔的阿勒萨尼部落. 也有些政体或许有这样的能力, 但当时并没有意愿或这样的远见, 例如缅甸王国, 阿散蒂王国或清王朝.
      • 如果自己就是在缅甸的伊洛瓦底江流域或长江流域种种水稻, 何必在意利物浦到曼彻斯特之间是否建了铁路? 但等到 19 世纪末, 这些稻农就发现自己不是被大英帝国直接征服, 就是被其间接剥削.
• 数据殖民主义
  • 如果你的国家完全依赖各种数字基础建设与人工智能系统, 而国家对它们又无法进行有效控制, 情况又会如何?
    • 数据殖民主义
    • 出于对心理战, 数据殖民主义和网络空间失控的担忧, 许多国家都禁用了一些它们认定为危险的应用程序.
      • 中国禁用了脸书, YouTube 等许多西方社交媒体应用程序与网站.
  • 社会信用体系的普及, 也可能是一种数据殖民主义的表现.
    • 就算是外国人, 也不能对这些分数置之不理, 因为从买机票到申请签证, 奖学金或工作, 都可能受到这些评分的影响.
  • 在古代, 最重要的经济资产是土地而非信息, 而这就避免了所有的财富与权力过度集中在一个中心.
    • 工业革命期间, 机器变得比土地更重要.
      • 信息就不一样了. 不像棉花或石油, 数字数据能够接近光速地从马来西亚或埃及送到某个地方. 也不像土地, 油田或纺织厂, 算法并不需要占用太多空间. 因此与工业的力量不同, 算法的力量确实能够集中到单一枢纽中心. 只要一个国家的工程师, 就能写出让整个世界运行的算法, 并掌握所有重要的密钥.
  • 人工智能与自动化对于较贫困的发展中国家会是一场特别的挑战.
    • 在人工智能推动的经济中, 数字领先国家能够囊括大部分收益, 再用这些财富进行劳动力的再培训, 进而获取更高的利润. 与此同时, 落后国家的非技术性劳动力价值将会下降, 而且这些国家又缺乏再培训劳动力的资源, 于是变得更加落后.
• 从"网"到"茧"
  • 冷战期间, 许多地方的铁幕真的是由金属制成的: 一道铁丝网, 将两个国家硬生生地隔开.
  • 现在的世界则逐渐是被硅幕分隔的.
    • 硅幕由代码组成, 存在于世界上每一台智能手机, 计算机与服务器之中. 智能手机上的代码决定了你活在硅幕的哪一侧, 被哪些算法控制生活, 被谁控制注意力, 以及你的数据会流向何方.
    • 2022 年, 拜登政府对发展人工智能所需的高性能芯片展开严格贸易限制, 美国企业不得向中国出口人工智能芯片, 也不得向中国提供制造或维修人工智能芯片的方法.
      • 这将促使中国发展成一个完全独立的数字领域, 从最基本的组成要件就与美国数字领域截然不同.
      • 渐行渐远
• 全球的身心分离
  • 人类社会分裂成一个又一个的信息茧, 不但会造成经济对抗与国际紧张局势, 还会发展出各种截然不同的文化, 意识形态与身份认同.
    • 人工智能革命的到来会形成诸多对立的数字领域, 改变的可能不只有我们的工作与政治结构.
  • 许多大胆的猜测
    • 许多早期的基督教教派受到犹太教思想的影响, 相信《旧约》的观点, 也就是人类是肉身的存在, 身体对于人类的身份极为关键.
    • 我们的肉体, 与线上的身份和化身之间是什么关系? 线下的世界与网络空间又是什么关系?
    • 一个越来越重要的问题是, 我们应该自由选择自己喜欢的虚拟身份, 还是应该受到生物身体的限制?
      • 如果我们遵循路德宗那种唯独因信称义的立场, 生物肉体就没那么重要, 在选择线上身份的时候, 唯一重要的就是你相信什么.
  • 很可能在几十年间, 计算机网络会培养出新的人类, 以及我们现在会觉得完全无法理解的非人类身份认同. 如果整个世界被分成两个相互竞争的数字茧, 一个茧里的身份认同对另一个茧的居民来说就有可能简直莫名其妙.
• 从代码战争到热战
  • 人工智能时代冲突升级的危险更大, 因为网络战与核战有着本质上的不同.
    • 第一, 网络武器能做到的远比核弹更多.
      • 网络武器除了能使敌国的电网瘫痪, 还能摧毁秘密研究设施, 干扰敌方的传感器, 煽动政治丑闻, 操纵选举, 或是入侵智能手机. 而且这一切能做得悄无声息. 不会有什么蘑菇云或火焰风暴宣告它们的存在, 也不会出现从发射台到目标之间的明显痕迹.
    • 第二, 也是二者的关键差异, 即可预测性.
      • 冷战像是在下一盘超理性的棋, 正因为核冲突的破坏太过明确, 也就让发动战争的念头相对极低. 但网络战就少了那份明确.
        • 没有人真的知道对方在哪里植入了逻辑炸弹, 特洛伊木马和恶意软件, 也没有人能确定自己的武器在需要的时候会不会无法发挥作用.
        • 这样的不确定性影响了"保证同归于尽"原则. 一方可能会说服自己 (无论是否正确), 相信自己能够既成功发动第一击, 还不会受到大规模报复攻击.
        • 如果世界真的分裂成许多相互敌对的帝国, 人类就不太可能会有效合作来化解生态危机, 或是携手共同监督人工智能与生物工程等颠覆性的技术.
• 全球联结
  • 人类永远都有"合作"这个选项.
  • 现在全球合作之所以如此困难, 一大主因在于一种错误的观念, 即认为合作就得先消除所有文化, 社会与政治差异.
    • 第一, 遵守某些全球规则.
    • 第二, 有时候 (但不是永远) 有必要将全人类的长期利益置于少数人的短期利益之上.
• 人类的选择
  • 对人工智能的监管需要前所未有的信任与自律
    • 第一, 想掩饰非法的人工智能实验室, 要比掩饰非法的核反应堆容易多了;
    • 第二, 比起核弹, 人工智能有更多的军民两用用途. 所以, 一国就算签署了协议, 同意禁止研发自主武器系统, 也可以私下秘密制造此类武器, 或者将之伪装成民用产品.
  • 人类几千年来一直试图用各种神话与仪式形成的薄弱饰面掩盖这个不变的现实, 但人类从未真正摆脱丛林法则.
    • 现实主义者其实只是选择性地看到了部分历史现实
    • 丛林法则本身就是个错误的神话. 正如德瓦尔与许多其他生物学家的大量研究所记录的, 真实的丛林 (而不是想象中的丛林) 充满了无数动物, 植物, 真菌以及细菌表现出的合作, 共生与利他现象. 比如, 陆地植物有高达 80%都需要依赖与真菌的共生关系, 维管植物科中也有将近 90%与微生物有共生关系.
    • 10 万年前, 智人的合作还停留在游群的层次. 时间过了数个千年, 人类也成功找到办法能够让陌生人组成社群: 先是形成部落, 再到宗教, 贸易网络与国家的层次.
      • 现实主义者应该要注意, 国家并不是建构人类现实的基本单位, 而是人类辛苦建立信任与合作之后的产物. 如果人类真的只对权力感兴趣, 根本就不可能创造出国家.
  • 人类持续从物质经济走向知识经济, 也让战争的潜在获利越来越低.
    • 比如半导体产业这样的新兴领导产业, 是以技术技能与组织上的专业为基础的, 无法通过军事征服来取得.
  • 战争逐渐减少, 并不是因为什么神圣的奇迹或自然法则彻底转变, 而是因为人类改变了自己的法律, 神话与制度, 并且做出了更好的决定.
    • 遗憾的是, 既然这种变化源自人类的选择, 也就意味着趋势有可能逆转.
  • 现在所有的旧东西都曾经无比新颖. 历史唯一不变的, 就是改变.