The Verge 调查了美国一半以上州使用的软件 确定人们接受多少医疗保健，并将其发现记录在 “当算法削减您的医疗保健时会发生什么”一文中。在阿肯色州实施该算法后，数百人（许多患有严重残疾）的医疗保健大幅削减。

当您的模型控制下一轮时，可能会出现反馈循环 你得到的数据。快速返回的数据会因软件本身而存在缺陷。

Latanya Sweeney 博士是哈佛大学教授和大学数据主管 隐私实验室。在“在线广告投放中的歧视”一文（见图 3-1）中，她描述了她发现在谷歌上搜索她的名字会导致广告显示“Latanya Sweeney，被捕？” 尽管她是唯一已知的 Latanya Sweeney 并且从未被捕过。然而，当她在谷歌上搜索其他名字时，例如 “Kirsten Lindquist”，她得到了更多中性的广告，尽管 Kirsten Lindquist 已经被逮捕了 3 次。

图 3-1。谷歌搜索显示有关 Latanya Sweeney 教授（不存在的）逮捕记录的广告

作为一名计算机科学家，她系统地研究了这一点，并查看了 2,000 多个名字。她发现了一个明确的模式：历史上黑人名字收到的广告暗示此人有犯罪记录，而传统上白人名字的广告更中性。

这是偏见的一个例子。它可以对人们的生活产生重大影响——例如，如果求职者被谷歌搜索，他们可能看起来有犯罪记录，而实际上他们没有。

考虑这些问题的一个非常自然的反应是：“那又怎样？ 跟我有什么关系？我是数据科学家，而不是政治家。我不是我公司中决定我们做什么的高级管理人员之一。我只是想建立我能做的最具预测性的模型。”

这些都是非常合理的问题。但我们会试图让你相信答案是每个训练模型的人 绝对需要考虑他们的模型将如何被使用，并考虑如何最好地确保它们被尽可能积极地使用。有些事情你可以做。如果你不这样做，事情可能会变得非常糟糕。

一个特别可怕的例子，说明当技术人员 不惜一切代价关注技术是IBM和纳粹德国的故事。2001 年，一位瑞士法官裁定，“推断 IBM 的技术援助促进了纳粹在实施其危害人类罪中的任务，这些行为还涉及 IBM 机器的会计和分类，并在集中营中使用，这并非不合理。 。”

你看，IBM 为纳粹提供了大规模追踪犹太人和其他群体灭绝情况所需的数据表格产品。这是由公司高层推动的，向希特勒和他的领导团队进行营销。公司总裁托马斯·沃森亲自批准了 1939 年发布的特殊 IBM 字母排序机器，以帮助组织驱逐波兰犹太人。图 3-2为阿道夫·希特勒 （最左边）在 1937 年希特勒授予沃森特别的“为帝国服务”奖章之前不久，与 IBM 首席执行官 Tom Watson Sr.（左二）会面。

图 3-2。IBM CEO Tom Watson Sr. 与阿道夫·希特勒会面

但这不是一个孤立的事件——该组织的参与范围很广。IBM 及其子公司在集中营现场提供定期培训和维护：打印卡片、配置机器，并在它们经常坏掉时进行维修。IBM 在其穿孔卡系统上设置了每个人被杀的方式、他们被分配到哪个组以及通过庞大的大屠杀系统追踪他们所需的后勤信息的分类（见图 3-3）。IBM 对集中营中犹太人的代码是 8：大约 6,000,000 人被杀。它的罗马人代码是 12（他们被纳粹标记为“反社会者”，在Zigeunerlager中有超过 300,000 人被杀，或“吉普赛人营地”）。一般处决被编码为 4，毒气室中的死亡被编码为 6。

图 3-3。IBM 在集中营中使用的打孔卡

当然，参与的项目经理和工程技术人员也只是过着平凡的生活。照顾他们的家人，星期天去教堂，尽他们所能做他们的工作。遵命。营销人员只是尽其所能来实现他们的业务发展目标。作为埃德温·布莱克，IBM 和大屠杀（对话出版社）的作者观察到：“对于盲目的技术官僚来说，手段比目的更重要。对犹太人民的毁灭变得更加不重要，因为 IBM 技术成就的令人振奋的本质只有在面包生产线遍布全球的时候获得的巨大利润才更加突出。”

这也不仅仅是一种道德负担。有时，技术人员会直接为他们的行为付出代价。例如，第一个因大众汽车丑闻而入狱的人，其中这家汽车公司被发现在柴油排放测试中作弊，不是监督该项目的经理，也不是公司的高管。是其中一位工程师 James Liang，他刚刚做了他想做的事 被告知。

当然，这并不全是坏事——如果你参与的一个项目甚至对一个人产生了巨大的积极影响，这会让你感觉非常棒！

好的，所以希望我们已经说服你，你应该关心。但 你该怎么办？作为数据科学家，我们自然倾向于通过优化某些指标或其他指标来优化我们的模型。但优化该指标可能不会带来更好的结果。即使它确实有助于创造更好的结果，它几乎肯定不会是唯一重要的事情。考虑在研究人员或从业者开发模型或算法之间发生的一系列步骤，以及该工作用于做出决定的时间点。如果我们希望获得我们想要的结果，则需要将整个管道视为一个整体。

通常，从一端到另一端有一条很长的链条。如果您是一名研究人员，甚至可能不知道您的研究是否会被用于任何事情，或者您是否参与了数据收集，这在管道中甚至更早，则尤其如此。但是，没有人比您更适合将您工作的能力、限制和细节告知该链条中的每个人。尽管没有“灵丹妙药”可以确保您的工作以正确的方式使用，但通过参与流程并提出正确的问题，您至少可以确保正在考虑正确的问题。

有时，对被要求做某项工作的正确反应就是说“不”。然而，我们经常听到的回应是，“如果我不这样做，其他人就会这样做。” 但是请考虑一下：如果您被选中担任这项工作，那么您就是他们发现的最佳人选——因此，如果您不这样做，那么最佳人选就不会从事该项目。如果他们问的前五个人都说不，那就更好了！

在一个复杂的系统中，没有人很容易感到有责任感 为结果。虽然这是可以理解的，但它不会带来好的结果。在阿肯色州的早期例子中医疗保健系统中的一个错误导致脑瘫患者无法获得所需的护理，该算法的创建者指责政府官员，而政府官员则指责那些实施该软件的人。纽约大学教授Danah Boyd描述了这种现象：“官僚主义经常被用来转移或逃避责任……今天的算法系统正在扩展官僚主义。”

追索权如此必要的另一个原因是数据通常 包含错误。审计和纠错机制至关重要。加州执法人员维护的一个疑似帮派成员数据库被发现错误百出，其中42名婴儿不到1岁就被添加到数据库中（其中28名被标记为“承认为帮派”）成员”）。在这种情况下，没有适当的流程来纠正错误或在添加人员后将其删除。另一个例子是美国的信用报告系统：美国联邦贸易委员会 (FTC) 在 2012 年对信用报告进行的一项大规模研究发现，26% 的消费者在他们的文件中至少有一个错误，而 5% 的错误可能是毁灭性的。

然而，纠正此类错误的过程非常缓慢且不透明。当公共电台记者 Bobby Allyn发现他被错误地列为持有枪支罪名时，他“打了十几个电话，一个县法院书记员的手艺，六个星期才解决了这个问题。那是在我作为记者联系公司的通讯部门之后。”

作为机器学习从业者，我们并不总是认为了解我们的算法最终如何在实践中实施是我们的责任。但我们需要。

反馈回路

我们在第 1 章中解释了算法如何 可以与其环境交互以创建反馈循环，做出预测以加强在现实世界中采取的行动，从而使预测在同一方向上更加明显。作为一个例子，让我们再次考虑 YouTube 的推荐系统。几年前，谷歌团队谈到了他们是如何引入强化学习的（与深度学习密切相关，但您的损失函数代表一个动作发生后可能很长一段时间内的结果）以改进 YouTube 的推荐系统。他们描述了他们如何使用一种算法来提出建议，从而优化观看时间。

然而，人们往往会被有争议的内容所吸引。这意味着关于阴谋论之类的视频开始越来越多地被推荐系统推荐。而且，原来对阴谋论感兴趣的人，也是看很多网络视频的人！因此，他们开始越来越喜欢 YouTube。越来越多的阴谋论者在 YouTube 上观看视频，导致算法推荐越来越多的阴谋论和其他极端主义内容，这导致更多极端主义分子在 YouTube 上观看视频，更多观看 YouTube 的人发展极端主义观点，导致算法推荐更极端的内容。系统逐渐失控。

而这种现象并不包含在这种特定类型的内容中。2019 年 6 月，《纽约时报》在 YouTube 的推荐系统上发表了一篇题为 《在 YouTube 的数字游乐场，恋童癖者敞开大门》的文章。这篇文章从这个令人毛骨悚然的故事开始：

当她 10 岁的女儿和一位朋友上传了一段他们在后院游泳池玩耍的视频时，Christiane C. 没有想到任何事情……几天后……该视频获得了数千次观看。没过多久，它就上升到了 40 万……“我又看了一遍视频，被观看次数吓到了，”克里斯蒂安说。她有理由这样做。一组研究人员发现，YouTube 的自动推荐系统已经开始向观看其他青春期前、部分穿着的儿童视频的用户展示该视频。

就其本身而言，每个视频都可能是完全无辜的，例如，由孩子制作的家庭电影。任何暴露的框架都是转瞬即逝的，并且显得很偶然。但是，将它们组合在一起，它们的共同特征就变得明确无误。

YouTube 的推荐算法已经开始为恋童癖者挑选播放列表，挑选出恰好包含青春期前、衣着不全的儿童的无辜家庭视频。

谷歌没有人计划创建一个系统，将家庭视频变成恋童癖者的色情片。所以发生了什么事？

这里的部分问题是指标在推动 财务上重要的系统。如您所见，当一个算法有一个指标需要优化时，它会尽其所能来优化这个数字。这往往会导致各种边缘情况，与系统交互的人将搜索、查找和利用这些边缘情况和反馈循环以获得优势。

有迹象表明，这正是 2018年 YouTube 推荐系统所发生的事情。《卫报》刊登了一篇名为 “一位前 YouTube 内部人员如何调查其秘密算法”的文章，讲述了前 YouTube 工程师 Guillaume Chaslot，他创建了一个网站， 跟踪这些问题。在罗伯特·穆勒 (Robert Mueller) 的“关于俄罗斯干涉 2016 年总统选举的调查报告”发布之后，查斯洛特在图 3-5中发布了图表 。

图 3-5。穆勒报告的报道

今日俄罗斯对穆勒报告的报道是极端的 有多少频道推荐它的异常值。这表明俄罗斯国有媒体《今日俄罗斯》在玩 YouTube 推荐算法方面取得了成功的可能性。不幸的是，像这样的系统缺乏透明度使得我们很难发现我们正在讨论的各种问题。

我们对本书的一位审稿人 Aurélien Géron 领导了 YouTube 的视频分类团队从 2013 年到 2016 年（远在此处讨论的事件之前）。他指出，问题不仅仅是涉及人类的反馈循环。也可以有没有人的反馈循环！他告诉我们一个来自 YouTube 的例子：

对视频的主题进行分类的一个重要信号是它来自哪个频道。例如，上传到烹饪频道的视频很可能是烹饪视频。但是我们怎么知道一个频道的主题是什么？好吧……部分是通过查看其中包含的视频主题！你看到循环了吗？例如，许多视频都有说明，说明使用什么相机拍摄视频。因此，其中一些视频可能会被归类为有关“摄影”的视频。如果某个频道有这样一个错误分类的视频，它可能会被归类为“摄影”频道，这使得该频道上的未来视频更有可能被错误归类为“摄影”。这甚至可能导致类似病毒的分类失控！打破这种反馈循环的一种方法是对带有和不带有通道信号的视频进行分类。那么在对通道进行分类时，只能使用没有通道信号得到的类。这样，反馈回路就被打破了。

有一些人和组织试图解决这些问题的积极例子。Evan Estola，首席机器学习工程师 聚会，讨论了这个例子男性对科技聚会的兴趣高于女性。因此，将性别考虑在内可能会导致 Meetup 的算法向女性推荐更少的技术聚会，结果，更少的女性会发现并参加技术聚会，这可能导致算法向女性推荐更少的技术聚会，等等在一个自我强化的反馈循环中。因此，Evan 和他的团队为他们的推荐算法做出了不创建这样一个反馈循环的道德决定，明确地不在他们模型的那部分使用性别。令人鼓舞的是，一家公司不仅不假思索地优化了一个指标，而且考虑了它的影响。根据 Evan 的说法，“您需要决定在您的算法中不使用哪个功能……最优化的算法可能不是投入生产的最佳算法。”

虽然 Meetup 选择避免这样的结果，但 Facebook 提供了一个 允许失控的反馈循环疯狂运行的示例。与 YouTube 一样，它倾向于通过向对一种阴谋论感兴趣的用户介绍更多内容来激化他们。正如虚假信息泛滥的研究员 Renee DiResta所写：

在线讨论偏见往往很快就会变得相当混乱。这 “偏见”这个词有很多不同的意思。统计学家经常认为，当数据伦理学家谈论偏见时，他们正在谈论术语偏见的统计定义——但事实并非如此。他们当然不是在谈论作为模型参数的权重和偏差中出现的偏差！

他们谈论的是社会科学概念 偏见。在“理解机器学习的意外后果的框架”中，麻省理工学院的 Harini Suresh 和 John Guttag 描述了机器学习中的六种偏见，总结在 图 3-6中。

图 3-6。机器学习中的偏见可能来自多个来源（由 Harini Suresh 和 John V. Guttag 提供）

我们将讨论其中四种类型的偏见，它们是我们发现对我们自己的工作最有帮助的（有关其他类型的详细信息，请参阅论文）。

历史偏差

历史偏见源于人们有偏见，过程 有偏见，社会也有偏见。Suresh 和 Guttag 说：“历史偏差是数据生成过程第一步的基本结构性问题，即使在完美的采样和特征选择下也可能存在。”

例如，这里有一些美国历史上种族偏见的例子，来自《纽约时报》的文章 芝加哥大学的 Sendhil Mullainathan 的“种族偏见，即使我们有良好的意图” ：

• 当医生看到相同的文件时，他们不太可能向黑人患者推荐心导管术（一种有用的程序）。

• 在为二手车讨价还价时，黑人的初始价格要高出 700 美元，而得到的让步要小得多。

• 用黑人名字回应 Craigslist 上的公寓租赁广告比用白人名字得到的回应更少。

• 全白人陪审团对黑人被告定罪的可能性比白人被告高 16 个百分点，但是当陪审团只有一名黑人成员时，它以相同的比率定罪。

COMPAS 算法，广泛用于美国的量刑和保释决定 美国是一个重要算法的例子，当 ProPublica对其进行测试时，该算法在实践中表现出明显的种族偏见（图 3-7）。

图 3-7。COMPAS 算法的结果

任何涉及人类的数据集都可能存在这种偏见：医学 数据、销售数据、住房数据、政治数据等。因为潜在的偏见是如此普遍，所以数据集中的偏见非常普遍。种族偏见甚至出现在计算机视觉中，如图 3-8所示的 Google Photos 用户在 Twitter 上分享的自动分类照片示例所示。

图 3-8。这些标签之一是非常错误的……

 是的，这显示了您的想法：Google 相册将黑人用户与其朋友的照片分类为“大猩猩”！这一算法失误引起了媒体的广泛关注。“我们对发生这种情况感到震惊和真诚抱歉，”公司发言人说。“显然，自动图像标记还有很多工作要做，我们正在研究如何防止这些类型的错误在未来发生。”

不幸的是，当输入数据出现问题时，很难解决机器学习系统中的问题。正如《卫报》报道的那样，谷歌的第一次尝试并没有激发信心（图 3-9）。

图 3-9。谷歌对该问题的第一反应

 这类问题当然不仅限于谷歌。麻省理工学院的研究人员研究了最流行的在线计算机视觉 API，以了解它们的准确性。但他们不只是计算一个准确度数字——相反，他们查看了四个方面的准确度组，如图 3-10 所示。

图 3-10。各种面部识别系统的性别和种族错误率

 例如，IBM 的系统对深色女性的错误率为 34.7%，而对浅色男性的错误率为 0.3%——错误率超过 100 倍！有些人对这些实验的反应是错误的，他们声称差异仅仅是因为较深的皮肤更难被计算机识别。然而，发生的事情是，在这个结果造成负面宣传之后，所有有问题的公司都显着改进了他们的深色皮肤模型，以至于一年后，它们几乎和浅色皮肤一样好。所以这表明开发人员未能利用数据集 包含足够的深色面孔，或者用深色面孔测试他们的产品。

麻省理工学院的一位研究人员乔伊·布拉姆维尼警告说：“我们已经进入 自动化时代过度自信但准备不足。如果我们不能制造符合道德和包容性的人工智能，我们就有可能在机器中立的幌子下失去在公民权利和性别平等方面取得的成果。”

部分问题似乎是构成的系统性失衡 用于训练模型的流行数据集。Shreya Shankar 等人的论文 “没有代表就没有分类：评估发展中国家开放数据集中的地理多样性问题”的摘要。声明，“我们分析了两个大型的、公开可用的图像数据集来评估地理多样性，并发现这些数据集似乎表现出可观察到的以美国为中心和以欧洲为中心的代表性偏差。此外，我们分析了在这些数据集上训练的分类器，以评估这些训练分布的影响，并发现不同地区图像的相对性能存在很大差异。” 图 3-11显示了论文中的一张图表，显示了当时（并且仍然是，正如本书正在编写的那样）训练模型的两个最重要的图像数据集的地理构成。

图 3-11。流行训练集中的图像来源

绝大多数图片来自美国和其他国家 西方国家，导致在 ImageNet 上训练的模型在来自其他国家和文化的场景中表现更差。例如，研究发现，此类模型在识别来自低收入国家的家居用品（如肥皂、香料、沙发或床）方面表现较差。图 3-12显示了论文“Does Object Recognition Work for Everyone?”中的一张图片。特伦斯·德弗里斯等人。Facebook AI Research 的研究人员说明了这一点。

图 3-12。对象检测在行动

在这个例子中，我们可以看到收入较低的肥皂示例距离准确还有很长的路要走，每个商业图像识别服务都将“食物”预测为最有可能的答案！

此外，正如我们稍后将讨论的那样，绝大多数人工智能研究人员和开发人员都是年轻的白人男性。我们看到的大多数项目都使用直接产品开发组的朋友和家人进行大多数用户测试。鉴于此，我们刚刚讨论的这类问题应该不足为奇。

在用作自然数据的文本中也发现了类似的历史偏差。 语言处理模型。这以多种方式出现在下游机器学习任务中。例如，据 广泛报道，直到去年，谷歌翻译在将土耳其中性代词“o”翻译成英语时表现出系统性的偏见：当应用于通常与男性相关的工作时，它使用“他”，而当应用于通常与女性相关的工作时，则使用“she”（图 3-13）。

图 3-13。文本数据集中的性别偏见

我们在在线广告中也看到了这种偏见。例如，一个 Muhammad Ali 等人于 2019 年进行的研究。发现即使投放广告的人没有故意歧视，Facebook 也会根据种族和性别向非常不同的受众展示广告。具有相同文字但描绘白人或黑人家庭的住房广告被展示给不同种族的观众。

虚假信息的历史可以追溯到数百甚至什至 几千年来。它不一定是要让人相信一些虚假的东西，而是经常用来播下不和谐和不确定性，让人们放弃追求真理。收到相互冲突的帐户可能会导致人们认为他们永远不知道该信任谁或信任什么。

有些人认为虚假信息主要是关于虚假信息或 假新闻，但实际上，虚假信息通常包含真相的种子，或者断章取义的半真半假。拉迪斯拉夫·比特曼 苏联的一名情报官员，后来叛逃到美国，并在 1970 年代和 1980 年代写了一些关于虚假信息在苏联宣传行动中的作用的书籍。在克格勃和苏联的虚假信息（佩加蒙）中，他写道：“大多数竞选活动都是精心设计的事实、半真半假、夸张和故意谎言的混合体。”

近年来，在美国，这种情况已近在咫尺，联邦调查局详细介绍了与俄罗斯有关的大规模虚假信息宣传活动。 2016 年大选。了解此次活动中使用的虚假信息非常具有教育意义。例如，联邦调查局发现，俄罗斯的虚假宣传活动经常组织两个独立的假“草根”抗议活动，针对一个问题的每一方，并让他们同时抗议！《休斯顿纪事报》报道了这些奇怪的事件之一（图 3-15）：

一个自称为“得克萨斯州之心”的组织在社交媒体上组织了它——他们说，这是一场反对得克萨斯州“伊斯兰化”的抗议活动。在特拉维斯街的一侧，我发现了大约 10 名抗议者。在另一边，我发现了大约 50 名反抗议者。但我找不到集会组织者。没有“德克萨斯之心”。我觉得这很奇怪，并在文章中提到：什么样的团体在自己的活动中没有出现？现在我知道为什么了。显然，集会的组织者当时在俄罗斯圣彼得堡。“得克萨斯州之心”是特别检察官罗伯特·穆勒（Robert Mueller）最近对俄罗斯人试图篡改美国总统大选的起诉书中引用的互联网巨魔组织之一。

图 3-15。德克萨斯州之心小组组织的活动

虚假信息通常涉及不真实行为的协调运动。例如，欺诈性帐户可能会试图让很多人看起来都持有某种特定观点。虽然我们大多数人都喜欢认为自己是独立思想的，但实际上，我们进化为受到我们内部群体中其他人的影响，而与我们外部群体中的人相反。在线讨论会影响我们的观点，或改变我们认为可接受的观点的范围。人类是社会性动物，作为社会性动物，我们深受周围人的影响。越来越多的激进化发生在在线环境中；因此影响力来自在线论坛和社交网络的虚拟空间中的人们。

通过自动生成文本的虚假信息尤其重要 问题，由于深度学习提供的能力大大提高。当我们在第 10 章深入研究创建语言模型时，我们将深入讨论这个问题。

一种建议的方法是开发某种形式的数字签名，以 以无缝的方式实施它，并创建我们应该只信任经过验证的内容的规范。艾伦人工智能研究所所长 Oren Etzioni 在一篇题为 “我们将如何防止基于人工智能的伪造？”的文章中提出了这样的建议。：“人工智能有望使高保真伪造变得廉价和自动化，从而给民主、安全和社会带来潜在的灾难性后果。人工智能伪造的幽灵意味着我们需要采取行动，将数字签名作为数字内容认证的一种手段。”

在考虑工作的道德影响时，很容易错过重要问题。有很大帮助的一件事就是提出正确的问题。Rachel Thomas 建议考虑 在整个数据项目的开发过程中存在以下问题：

• 我们甚至应该这样做吗？

• 数据中有什么偏差？

• 代码和数据可以被审计吗？

• 不同子组的错误率是多少？

• 一个简单的基于规则的替代方案的准确性是多少？

• 有哪些流程来处理上诉或错误？

• 构建它的团队有多多样化？

这些问题可能能够帮助您识别突出的问题，以及更容易理解和控制的可能替代方案。除了提出正确的问题外，考虑实施的实践和流程也很重要。

在这个阶段要考虑的一件事是您正在收集什么数据，以及 存储。数据通常最终被用于不同目的的原始意图。例如，IBM 开始向纳粹销售 远在大屠杀之前的德国，包括帮助阿道夫·希特勒在 1933 年进行的德国人口普查，该人口普查有效地识别出比以前在德国承认的更多的犹太人。同样，在二战期间，美国人口普查数据被用来围捕日裔美国人（他们是美国公民）以进行拘禁。重要的是要认识到收集的数据和图像如何在以后被武器化。哥伦比亚大学教授Tim Wu 写道： “你必须假设 Facebook 或 Android 保留的任何个人数据都是世界各国政府试图获取或窃贼试图窃取的数据。”

马库拉中心发布了 用于工程/设计实践的道德工具包，包括在贵公司实施的具体实践，包括定期扫描以主动搜索道德风险（以类似于网络安全渗透测试的方式），扩大道德圈以包括各种观点利益相关者，并考虑到可怕的人（不良行为者如何滥用、窃取、曲解、破解、破坏或武器化你正在构建的东西？）。

根据Element AI 的一项研究，目前，只有不到 12% 的 AI 研究人员是女性。在种族和年龄方面，统计数据同样可怕。当团队中的每个人都有相似的背景时，他们 可能在道德风险方面存在类似的盲点。哈佛商业评论(HBR) 发表了多项研究，展示了多元化团队的诸多好处 ，包括：

• “多样性如何推动创新”

• “当团队在认知上更加多样化时，他们可以更快地解决问题”

• “为什么多元化的团队更聪明”

• “捍卫你的研究：是什么让团队更聪明？更多女性”

多样性可以导致更早发现问题，并考虑更广泛的解决方案。例如，Tracy Chou 是 Quora 的早期工程师。她 写下了她的经历，描述了她如何在内部提倡添加一个可以阻止巨魔和其他不良行为者的功能。Chou 回忆道，“我很想开发这个功能，因为我个人觉得在这个网站上受到了反感和虐待（性别并不是一个不太可能的原因）......但如果我没有这种个人观点，可能Quora 团队在其存在的早期就不会优先考虑构建阻止按钮。” 骚扰经常将边缘化群体的人赶出在线平台，因此这一功能对于维持 Quora 社区的健康非常重要。

要了解的一个关键方面是，女性离开科技行业的时间是 是男性的两倍多。根据哈佛商业评论，41% 的女性在科技行业工作，而男性则为 17%。对 200 多本书籍、白皮书和文章的分析发现，他们离开的原因是“他们受到了不公平的对待；薪水过低，比他们的男同事更不可能被快速跟踪，并且无法晋升。”

计算机科学家专业协会 ACM 举办了一个名为“公平会议”的数据伦理会议， 问责制和透明度 (ACM FAccT)，过去使用首字母缩写词 FAT，但现在使用不太令人反感的 FAccT。微软还有一个专注于 AI 中的公平、问责、透明度和道德 (FATE) 的小组。在本节中，我们将使用首字母缩略词 FAccT 来指代公平、问责和透明的概念。

FAccT 是一些人用来考虑道德的镜头 问题。一个有用的资源是免费的在线书籍 公平和机器学习： Solon Barocas 等人的限制和机会，它“给出了机器学习的观点，将公平视为核心问题，而不是事后的想法。” 然而，它也警告说，它“故意缩小范围......机器学习伦理的 狭隘框架可能会吸引技术人员和企业作为一种专注于技术干预同时回避有关权力和问责制的更深层次问题的方式。我们告诫不要这种诱惑。” 与其提供关于道德的 FAccT 方法的概述（最好在诸如那本书之类的书中完成），我们这里的重点将放在这种狭窄框架的局限性上。

考虑道德镜头是否完整的一个好方法是尝试提出一个例子，其中镜头和我们自己的道德直觉给出不同的结果。奥斯凯斯等人。以图形的方式探索了这一点 在他们的论文“覆盖建议：分析和改进将老年人变成高营养泥浆的算法系统”中。该论文的摘要说：

要了解哪些因素可以促使公司采取具体行动，请考虑 以下两个例子说明了 Facebook 的行为方式。2018 年，联合国的一项调查发现，Facebook 在对缅甸少数民族罗兴亚人的持续种族灭绝中发挥了“决定性作用”，联合国秘书长安东尼奥·古特雷斯将其描述为“即使不是最受歧视的人之一”。世界。” 当地活动人士一直在警告 Facebook 高管，他们的平台早在 2013 年就被用来传播仇恨言论和煽动暴力。2015 年，他们被警告说 Facebook 在缅甸可以扮演与卢旺达种族灭绝期间无线电广播相同的角色（有一百万人被杀）。然而，到 2015 年底，Facebook 只雇佣了四名会说缅甸语的承包商。正如一位知情人士所说，“这不是 20/20 后见之明。这个问题的规模很大，而且已经很明显了。” 扎克伯格在 国会听证会聘请“数十人”解决缅甸的种族灭绝事件（2018 年，种族灭绝开始多年后，包括 2017 年 8 月后若开邦北部至少 288 个村庄被火烧毁）。

这与 Facebook 迅速形成鲜明对比 在德国雇佣 1,200 名员工，以避免根据德国新的反对仇恨言论的法律处以昂贵的罚款（高达 5000 万欧元）。显然，在这种情况下，Facebook 对经济处罚威胁的反应比对系统性摧毁少数族裔的反应更大。

在一篇关于隐私问题的文章中，Maciej Ceglowski 与环保运动：

这个监管项目在第一届就非常成功 我们冒着忘记之前生活的风险的世界。今天在雅加达和德里造成数千人死亡的那种令人窒息的烟雾 曾经是伦敦的象征。俄亥俄州的凯霍加河曾经 可靠地着火。在一个不可预见的后果的特别可怕的例子中，添加到汽油中的四乙基铅使 全球暴力犯罪率上升了 50 年。这些危害都无法通过告诉人们用钱包投票、仔细审查他们提供业务的每家公司的环境政策或停止使用相关技术来解决。解决这些问题需要跨司法管辖区进行协调，有时甚至是高度技术性的监管。在某些情况下，例如 禁止消耗臭氧层的商业制冷剂，该法规需要全世界达成共识。我们正处于需要对隐私法进行类似转变的地步。

权利和政策

清洁的空气和清洁的饮用水是近乎公共产品 不可能通过单独的市场决策来保护，而是需要协调的监管行动。同样，滥用技术的意外后果造成的许多危害涉及公共产品，例如污染的信息环境或恶化的环境隐私。隐私常常被视为一项个人权利，但对广泛的监视有社会影响（即使少数人可以选择退出，情况仍然如此）。

我们在科技领域看到的许多问题都是人权问题，例如当一个有偏见的算法建议黑人被告有更长的刑期时，当特定的招聘广告只向年轻人展示时，或者当警察使用面部识别来识别抗议者时。解决人权问题的适当途径通常是通过法律。

我们既需要监管和法律变革，也需要个人的道德行为。个人行为改变无法解决错位的利润激励、外部性（公司获得巨额利润的同时将成本和对更广泛社会的危害）或系统性失败。然而，法律永远不会涵盖所有边缘情况，重要的是个人软件开发人员和数据科学家有能力在实践中做出符合道德的决定。

汽车：历史先例

我们面临的问题很复杂，没有简单的解决方案。这可能令人沮丧，但我们在考虑人们在整个历史上解决的其他重大挑战时找到了希望。一个例子是提高汽车安全性的运动，作为案例研究进行了介绍 在Timnit Gebru 等人的“数据集数据表”中。在设计播客中 99% Invisible。早期的汽车没有安全带，仪表板上的金属旋钮在碰撞过程中可能会卡在人们的头骨中，普通的平板玻璃窗会以危险的方式破碎，并且不可折叠的转向柱会刺伤驾驶员。然而，汽车公司甚至拒绝将安全性作为他们可以帮助解决的问题进行讨论，人们普遍认为汽车就是它们的本来面目，而且是使用它们的人造成了问题。

消费者安全活动家和倡导者花了几十年的时间来改变全国性的对话，以考虑汽车公司可能有一些应该通过监管来解决的责任。发明可折叠转向柱时，由于没有经济上的激励，因此几年都没有实施。大型汽车公司通用汽车公司聘请私人侦探试图挖掘消费者安全倡导者拉尔夫纳德的污垢。对安全带、碰撞试验假人和可折叠转向柱的要求是重大胜利。直到2011年才要求车企开工 使用代表普通女性的碰撞测试假人，而不仅仅是普通男性的身体；在此之前，与男性相比，女性在同等冲击力的车祸中受伤的可能性要高出 40%。这是偏见、政策和技术如何产生重要后果的生动例子。