亚马逊的人工智能专家本月早些时候废弃了新的机器学习招聘引擎。 为什么？ 事实证明，其背后的人工智能存在性别歧视。 当我们竞相生产更好的人工智能时，这意味着什么？我们如何理解机器学习我们自身最糟糕特征的风险？
经过过去十年有关求职者的数据的训练，亚马逊模型开始惩罚简历其中包括“女性”一词。 这一事件让人想起另一个关于人工智能偏见的实验，即微软的“Tay”项目。从网上拉来的在该机器人从用户那里了解到种族歧视后，它在 GroupMe 和 Kik 上与之聊天。 然而，在亚马逊的案例中，流氓用户并不是罪魁祸首。 人工智能正在从全球最大的科技公司的历史数据中学习。
不喜欢女性或有色人种的人工智能听起来像是一个直接来自于模糊地带插曲。 但可悲的是，这就是现实。
我们是如何陷入这种境地的？ 是否有可能建立一个不会反映我们社会系统有意或无意地内置的根深蒂固的偏见的人工智能？ 要回答第二个问题，解决第一个问题至关重要。
人工智能性别歧视是如何发生的
好吧，首先要指出的是，性别歧视或种族主义人工智能并不是凭空出现的。 相反，它反映了整个社会，特别是科技行业已经根深蒂固的偏见。
不相信我们关于科技领域的性别歧视吗？ 今年早些时候的一项研究发现，美国 58 个主要城市中有 57 个城市科技领域女性的薪酬低于男性。 去年，两位女性科技联合创始人在工作中展示了科技性别歧视，证明她们一旦发明了一位虚构的男性联合创始人。
只要科技公司继续忽视性别歧视，他们就会继续维持优先考虑男性申请人并提拔男性员工的制度。
性别歧视人工智能始于一个盲目的行业……
科技界最喜欢快速增长。 但今年，它终于开始接受其文化所能产生的影响，责任感终于生根发芽。
很少有人比 Reddit 前产品负责人丹·麦科马斯 (Dan McComas) 更能概括这一点。最近《纽约杂志》的采访（标题为“我从根本上相信我在 Reddit 的时间让世界变得更糟”）包括以下见解：
“激励结构就是不惜一切代价实现增长。 在我参加过的任何董事会会议上，从未有过关于用户、关于正在发生的不好的事情、关于潜在危险、关于可能影响潜在危险的决策的对话。 从来没有人谈论过这些事情。”
……机器学习使它们得以延续
正是这种态度是有偏见的人工智能的核心，它同样明显地使系统永久存在，尽管更加机械化。 作为林·克拉森，公有云战略总监云索诺，指出，机器学习的过程是问题所在。
“目前，人工智能最常见的应用是向机器提供大量数据并教它识别模式。 因此，结果与用于训练算法的数据一样好，”她告诉我。
“人工智能领域几乎所有重要的商业活动都发生在机器学习领域，”Ben 解释道。 “正是机器学习推动了阿尔法围棋正是机器学习推动了我们在自然语言处理、计算机视觉和许多推荐引擎方面取得的飞跃。”
机器学习首先提供具有核心数据集的模型。 该模型在产生自己的输出之前对此进行训练。 然后再现核心数据中的任何历史问题。 翻译？ 性别歧视数据变成性别歧视输出。
“这与水彩画没什么不同，画笔必须干净，否则会污染颜色，”克拉森说。 克拉森说，在现代社会，性别歧视无处不在，无论是在“招聘、贷款申请还是库存照片”中。 或者甚至在大型科技会议上空荡荡的女洗手间里，就像 Classon 那样已向 Tech.Co 指出前。
如何对抗人工智能偏见
我们如何解决人工智能偏见这样的问题？ 克拉森将其归结为一个关键的指导原则：认真和集体的警惕。 首先要确保人工智能开发背后的社区有能力发现问题。 这让我们回到了核心问题，即确保多元化的开发者社区就位，以便更快地发现问题并更快地解决问题。
实际上，Classon还有进一步的建议：
提高透明度
目前，机器学习算法的功能就像黑匣子：数据进入，经过训练的模型出来。
Classon 表示：“DARPA 已经认识到（这会让用户不知道系统如何做出任何决定），并且正在研究可解释的人工智能，以便未来的人工智能将能够解释每个决定背后的基本原理。”
换句话说，人工智能本身应该需要解释它的决定，就它是如何做到这一点展开对话。
例行审核
“审计方法可以帮助减轻固有和无意识偏见的影响。 机器学习和人工智能社区有义务为更大的数据科学做出贡献。”Classon 说道，并给我指出了一个笔源工具偏差测试那已经存在了。
这不仅仅是一个技术问题：创新的人工智能公司有责任审核他们的工作并制定可以改善整个行业的标准。 一个例子是微软的多学科命运团体。 该缩写词代表“公平、问责、透明度和道德”，它正在研究道德人工智能如何运作。
反馈循环
建立审计和透明度是一个步骤，但我们需要继续采取越来越多的步骤来减少可能永远无法完全解决的问题。
“确保模型公平的最大方法是要求大量用户提供来自不同背景和观点的反馈，”帕梅拉·威克沙姆，高级全球合作伙伴解决方案经理Docusign + SpringCM， 告诉我。 “不幸的是，它永远不会完美，因为始终需要用户输入和决策。 所有模型都需要一个持续的反馈循环，因此，如果发现性别歧视或偏见数据普遍存在，则可以重新训练模型。”
追踪微妙之处
所以，找到问题，就能解决问题，对吗？ 没那么快。
让我们回到最近的人工智能偏见的例子。 亚马逊可能意识到了潜在的性别歧视问题，但仍然无法纠正它。
“亚马逊似乎积极尝试通过删除识别女性的特征来解决数据集中的偏见。 因此，从理论上讲，结果将是性别中立的，并选择最好的候选人，”本说。 “然而，机器学习模型可以关注微妙的差异，最终发生的情况是，该模型基本上找到了其他更微妙的方法来识别女性，并在输出中返回了偏见。”
本指出，即使是“高度可靠的算法”也可能会得出错误的答案。 想象一个模型在审查 100 万条记录时准确率达到 99%。 它会得到 10,000 个不正确的结果，并且不清楚这些结果是哪些。
解决偏差的一种方法是调整模型的目标而不是数据。本说，数据科学家和平台供应商正在积极努力以毒攻毒。 来自一家主要机器学习供应商的演示Gartner ITXPO本月早些时候推出了一个模型，旨在监控其他机器学习模型，识别它们的偏见。
“有点讽刺的是，”Ben 说，“该平台使用自己的机器学习来为有偏见的机器学习模型做出改变。 当我们准确地代表当前的社会和历史时，像这个平台这样的工具最终将帮助我们解决数据中出现的偏见。 这里的问题很困难，但很容易解决。”
人工智能的下一步在哪里？
底线是什么？ 人工智能对我们偏见的反映是可以解决的，但只能通过一个强调反馈、审计、事实核查和透明度的缓慢过程。
这与社会其他群体必须解决的偏见没有什么不同。
