通常，塑造我们生活的算法看不见，但是你时不时地注意到它们。

当您在度假时，您的信用卡可能会被拒绝，因为系统会认为该行为似乎存在疑问。您可能会为您的堂兄购买一件古怪的礼物，然后在您上网的任何地方都会弹出该产品的广告。在教育方面，学校和大学甚至使用大数据来促使学生保持正轨。

当我们在我们周围创建这个数据层时，系统失败的机会越来越多，或者设置的方式一直使一个群体不利于另一个群体。

本周的播客嘉宾弗吉尼亚Eubanks担心这种系统性不公平的可能性。她是纽约州立大学奥尔巴尼分校的政治学副教授，长期以来一直是贫困社区的倡导者，也是技术专家。她是“ 自动化不平等：高科技工具如何描述，警察和惩罚穷人”一书的作者，纽约时报称之为“ 铆接 ”，并指出这对于一本关于政策和技术的书来说是一个不同寻常的成就。

EdSurge本月与Eubanks联系，向她询问她对技术意外后果的探索，以及教育中人们在利用大数据系统时应该考虑的因素。

在您最喜爱的播客应用(如iTunes或Stitcher)上订阅EdSurge On Air播客。或者阅读对话中的精彩内容(为了清晰起见，已经过编辑和精简)。

当谈到今天的科技体验时，你的书呈现出分裂的世界。对于富裕的人来说，由于社交媒体和算法，这是一个方便和轻松的时代。但是对于那些贫困或处境不利的人来说，正如你在书中描述的那样，一些相同的数字系统可能看起来非常不同。您能举一个体验这些数字系统缺点的人的例子吗?

Eubanks：我认为，当我们谈论技术及其如何影响我们的文化和政治时，我们往往会抽象地谈论它，好像它以同样的方式影响每个人，或者好像大多数影响是将来某个时候会发生。对我来说，我的技术对话总是令人沮丧，因为我已经做了15年的经济公正和福利权利工作。我知道，在我组织和工作的社区中，这些影响现在正以非常重要的方式被作为这些工具的目标的家庭感受到，因此从我这里开始对我来说非常重要。我没有在那里结束，但我从那里开始。

多年前，当我在做社区技术中心工作时，有一位年轻的妈妈在公共场合工作。她和我曾在我家乡纽约特洛伊的YWCA住宅区设计技术实验室。有一天，我们坐在实验室里，拍摄关于技术的微风，我询问了她的EBT卡或电子福利转账卡 - 这是一张类似借记卡，可以获得公益援助。她在书中写道，多萝西艾伦。我说，“多萝西，人们告诉我这更方便，没有比抽出实际纸质食品券更少的耻辱。你怎么看?” 她说，“所有这一切都是真的，但与此同时，

我的脸上一定有这种天真震撼的表情，因为她非常尖锐地嘲笑我几分钟。然后，她变得更安静，更有反思，她说，“你知道吗，弗吉尼亚，你们所有人” - 意味着专业的中产阶级 - “你们都应该注意发生在我们身上的事情，因为他们是为了你接下来。“

那是18年前的事了。我认为这既是一种非常慷慨的洞察力，也是一种真正具有先见之明。

你能描述那些没有读过这本书的人们你深入探讨的三个案例研究吗?

本书的总体思路是，我们开始将这些新的数据驱动数字技术纳入我们的社会救助系统，具有巨大的潜力。他们可以降低进入门槛，他们可以整合计划。他们可以加速结果。但由于我们了解美国贫困的方式以及我们真正令人难以置信的惩罚性社会救助制度，我们实际所做的是建立一个“数字贫民窟”，这是一种由决策构成的无形机构。制定算法，自动化资格流程和统计模型，涵盖各种社会援助计划。

我在书中谈到的第一个案例研究是为了使2006年印第安纳州福利体系的所有资格流程自动化和私有化。

我写的第二个系统称为“协调进入系统”。这是在全国和世界各地广泛使用的东西，但我特别在洛杉矶县写这篇文章，洛杉矶县是无家可归者率最高的国家之一，也是全国无家可归者率最高的国家之一。洛杉矶县有58,000名无人居住的人，其中75%完全没有受到控制。我在洛杉矶谈论的系统是支持者称无家可归者服务的Match.com，并且这个想法基本上是对洛杉矶县所有无人居住的人进行排名，因为他们容易受到无家可归者死亡的一些最严重后果的影响，精神疾病和灾难性的健康影响 - 最适合的住房资源，无论是'

第三种情况是所谓的阿勒格尼家庭筛选工具，这是是应该预测哪些儿童可能是在阿勒格尼县，县城里匹兹堡是宾夕法尼亚州的虐待或忽视在未来的受害者的统计模型。

您能否举例说明这些系统如何对人们造成压力或伤害?

在印第安纳州，当时的州长米奇·丹尼尔斯(Mitch Daniels)于2006年签署了一份价值13.4亿美元的合同，其中包括IBM和ACS等高科技公司联盟，以实现其所有福利资格流程的自动化。在实践中，这意味着将约1,500名公共前线案件工作者从当地县办事处转移到这些区域化和私有化的呼叫中心。实际情况是，这些案件工作者不再对一组家庭做出响应，而是在新的呼叫中心，他们回应了新的工作流程管理系统中的一系列任务。

从个案工作者的角度来看，从始至终都很难保持对案件的关注。在这个实验的前三年，大约有一百万个申请被拒绝。这比实验前三年增加了54%，并且大多数人都因为这种全部原因而被拒绝：未能合作确定资格。

实际上，只是在某个地方犯了一个错误。要么申请人忘记签署50页申请的第36页，要么呼叫中心工作人员已经向他们提供了关于他们需要提供什么的错误信息。它真正做的是移动问责制，并将证明资格的负担从州和地方案件工作者转移到印第安纳州一些最脆弱人群的肩上，它对那里的许多人产生了非常非常痛苦和可怕的影响。 。

我讲的是Omega Young的故事，她是一名住在印第安纳州埃文斯维尔的中年非洲裔美国女性，当她错过与呼叫中心的电话预约重新认证时，她被拒绝了医疗补助，因为她在医院里患有终端例如，癌症。这是我在书中讲述的一种故事。真的，这不是我感兴趣的意图。这是我感兴趣的影响。

你没有关注你书中的任何教育案例研究，但有哪些方法可以使这些相同的趋势发挥出来或将来可以在教育中发挥作用?

最近在乔治亚州立大学发生了最好的情况。我的理解是，佐治亚州在准时保留和毕业学生方面面临着一些真正的困难。这位新任总裁进行了大量讨论，使用预测分析来识别可能早期挣扎的学生，并给予他们更好的建议支持，以便他们能够保持正常运转并按时毕业。很多人都把这个案子告诉了我，比如，“哦，但看看这个。” 事实上，我实际上对它进行了一些研究，而我的理解是，我们在故事中占据了主导地位。

这被称为“预测分析成功”的故事，事实上，这个案例真正深刻的一点是，在他们开始使用预测分析的同时，他们从做出1,000个建议预约每年每年做52,000次咨询预约。他们聘请了43名新顾问。

其中一件非常有趣的事情是，这不是我们听到的故事。对我来说，这个故事的主角是“充足的资源解决实际问题”。

所以你说在这个例子中关注技术的危险在于它表明你需要做的就是建立一个数字工具，而不是雇佣额外的40名辅导员?

究竟。那不是很好吗，对吗?如果我们能够建立解决我们最深刻的社会危机的工具，那不是很好吗?

但我认为这是很多人的希望。

这是希望。我很抱歉让这种希望失望，但我发现，如果我们不解决这些问题的根本问题，我们就会通过我们的工具来重现它们。我们不只是重现它们。既然我们正在研究这些密集联网，速度非常快的工具，那么我们也有可能大大放大这些问题。

我们在美国讲述这样一个故事，即贫困只是一小部分可能是病态的人所发生的事情，而现实中我们51%的人在成年后的某个时刻会低于贫困线。在20至64岁之间的某个时刻，51%的人将处于贫困线以下。这是一个重大问题。这不是一个问题，你可以通过更好的道德诊断和分类来解决谁可以获得他们的基本人权。这是一个问题，你通过在每个人下建立通用楼层来解决。

有趣的是，你将此视为一个社会问题，一个几乎是叙事问题，而不是一个技术问题。你提到了一些你称之为希波克拉底誓言的东西，你正在为处理这类问题的数据科学家，工程师和管理员提出建议。这样的誓言的基本原因是什么?

对我来说，希波克拉底誓言归结为两个非常基本的肠道检查问题。第一个问题是：该工具是否会增加穷人和劳动人民的尊严和自决权?第二个是：如果该工具针对的是除了穷人和劳动人民以外的任何人，它会被容忍吗?

这对我来说似乎是基本的民主问题。对我来说，那些问题是，如果你不能回答“是的”，你根本就不应该这样做 - 那就是你在历史的错误方面。

您如何建议让人们重新思考他们如何看待贫困或通过政府计划提供援助，无论是教育还是食品援助?

我实际上是在写技术来强迫人们去思考贫困。因此，对于这些故事来说，这是一个迷人的后门，人们可能不会从架子上读起来，因为他们不想处理美国经济和种族不平等的现实。这是一种真正邀请人们通过不同的门进入对话的方式，这对我来说真的很令人兴奋。我相信它在某种程度上起作用了。

但我要说的第二件事是，具有讽刺意味的是，对坏数据的治疗可能会说出更好的故事。数据深受我们告诉自己世界如何运作的故事的影响 - 因为这会影响我们收集[数据]的方式，我们收集数据的方式，以及我们如何组织数据。这些都是这些工具深入社交编程的内容。

我深信，讲述更好的故事，我们自己的故事，关于我们与经济不平等的斗争，可以真正改变我们对这些社会项目的看法 - 以及我们如何思考我们为这些社会项目服务所建立的技术。