内容提要：算法自动化决策为人们带来方便的同时，也可能因其决策过程的不透明和信息不对称而对某些群体造成歧视。实践中，算法歧视主要表现为偏见代理的算法歧视、特征选择的算法歧视和大数据杀熟三种基本形态。为了消除算法歧视给社会带来的影响，各国政府采取了一系列的规制措施。从规制的空间维度来看，这些措施包括原则性规制和特定性规制方式；从规制的时间维度来看，包括事后性规制和预防性规制；从规制的主体角度来看，包括自律性规制和他律性规制方式。在司法审查层面，不同待遇审查和差异性影响审查是两种基本模式。强调平衡“数字鸿沟”，抑制算法权力，并在此基础上，确保国家权力的运用能够促进科学技术的发展与进步，是大数据时代算法歧视的法律规制与司法审查的基本共识。

关 键 词：算法歧视/法律规制/司法审查/

近年来，随着计算机和信息技术的发展，大数据挖掘正在深刻地改变人类的生活。大量的数据流与日益提升的算法分析和技术能力相结合，使人们能够利用基于机器学习的算法来解决复杂的问题。①这种算法决策在招聘、警务、教育、信贷、刑事司法、股票交易等领域得到广泛运用。例如，教育部门使用算法来决定是否对教师进行续聘。②学校往往通过算法手段来决定学生是否符合录取条件。法官也会利用算法来对刑满释放人员重新犯罪的可能性进行评估。③这在一定程度上能够克服人类决策的主观性，但是它也带来了更为复杂的、隐蔽的新型歧视。

学者们和政府愈来愈意识到算法歧视的广泛存在，并认为这些新型歧视能引发一系列的社会问题、伦理问题和法律问题。巴罗卡斯(Solon Barocas)和塞布斯特(Andrew D.Selbst)就认为，算法自动化决策可能给某些群体带来歧视性的不利结果。2014年，白宫发布了一份题为《大数据：抓住机遇，保护价值》(Podesta et al.，2014)的报告。该报告认为，受数据来源的特定性和算法设计者主观意图的影响，算法自动化决策往往会对申请者的工作、教育或信贷构成隐性偏见。这种结果可以自我强化，从而系统性地减少个人获得信贷、就业和教育的机会，这会使他们的处境恶化并在未来的申请中处于不利地位。④因此，美国联邦政府及各州都把存在实质性歧视影响的算法纳入法律调整的范围，并对歧视性算法进行司法审查。

就既有的研究而言，学者们主要是从具体领域来对算法歧视问题进行研究的，并且把研究重点放在证明算法在该领域是否存在歧视这一问题上。例如，ProPublica公司通过量刑的累犯模型证明法院把犯罪风险评估算法作为量刑指南，存在系统性歧视的问题。⑤另一方面，学者们也重点关注了使用算法的合宪性问题。例如布鲁纳(Peggy Bruner)就重点考察了威斯康星州诉卢米斯案(Wisconsin v.Loomis)中算法使用是否合乎宪法的基本要求。⑥从总体上讲，这些研究都是从具体个案出发进行的深入研究。但是，它们并没有归纳总结算法歧视的基本类型，也没有对算法歧视的法律规制方式和司法审查问题进行系统的梳理和研究。因此，本文将对这些问题进行研究。为了分析的便利，本文将主要借助于美国的相关法律实践来加以展开。

 一、算法歧视的基本类型

尽管法学界对于歧视没有统一的界定，但是，从社会心理学上讲，歧视是不同利益群体间发生的一种不平等的情感反应和行为。在传统的物理社会，歧视比较容易被辨识，而在大数据时代，算法歧视具有较强的隐蔽性，有时甚至是无意识的。在大数据挖掘和运用过程中，数据的挖掘方或算法的决策者往往会出现以下三种典型的隐蔽歧视。

(一)偏见代理的算法歧视

偏见代理的算法歧视，又称为“关联歧视”。在这类歧视中，算法决策者虽然使用了客观中立的基础数据，但这些合法的客观中立的数据组合在一起产生了歧视性的后果。换言之，

决策者并不一定具有产生这种歧视影响的主观意图。例如在预测警务算法中，过分强调邮政编码，可能导致低收入的非洲裔美国人社区与犯罪地区产生联系，进而导致该群体成员都成为预测犯罪的具体目标。⑦又例如，公司以通勤时间长短作为决定是否录用员工的重要标准。通勤时间太长，员工上班成本太高，因此公司拒绝录用。这很可能会对居住在边远郊区的低收入群体构成歧视。⑧在这种算法歧视中，邮政编码、通勤时间等数据信息都是合法获得的，但是，算法的设定者往往会在这些数据与特定群体的行为之间建立某种虚假的关联，从而对此类群体带来歧视性后果。⑨算法决策者之所以会产生这种歧视，其原因主要在于他们的“冗余编码”，即受保护群体的敏感性数据恰好在其他可合法获得的数据中编码。⑩这种通过属性关联方式发生的歧视在外观上看来是客观中立的，因此具有很强的隐蔽性，难以为人们所辨识。

(二)特征选择的算法歧视

特征选择的歧视，是传统歧视模式在网络社会中的一种反映，是固有的刻板印象在数据挖掘中的再现。从理论上讲，算法决策是一种“偏见进，则偏见出”(11)的运作模式。这种算法歧视直接将性别、种族等敏感属性输入系统，从而构成一种歧视性的看法。这种歧视性看法一旦进入算法系统，反馈回路就可能会进一步强化这种偏见。在Google算法歧视案中，人们搜索非洲裔美国人相关名称时，往往会显示更多的与犯罪相关的信息。(12)这些结果反映的是过去搜索行为模式形成的印象，而不是程序员故意地创造了一种歧视性算法。(13)尽管如此，Google的此类算法可能会促使雇主更仔细地审查非洲裔美国申请人的犯罪记录，并对非洲裔申请人采取不同的待遇。在这种歧视的作用下，雇主会增加对非洲裔申请者犯罪背景的调查次数。这会挖掘出非洲裔人群更多的犯罪记录，从而加剧偏见的恶性循环。(14)这种特征选择的算法歧视会进一步强化人们过去形成的刻板印象，进而对某些处于不利地位的群体产生更加不利的影响。

(三)大数据(算法)“杀熟”

大数据(算法)“杀熟”，也是大数据时代常见的一种隐蔽的算法歧视类型。这种算法，往往会针对不同客户采取不同的对待模式，即“看人下菜碟”。价格歧视和特定推送是此类歧视的典型表现。这种歧视类型源自计算机对过往数据的深度学习。人类行为的可记录、可分析属性以及计算机深度学习能力是这类歧视产生的前提条件。人们在线上交易过程中往往会形成浏览、收藏、下单、评价等记录。交易平台往往会对这些记录进行积累，并在不同的交易平台之间进行互通、共享和融合，从而形成交易的“大数据”。计算机凭借深度学习能力，形成可用信息，并智能化地针对不同群体乃至具体个人进行推送或定价。在Facebook泄密门事件中，Cambridge Analytica仅靠“趣味小测试”就拿到了32万名用户的授权，据此推断出5000万用户喜好，有针对性地设下桃色陷阱、推送诱导新闻、操纵总统选举等。此外，会员票价反而比非会员高、高档手机付费更多、商品搜索频次越多越贵等也是这类歧视的典型表现。这种歧视非常隐蔽，不易被人们察觉。即使觉察到，也不容易举证。

 二、算法歧视的法律规制方式

算法歧视在大数据时代普遍存在，并且不易为公众理解或察觉。这给公众和社会造成了巨大的损失。莱普里等人(Lepri、Staiano、Sangokoya)认为，私营企业和政府公共部门在采用算法和大数据做出决策时出现的歧视，使得数百万人无法获得保险、贷款、租房等一系列服务，从而在美国形成了一座“算法监狱”。而且，算法决策的不公开、不接受质询和不提供解释，使得这种“准公权力”性质的算法权力难以被制衡，导致权力与权利之间失衡，从而形成了“算法暴政”。(15)为了消除算法歧视给社会带来的影响，各国政府采取了一系列的规制措施。从规制的空间维度来看，这些措施包括原则性规制和特定性规制方式；从规制的时间维度来看，包括事后性规制和预防性规制；从规制的主体角度来看，包括自律性规制和他律性规制方式。

(一)原则性规制与特定性规制

美国政府认为算法歧视与传统歧视均可适用传统的平等保护条款的原则性规定。然而，这些原则的针对性不强，规制精度不够。在具体表现形式上，由于算法歧视内在发生机理复杂、形式多变，难以做出整齐划一的制度安排，需要结合具体情形进行有针对性的规制。因此，美国除了进行原则性规制外，还会针对特定领域制定特别性规制措施来解决算法歧视问题。

1.原则性规制

从美国相关立法和各州司法实践来看，它们都会用一般性地禁止歧视的平等原则来对算法歧视进行规制。它们认为规制算法自动化决策的关键是遵守当前的法律框架。它们强调算法的设计者应当遵守平等保护消费者和公民免受歧视方面的现行法律。(16)例如，美国政府规定，使用大数据和算法来进行决策时，应当符合《公平信用报告法》和《民权法案》的要求。(17)奥巴马政府曾建议监管机构“应扩大其技术专长，以便能够识别对受保护群体具有歧视性影响的大数据分析，并制定调查和解决该等歧视行为的计划”。(18)此外，大数据分析与算法的自动化决策也需要遵循宪法第十四修正案的平等保护条款的要求。在具体的判决过程中，法院主要采用了分层审查，重点审查算法行为是否尊重了公民的平等权。(19)2019年4月8日，欧盟委员会任命的人工智能高级别专家组发布了“可信赖人工智能”伦理指南的最终版本。该指南规定，人工智能系统(算法决策系统)的使用应当遵循多样性、非歧视性和公平性原则。该指南还强调，人工智能系统应避免不公平的偏见，并对所有人开放。

2.特定性规制

特定性规制指向算法歧视的具体问题。这种规制明确规定了在何种情形下对哪些群体的不公正对待构成歧视，并应当采取哪种特定性的规制措施。在实践中，特定性规制方式有以下几种。

第一，技术性脱敏(敏感性因素排除)。这种方式主要通过对一些可能发生歧视的领域及可能构成歧视性的敏感因素作出明确的反歧视规定，以规范算法自动化决策中“目标变量”的使用，从而起到规制算法决策的作用。这些“目标变量”主要包括种族、肤色、信仰、宗教、性别、国籍、残疾和年龄等。

第二，对特定机构使用算法决策进行专门化规制。例如，美国纽约州在2017年12月11日制定了《政府机构使用自动化决策系统的地方性规定》专门针对政府机构及司法机关使用算法决策的行为进行规制。(20)

第三，对特殊领域人脸识别的算法技术进行禁止性规制。旧金山市政府在2019年5月14日通过了《停止秘密监视条例》，禁止当地政府部门如警察局、治安办公室、交管部门使用人脸识别。因为这些部门往往会根据算法软件所设置的“坏人”特征来识别不法行为者，并对其逮捕或指控，这会加剧种族不平等。(21)爱尔兰和德国提出，明确提醒用户并征得同意是使用面部识别算法的前提。

第四，对高风险算法进行特定性规制。美国国会议员2019年4月10日提出了一项算法审查法案。该法案对高风险算法进行了列举式界定：一是对消费者个人信息、隐私和安全带来高风险的算法；二是对个体带来严重不利后果的算法；三是基于个人的工作表现、经济状况、健康、个人偏好、地理位置和行为轨迹而做出的影响个人权利的算法；四是涉及种族、肤色、政治观点、宗教、工会身份、生物数据、性别、性倾向、犯罪记录、逮捕记录的算法；五是系统性监督大型公共场所的算法。该法案针对这些高风险算法，作出了特殊的规定。这些规定主要包括：(1)详细说明算法决策。这主要涉及算法设计、训练数据和算法目标等信息。(2)数据最小化使用。按照此要求，算法决策者应尽可能少地获取个人信息并且缩短信息与决策结果存储的时间。(3)算法决策相对人对该决策享有获取信息权和修改权。

(二)预防性控制与结果性责任规制

从算法歧视可规制的阶段来看，它主要包括算法歧视的孕育阶段和实害阶段。当下算法的法律规制特别注重在算法歧视的孕育阶段对算法进行规制。这种预防性控制强调我们必须加强事前风险的预防和控制，及时有效地控制算法歧视的后果。因此，必须管控好算法决策程序设计的前端，并通过对算法基础数据(主要针对杀熟型歧视)和敏感因素(主要针对特征选择型歧视)等变量的限制，达到控制歧视性算法的目的。除此之外，注重算法歧视的结果责任也是一种重要的规制手段。它强调一项算法决策产生了实害结果时会启动相应的救济措施，并由法院来进行司法审查。这种结果性规制模式是一种事后性的处理，往往不会延伸到算法决策程序的前端。

1.预防性控制

预防性控制特别重视对算法的前端进行规制。这种事前行为控制，主要包括算法审查与评估和民主化数据收集与退出机制两个方面。

(1)算法审查与评估。算法审查与评估强调算法应该得到专家、决策者和公民的验证，使其尽可能不受偏见和无意识歧视作用的影响。因此，算法应当经过审查和评估以后，才能在特定数据存储库中的给定数据集上运行。(22)在审查与评估过程中，算法通过专家、公共机构和受算法决策影响的社区的代表等以数字签名方式成为待发行的版本，该版本算法才可以在一组实体之间共享或在公共站点上发布。(23)美国学者考尔德等人(Calders、Zliobaite)认为，为了使计算机系统以规范的方式运作，算法审查必须从一开始就成为系统设计的一部分。无论这种计算机系统是涉及公民利益的重要程序还是仅仅参与日常商务活动的。因此，这些系统的设计者以及经常监督或控制系统设计的非技术利益相关者必须首先考虑到算法的监督和审查机制。(24)从审查与评估的方法上看，它主要采取的是排除敏感属性的做法。(25)例如，为了防止决策过程中出现种族歧视或性别歧视，我们就会检验决策中是否隐含了种族或性别等这些属性信息。需要强调的是，我们不能将敏感属性仅仅理解为明确包含类似种族、性别这样的字眼，而是要审查是否隐含这类歧视的敏感信息。例如，在审查发放贷款的资格时，个人邮政编码可能会与种族信息联系在一起。(26)从审查与评估的主体上看，网络服务平台无疑应承担算法审查的义务。

(2)民主化数据收集与选择退出机制。有学者对算法和数据的关系作了形象的比喻：如果把数据比作食材，那么算法就是食谱；只有遵循食谱所设立的步骤和指令，按照要求筛选和搭配食材，才能做出指定口味的菜肴。(27)因此，算法的公正性既取决于数据，也取决于算法自身，加强基础数据端的规制对于消除算法歧视具有重要意义。从具体操作上讲，基础数据端的规制包括收集与选择退出两种机制。第一，民主化数据收集。透明度与算法披露制度要求算法决策者在对个人控制或所有的数据进行收集并据此做出算法决策时应当征得个人的同意。美国《隐私权法》和《欧盟通用数据保护条例》从隐私保护的政策框架、数据保存与处理的安全责任、事后审查等方面对数据收集的民主化进行了规定。(28)2017年，英国发布的《数据保护法案(草案)》更是强化了“知情-同意”制度，并对个人同意增加了许多新条件。我国国家网信办制定的《App违法违规收集使用个人信息行为认定方法(征求意见稿)》，明确了App强制授权、过度索权、超范围收集个人信息等行为的认定标准，这也有助于推动数据收集的民主化。但是，民主化数据收集机制中也存在一些重大缺陷。例如，“知情+同意”机制容易“失灵”。第二，数据退出机制。该机制旨在为用户实现“无数据服务”提供退出策略，(29)从而弥补民主化数据收集存在的一些问题。它能够确保个人在接受服务后仍有权要求抹除数据。例如，用户在使用Facebook后留下大量电子痕迹。商家可以利用这些数据推测出用户的偏好，并有针对性地推送广告。数据挖掘公司也可以挖掘出可供身份验证、安全检查，甚至控制汽车流量等使用的相关信息。(30)公司利用这些数据进行算法决策极有可能给用户带来歧视风险。因此，用户有权决定选择是否抹除其过往数据。具体来讲，这种机制包括两层内容：一是用户在使用服务后即要求平台删除数据；二是允许平台保留数据，但仅限于该次服务目的，禁止将其用于其他领域。(31)欧盟《通用数据保护条例》规定了数据控制者的“被遗忘权”，即数据所有者或控制者有权要求数据使用者在基于特定目的使用完数据之后消除、抹除数据。英国2017年颁布的《数据保护法案(草案)》也规定了“被遗忘权”，允许个人要求社交媒体平台删除其发布的个人信息。

2.事后性规制

事后性规制模式，是指算法决策存在歧视并给当事人造成不利后果后，对算法决策者或使用者追究相应责任。它遵循的是实害救济的矫正主义逻辑。在具体的规制过程中，政府或法院主要通过平等权保护来禁止算法决策中出现歧视性影响。例如，在员工管理过程中，很多企业就利用互联网上的数据来判断妇女是否符合工作需要，这给妇女造成了歧视。美国在《怀孕歧视法》和《就业年龄歧视法》中就从平等权的角度出发，认为这种做法违法了平等权的要求，应当禁止，(32)并规定用与互联网日常使用率相关的数据来判断工作绩效的算法是违法的。(33)在实践中，美国还利用《遗传信息非歧视法案》的规定来对算法决策中存在的歧视性行为进行法律规制，对算法过程中出现的遗传歧视行为进行严肃打击。(34)这种政府规制模式主要着眼于歧视结果已经发生，即某种算法已经在社会中得到运用，并产生了歧视性影响，侵犯了公民平等权。从责任追究方式来看，主要包括惩罚、赔偿等。我国2019年正式实施的《电子商务法》就对违反“推荐算法”规制的行为进行严厉惩罚。根据该法的规定，市场监督管理部门对于违反“推荐算法”规制条款的电子商务经营者可以没收违法所得，并处五万元以上二十万元以下的罚款；情节严重的，并处二十万元以上五十万元以下的罚款。

司法诉讼也是一种重要的事后性规制。它是指受算法决策影响的人认为算法决策机制存在歧视性影响时，向法院提起诉讼，要求算法作出者改变决策，并承担损失的机制。近年来，美国就教育、住房、就业等领域的算法歧视提起诉讼的案件愈来愈多。在诉讼过程中，法院主要运用的是《民权法案》第七章及其相关条款。法院根据这些规定，形成了不同待遇审查和差异性审查两种基本模式。(35)

(三)自律性规制与他律性规制

为了有效地对算法歧视进行规制，各国都逐步形成了以行业协会为主体的自律性规制和以政府机构或组织为主体的他律性规制两套机制。

1.自律性规制

自律规制主要通过行业的自我约束，加强制定算法基本原则，规范决策运行的过程，尽量减少或避免算法歧视的风险与危害。为了加强算法歧视的自律性规制，美国计算机协会发布了关于算法透明度及可审查性的七项基本原则。这些基本原则主要包括以下内容：一是算法透明原则。该原则允许第三方对算法代码和决策标准进行审查。美国联邦贸易委员会专员斯威尼(Sweeny)提出了“设计责任”这一概念。根据这一概念，算法设计者在开发算法阶段应当接受第三方审查，从而发现算法可能存在的歧视和偏见。(36)二是算法救济原则。开发者对于错误的算法决策(包括歧视性算法程序)必须进行自我调查并予纠正。三是算法负责原则。该原则强调算法的设计者与使用者应当按照法律和政策的要求来设计算法，并对算法产生的结果负责(37)。四是算法解释原则。无论算法的逻辑构架多么复杂，都必须由算法使用者作出正常人能够理解的说明。五是算法数据可靠性原则。算法的设计者需要对基础数据的来源及可靠性进行说明，并不得使用来源违法的基础数据、敏感性数据和产生歧视性后果的数据。六是算法可审查原则。该原则强调算法决策的可追溯性，确保算法模型、过程、结果可记录且留痕，以便出现问题时有据可查。七是算法验证原则。(38)算法运用机构应采取可靠的技术手段对其算法的程序进行验证，以提高基于此算法所自动作出的决策的可信度。(39)按照此原则，算法在设计阶段就应当接受公平性检测，只有经过检测与认证的算法才能在实践中使用。(40)正如美国学者所言：“人类决策者所隐含的(或显性的)偏差可能难以被找到并得以根除，但我们可以查看算法的“大脑”，并及时发现算法的偏差。”(41)美国计算机协会规定的这七项基本原则为算法决策的规范运行提供了很好的标准。在实践中，这七项原则之间并不是孤立的，而是相互配合使用、协同发挥作用。欧盟也坚持政府适度监管下的行业自律管理的理念。《欧盟通用数据保护条例》特别强调数据行为的管理应当坚持行业主导、监管机构适度干预的理念，并强调充分调动市场自发力量来实现行业自律。

2.他律性规制

各国政府早期出于保护市场自由竞争的考虑，较少对算法行为进行干预。但随着算法技术的发展，算法失范的行为经常发生，这严重侵犯了公民的权利。它们愈来愈意识到仅靠行为自律难以确保算法自动化决策的规范运行，还需要建立他律性规制措施。这种他律性规制主要体现为政府机构对算法的外部监管。

美国平等就业机会委员会就一直非常积极地对劳工招聘中使用了算法的案件进行审查。他们在审查中，只要发现招聘中含有种族、宗教、性取向或者政治倾向的信息，就认定为该招聘是违法的，而不论这些信息是否对招聘产生了实质性影响。美国联邦贸易委员会从数据隐私和个人信息保护角度对算法歧视行为进行了规制。它认为算法歧视行为实质上侵犯了公民隐私权和个人信息权。为了对算法歧视行为进行规制，它在强化“告知且同意”的隐私权保护框架的前提下，构建了数据隐私侵权的事后审查制度，并首次提出了“隐私设计”的概念，要求企业“将隐私保护纳入其日常业务实践”。(42)美国食品和药物管理局也会对医药健康领域中的算法自动化决策过程进行监督。它要求医院不得仅仅通过某项算法决策就来预测患者病情并决定如何用药。在新药许可审批过程中，它强调药物必须通过有关安全性和有效性的售前试验以后，才能进入市场。企业不得使用算法对药物的市场数据进行分析来作出该药的非临床性能评价。因为这些算法所依据的数据是不全面的，可能会存在偏颇，甚至会构成对部分人的歧视。(43)

欧盟国家也积极主张建立他律机制来对算法歧视进行规制。2019年4月17日，欧洲议会批准《关于提高在线平台交易的公平性和透明度规则》，并充分发挥欧盟委员会在算法歧视方面的规制作用。该委员会将对在线平台中介、应用商店、商业社交媒体的交易算法进行规制，并要求这些交易算法应当坚持透明性原则，避免算法出现歧视。欧盟证券和市场管理局则从数据存储和算法备案的角度来防止算法出现歧视。它要求相关企业在通过推荐算法自动确定订单时，需要将相关的存储数据至少保存5年，并对相关算法进行备案，以便日后进行回溯检查。

（本文为文章摘录版，如需引用，参阅原文）

本文链接：http://www.aisixiang.com/data/122561.html 
文章来源：《比较法研究》2019年第4期