作者简介：郑智航，山东大学法学院教授，法学博士；徐昭曦，山东大学法学院博士研究生。
内容提要：算法自动化决策为人们带来方便的同时，也可能因其决策过程的不透明和信息不对称而对某些群体造成歧视。实践中，算法歧视主要表现为偏见代理的算法歧视、特征选择的算法歧视和大数据杀熟三种基本形态。为了消除算法歧视给社会带来的影响，各国政府采取了一系列的规制措施。从规制的空间维度来看，这些措施包括原则性规制和特定性规制方式；从规制的时间维度来看，包括事后性规制和预防性规制；从规制的主体角度来看，包括自律性规制和他律性规制方式。在司法审查层面，不同待遇审查和差异性影响审查是两种基本模式。强调平衡“数字鸿沟”，抑制算法权力，并在此基础上，确保国家权力的运用能够促进科学技术的发展与进步，是大数据时代算法歧视的法律规制与司法审查的基本共识。
关 键 词：算法歧视/法律规制/司法审查/
近年来，随着计算机和信息技术的发展，大数据挖掘正在深刻地改变人类的生活。大量的数据流与日益提升的算法分析和技术能力相结合，使人们能够利用基于机器学习的算法来解决复杂的问题。①这种算法决策在招聘、警务、教育、信贷、刑事司法、股票交易等领域得到广泛运用。例如，教育部门使用算法来决定是否对教师进行续聘。②学校往往通过算法手段来决定学生是否符合录取条件。法官也会利用算法来对刑满释放人员重新犯罪的可能性进行评估。③这在一定程度上能够克服人类决策的主观性，但是它也带来了更为复杂的、隐蔽的新型歧视。
学者们和政府愈来愈意识到算法歧视的广泛存在，并认为这些新型歧视能引发一系列的社会问题、伦理问题和法律问题。巴罗卡斯(solon barocas)和塞布斯特(andrew d.selbst)就认为，算法自动化决策可能给某些群体带来歧视性的不利结果。2014年，白宫发布了一份题为《大数据：抓住机遇，保护价值》(podesta et al.，2014)的报告。该报告认为，受数据来源的特定性和算法设计者主观意图的影响，算法自动化决策往往会对申请者的工作、教育或信贷构成隐性偏见。这种结果可以自我强化，从而系统性地减少个人获得信贷、就业和教育的机会，这会使他们的处境恶化并在未来的申请中处于不利地位。④因此，美国联邦政府及各州都把存在实质性歧视影响的算法纳入法律调整的范围，并对歧视性算法进行司法审查。
就既有的研究而言，学者们主要是从具体领域来对算法歧视问题进行研究的，并且把研究重点放在证明算法在该领域是否存在歧视这一问题上。例如，propublica公司通过量刑的累犯模型证明法院把犯罪风险评估算法作为量刑指南，存在系统性歧视的问题。⑤另一方面，学者们也重点关注了使用算法的合宪性问题。例如布鲁纳(peggy bruner)就重点考察了威斯康星州诉卢米斯案(wisconsin v.loomis)中算法使用是否合乎宪法的基本要求。⑥从总体上讲，这些研究都是从具体个案出发进行的深入研究。但是，它们并没有归纳总结算法歧视的基本类型，也没有对算法歧视的法律规制方式和司法审查问题进行系统的梳理和研究。因此，本文将对这些问题进行研究。为了分析的便利，本文将主要借助于美国的相关法律实践来加以展开。
一、算法歧视的基本类型
尽管法学界对于歧视没有统一的界定，但是，从社会心理学上讲，歧视是不同利益群体间发生的一种不平等的情感反应和行为。在传统的物理社会，歧视比较容易被辨识，而在大数据时代，算法歧视具有较强的隐蔽性，有时甚至是无意识的。在大数据挖掘和运用过程中，数据的挖掘方或算法的决策者往往会出现以下三种典型的隐蔽歧视。
(一)偏见代理的算法歧视
偏见代理的算法歧视，又称为“关联歧视”。在这类歧视中，算法决策者虽然使用了客观中立的基础数据，但这些合法的客观中立的数据组合在一起产生了歧视性的后果。换言之，
决策者并不一定具有产生这种歧视影响的主观意图。例如在预测警务算法中，过分强调邮政编码，可能导致低收入的非洲裔美国人社区与犯罪地区产生联系，进而导致该群体成员都成为预测犯罪的具体目标。⑦又例如，公司以通勤时间长短作为决定是否录用员工的重要标准。通勤时间太长，员工上班成本太高，因此公司拒绝录用。这很可能会对居住在边远郊区的低收入群体构成歧视。⑧在这种算法歧视中，邮政编码、通勤时间等数据信息都是合法获得的，但是，算法的设定者往往会在这些数据与特定群体的行为之间建立某种虚假的关联，从而对此类群体带来歧视性后果。⑨算法决策者之所以会产生这种歧视，其原因主要在于他们的“冗余编码”，即受保护群体的敏感性数据恰好在其他可合法获得的数据中编码。⑩这种通过属性关联方式发生的歧视在外观上看来是客观中立的，因此具有很强的隐蔽性，难以为人们所辨识。
(二)特征选择的算法歧视
特征选择的歧视，是传统歧视模式在网络社会中的一种反映，是固有的刻板印象在数据挖掘中的再现。从理论上讲，算法决策是一种“偏见进，则偏见出”(11)的运作模式。这种算法歧视直接将性别、种族等敏感属性输入系统，从而构成一种歧视性的看法。这种歧视性看法一旦进入算法系统，反馈回路就可能会进一步强化这种偏见。在google算法歧视案中，人们搜索非洲裔美国人相关名称时，往往会显示更多的与犯罪相关的信息。(12)这些结果反映的是过去搜索行为模式形成的印象，而不是程序员故意地创造了一种歧视性算法。(13)尽管如此，google的此类算法可能会促使雇主更仔细地审查非洲裔美国申请人的犯罪记录，并对非洲裔申请人采取不同的待遇。在这种歧视的作用下，雇主会增加对非洲裔申请者犯罪背景的调查次数。这会挖掘出非洲裔人群更多的犯罪记录，从而加剧偏见的恶性循环。(14)这种特征选择的算法歧视会进一步强化人们过去形成的刻板印象，进而对某些处于不利地位的群体产生更加不利的影响。
(三)大数据(算法)“杀熟”
大数据(算法)“杀熟”，也是大数据时代常见的一种隐蔽的算法歧视类型。这种算法，往往会针对不同客户采取不同的对待模式，即“看人下菜碟”。价格歧视和特定推送是此类歧视的典型表现。这种歧视类型源自计算机对过往数据的深度学习。人类行为的可记录、可分析属性以及计算机深度学习能力是这类歧视产生的前提条件。人们在线上交易过程中往往会形成浏览、收藏、下单、评价等记录。交易平台往往会对这些记录进行积累，并在不同的交易平台之间进行互通、共享和融合，从而形成交易的“大数据”。计算机凭借深度学习能力，形成可用信息，并智能化地针对不同群体乃至具体个人进行推送或定价。在facebook泄密门事件中，cambridge analytica仅靠“趣味小测试”就拿到了32万名用户的授权，据此推断出5000万用户喜好，有针对性地设下桃色陷阱、推送诱导新闻、操纵总统选举等。此外，会员票价反而比非会员高、高档手机付费更多、商品搜索频次越多越贵等也是这类歧视的典型表现。这种歧视非常隐蔽，不易被人们察觉。即使觉察到，也不容易举证。
二、算法歧视的法律规制方式
算法歧视在大数据时代普遍存在，并且不易为公众理解或察觉。这给公众和社会造成了巨大的损失。莱普里等人(lepri、staiano、sangokoya)认为，私营企业和政府公共部门在采用算法和大数据做出决策时出现的歧视，使得数百万人无法获得保险、贷款、租房等一系列服务，从而在美国形成了一座“算法监狱”。而且，算法决策的不公开、不接受质询和不提供解释，使得这种“准公权力”性质的算法权力难以被制衡，导致权力与权利之间失衡，从而形成了“算法暴政”。(15)为了消除算法歧视给社会带来的影响，各国政府采取了一系列的规制措施。从规制的空间维度来看，这些措施包括原则性规制和特定性规制方式；从规制的时间维度来看，包括事后性规制和预防性规制；从规制的主体角度来看，包括自律性规制和他律性规制方式。
(一)原则性规制与特定性规制
美国政府认为算法歧视与传统歧视均可适用传统的平等保护条款的原则性规定。然而，这些原则的针对性不强，规制精度不够。在具体表现形式上，由于算法歧视内在发生机理复杂、形式多变，难以做出整齐划一的制度安排，需要结合具体情形进行有针对性的规制。因此，美国除了进行原则性规制外，还会针对特定领域制定特别性规制措施来解决算法歧视问题。
1.原则性规制
从美国相关立法和各州司法实践来看，它们都会用一般性地禁止歧视的平等原则来对算法歧视进行规制。它们认为规制算法自动化决策的关键是遵守当前的法律框架。它们强调算法的设计者应当遵守平等保护消费者和公民免受歧视方面的现行法律。(16)例如，美国政府规定，使用大数据和算法来进行决策时，应当符合《公平信用报告法》和《民权法案》的要求。(17)奥巴马政府曾建议监管机构“应扩大其技术专长，以便能够识别对受保护群体具有歧视性影响的大数据分析，并制定调查和解决该等歧视行为的计划”。(18)此外，大数据分析与算法的自动化决策也需要遵循宪法第十四修正案的平等保护条款的要求。在具体的判决过程中，法院主要采用了分层审查，重点审查算法行为是否尊重了公民的平等权。(19)2019年4月8日，欧盟委员会任命的人工智能高级别专家组发布了“可信赖人工智能”伦理指南的最终版本。该指南规定，人工智能系统(算法决策系统)的使用应当遵循多样性、非歧视性和公平性原则。该指南还强调，人工智能系统应避免不公平的偏见，并对所有人开放。
2.特定性规制
特定性规制指向算法歧视的具体问题。这种规制明确规定了在何种情形下对哪些群体的不公正对待构成歧视，并应当采取哪种特定性的规制措施。在实践中，特定性规制方式有以下几种。
第一，技术性脱敏(敏感性因素排除)。这种方式主要通过对一些可能发生歧视的领域及可能构成歧视性的敏感因素作出明确的反歧视规定，以规范算法自动化决策中“目标变量”的使用，从而起到规制算法决策的作用。这些“目标变量”主要包括种族、肤色、信仰、宗教、性别、国籍、残疾和年龄等。
第二，对特定机构使用算法决策进行专门化规制。例如，美国纽约州在2017年12月11日制定了《政府机构使用自动化决策系统的地方性规定》专门针对政府机构及司法机关使用算法决策的行为进行规制。(20)
第三，对特殊领域人脸识别的算法技术进行禁止性规制。旧金山市政府在2019年5月14日通过了《停止秘密监视条例》，禁止当地政府部门如警察局、治安办公室、交管部门使用人脸识别。因为这些部门往往会根据算法软件所设置的“坏人”特征来识别不法行为者，并对其逮捕或指控，这会加剧种族不平等。(21)爱尔兰和德国提出，明确提醒用户并征得同意是使用面部识别算法的前提。
第四，对高风险算法进行特定性规制。美国国会议员2019年4月10日提出了一项算法审查法案。该法案对高风险算法进行了列举式界定：一是对消费者个人信息、隐私和安全带来高风险的算法；二是对个体带来严重不利后果的算法；三是基于个人的工作表现、经济状况、健康、个人偏好、地理位置和行为轨迹而做出的影响个人权利的算法；四是涉及种族、肤色、政治观点、宗教、工会身份、生物数据、性别、性倾向、犯罪记录、逮捕记录的算法；五是系统性监督大型公共场所的算法。该法案针对这些高风险算法，作出了特殊的规定。这些规定主要包括：(1)详细说明算法决策。这主要涉及算法设计、训练数据和算法目标等信息。(2)数据最小化使用。按照此要求，算法决策者应尽可能少地获取个人信息并且缩短信息与决策结果存储的时间。(3)算法决策相对人对该决策享有获取信息权和修改权。
(二)预防性控制与结果性责任规制
从算法歧视可规制的阶段来看，它主要包括算法歧视的孕育阶段和实害阶段。当下算法的法律规制特别注重在算法歧视的孕育阶段对算法进行规制。这种预防性控制强调我们必须加强事前风险的预防和控制，及时有效地控制算法歧视的后果。因此，必须管控好算法决策程序设计的前端，并通过对算法基础数据(主要针对杀熟型歧视)和敏感因素(主要针对特征选择型歧视)等变量的限制，达到控制歧视性算法的目的。除此之外，注重算法歧视的结果责任也是一种重要的规制手段。它强调一项算法决策产生了实害结果时会启动相应的救济措施，并由法院来进行司法审查。这种结果性规制模式是一种事后性的处理，往往不会延伸到算法决策程序的前端。
1.预防性控制
预防性控制特别重视对算法的前端进行规制。这种事前行为控制，主要包括算法审查与评估和民主化数据收集与退出机制两个方面。
(1)算法审查与评估。算法审查与评估强调算法应该得到专家、决策者和公民的验证，使其尽可能不受偏见和无意识歧视作用的影响。因此，算法应当经过审查和评估以后，才能在特定数据存储库中的给定数据集上运行。(22)在审查与评估过程中，算法通过专家、公共机构和受算法决策影响的社区的代表等以数字签名方式成为待发行的版本，该版本算法才可以在一组实体之间共享或在公共站点上发布。(23)美国学者考尔德等人(calders、zliobaite)认为，为了使计算机系统以规范的方式运作，算法审查必须从一开始就成为系统设计的一部分。无论这种计算机系统是涉及公民利益的重要程序还是仅仅参与日常商务活动的。因此，这些系统的设计者以及经常监督或控制系统设计的非技术利益相关者必须首先考虑到算法的监督和审查机制。(24)从审查与评估的方法上看，它主要采取的是排除敏感属性的做法。(25)例如，为了防止决策过程中出现种族歧视或性别歧视，我们就会检验决策中是否隐含了种族或性别等这些属性信息。需要强调的是，我们不能将敏感属性仅仅理解为明确包含类似种族、性别这样的字眼，而是要审查是否隐含这类歧视的敏感信息。例如，在审查发放贷款的资格时，个人邮政编码可能会与种族信息联系在一起。(26)从审查与评估的主体上看，网络服务平台无疑应承担算法审查的义务。
(2)民主化数据收集与选择退出机制。有学者对算法和数据的关系作了形象的比喻：如果把数据比作食材，那么算法就是食谱；只有遵循食谱所设立的步骤和指令，按照要求筛选和搭配食材，才能做出指定口味的菜肴。(27)因此，算法的公正性既取决于数据，也取决于算法自身，加强基础数据端的规制对于消除算法歧视具有重要意义。从具体操作上讲，基础数据端的规制包括收集与选择退出两种机制。第一，民主化数据收集。透明度与算法披露制度要求算法决策者在对个人控制或所有的数据进行收集并据此做出算法决策时应当征得个人的同意。美国《隐私权法》和《欧盟通用数据保护条例》从隐私保护的政策框架、数据保存与处理的安全责任、事后审查等方面对数据收集的民主化进行了规定。(28)2017年，英国发布的《数据保护法案(草案)》更是强化了“知情-同意”制度，并对个人同意增加了许多新条件。我国国家网信办制定的《app违法违规收集使用个人信息行为认定方法(征求意见稿)》，明确了app强制授权、过度索权、超范围收集个人信息等行为的认定标准，这也有助于推动数据收集的民主化。但是，民主化数据收集机制中也存在一些重大缺陷。例如，“知情 同意”机制容易“失灵”。第二，数据退出机制。该机制旨在为用户实现“无数据服务”提供退出策略，(29)从而弥补民主化数据收集存在的一些问题。它能够确保个人在接受服务后仍有权要求抹除数据。例如，用户在使用facebook后留下大量电子痕迹。商家可以利用这些数据推测出用户的偏好，并有针对性地推送广告。数据挖掘公司也可以挖掘出可供身份验证、安全检查，甚至控制汽车流量等使用的相关信息。(30)公司利用这些数据进行算法决策极有可能给用户带来歧视风险。因此，用户有权决定选择是否抹除其过往数据。具体来讲，这种机制包括两层内容：一是用户在使用服务后即要求平台删除数据；二是允许平台保留数据，但仅限于该次服务目的，禁止将其用于其他领域。(31)欧盟《通用数据保护条例》规定了数据控制者的“被遗忘权”，即数据所有者或控制者有权要求数据使用者在基于特定目的使用完数据之后消除、抹除数据。英国2017年颁布的《数据保护法案(草案)》也规定了“被遗忘权”，允许个人要求社交媒体平台删除其发布的个人信息。
2.事后性规制
事后性规制模式，是指算法决策存在歧视并给当事人造成不利后果后，对算法决策者或使用者追究相应责任。它遵循的是实害救济的矫正主义逻辑。在具体的规制过程中，政府或法院主要通过平等权保护来禁止算法决策中出现歧视性影响。例如，在员工管理过程中，很多企业就利用互联网上的数据来判断妇女是否符合工作需要，这给妇女造成了歧视。美国在《怀孕歧视法》和《就业年龄歧视法》中就从平等权的角度出发，认为这种做法违法了平等权的要求，应当禁止，(32)并规定用与互联网日常使用率相关的数据来判断工作绩效的算法是违法的。(33)在实践中，美国还利用《遗传信息非歧视法案》的规定来对算法决策中存在的歧视性行为进行法律规制，对算法过程中出现的遗传歧视行为进行严肃打击。(34)这种政府规制模式主要着眼于歧视结果已经发生，即某种算法已经在社会中得到运用，并产生了歧视性影响，侵犯了公民平等权。从责任追究方式来看，主要包括惩罚、赔偿等。我国2019年正式实施的《电子商务法》就对违反“推荐算法”规制的行为进行严厉惩罚。根据该法的规定，市场监督管理部门对于违反“推荐算法”规制条款的电子商务经营者可以没收违法所得，并处五万元以上二十万元以下的罚款；情节严重的，并处二十万元以上五十万元以下的罚款。
司法诉讼也是一种重要的事后性规制。它是指受算法决策影响的人认为算法决策机制存在歧视性影响时，向法院提起诉讼，要求算法作出者改变决策，并承担损失的机制。近年来，美国就教育、住房、就业等领域的算法歧视提起诉讼的案件愈来愈多。在诉讼过程中，法院主要运用的是《民权法案》第七章及其相关条款。法院根据这些规定，形成了不同待遇审查和差异性审查两种基本模式。(35)
(三)自律性规制与他律性规制
为了有效地对算法歧视进行规制，各国都逐步形成了以行业协会为主体的自律性规制和以政府机构或组织为主体的他律性规制两套机制。
1.自律性规制
自律规制主要通过行业的自我约束，加强制定算法基本原则，规范决策运行的过程，尽量减少或避免算法歧视的风险与危害。为了加强算法歧视的自律性规制，美国计算机协会发布了关于算法透明度及可审查性的七项基本原则。这些基本原则主要包括以下内容：一是算法透明原则。该原则允许第三方对算法代码和决策标准进行审查。美国联邦贸易委员会专员斯威尼(sweeny)提出了“设计责任”这一概念。根据这一概念，算法设计者在开发算法阶段应当接受第三方审查，从而发现算法可能存在的歧视和偏见。(36)二是算法救济原则。开发者对于错误的算法决策(包括歧视性算法程序)必须进行自我调查并予纠正。三是算法负责原则。该原则强调算法的设计者与使用者应当按照法律和政策的要求来设计算法，并对算法产生的结果负责(37)。四是算法解释原则。无论算法的逻辑构架多么复杂，都必须由算法使用者作出正常人能够理解的说明。五是算法数据可靠性原则。算法的设计者需要对基础数据的来源及可靠性进行说明，并不得使用来源违法的基础数据、敏感性数据和产生歧视性后果的数据。六是算法可审查原则。该原则强调算法决策的可追溯性，确保算法模型、过程、结果可记录且留痕，以便出现问题时有据可查。七是算法验证原则。(38)算法运用机构应采取可靠的技术手段对其算法的程序进行验证，以提高基于此算法所自动作出的决策的可信度。(39)按照此原则，算法在设计阶段就应当接受公平性检测，只有经过检测与认证的算法才能在实践中使用。(40)正如美国学者所言：“人类决策者所隐含的(或显性的)偏差可能难以被找到并得以根除，但我们可以查看算法的“大脑”，并及时发现算法的偏差。”(41)美国计算机协会规定的这七项基本原则为算法决策的规范运行提供了很好的标准。在实践中，这七项原则之间并不是孤立的，而是相互配合使用、协同发挥作用。欧盟也坚持政府适度监管下的行业自律管理的理念。《欧盟通用数据保护条例》特别强调数据行为的管理应当坚持行业主导、监管机构适度干预的理念，并强调充分调动市场自发力量来实现行业自律。
2.他律性规制
各国政府早期出于保护市场自由竞争的考虑，较少对算法行为进行干预。但随着算法技术的发展，算法失范的行为经常发生，这严重侵犯了公民的权利。它们愈来愈意识到仅靠行为自律难以确保算法自动化决策的规范运行，还需要建立他律性规制措施。这种他律性规制主要体现为政府机构对算法的外部监管。
美国平等就业机会委员会就一直非常积极地对劳工招聘中使用了算法的案件进行审查。他们在审查中，只要发现招聘中含有种族、宗教、性取向或者政治倾向的信息，就认定为该招聘是违法的，而不论这些信息是否对招聘产生了实质性影响。美国联邦贸易委员会从数据隐私和个人信息保护角度对算法歧视行为进行了规制。它认为算法歧视行为实质上侵犯了公民隐私权和个人信息权。为了对算法歧视行为进行规制，它在强化“告知且同意”的隐私权保护框架的前提下，构建了数据隐私侵权的事后审查制度，并首次提出了“隐私设计”的概念，要求企业“将隐私保护纳入其日常业务实践”。(42)美国食品和药物管理局也会对医药健康领域中的算法自动化决策过程进行监督。它要求医院不得仅仅通过某项算法决策就来预测患者病情并决定如何用药。在新药许可审批过程中，它强调药物必须通过有关安全性和有效性的售前试验以后，才能进入市场。企业不得使用算法对药物的市场数据进行分析来作出该药的非临床性能评价。因为这些算法所依据的数据是不全面的，可能会存在偏颇，甚至会构成对部分人的歧视。(43)
欧盟国家也积极主张建立他律机制来对算法歧视进行规制。2019年4月17日，欧洲议会批准《关于提高在线平台交易的公平性和透明度规则》，并充分发挥欧盟委员会在算法歧视方面的规制作用。该委员会将对在线平台中介、应用商店、商业社交媒体的交易算法进行规制，并要求这些交易算法应当坚持透明性原则，避免算法出现歧视。欧盟证券和市场管理局则从数据存储和算法备案的角度来防止算法出现歧视。它要求相关企业在通过推荐算法自动确定订单时，需要将相关的存储数据至少保存5年，并对相关算法进行备案，以便日后进行回溯检查。
三、算法歧视的司法审查
大数据时代除了需要加强政府对算法歧视行为进行法律规制和算法行业的自律外，还需要充分发挥法院司法审查的作用。在具体的实践中，不同待遇审查和差异性影响审查是法院审查的两种基本模式。(44)
(一)不同待遇审查模式
不同待遇审查模式，又称故意算法歧视审查模式。在这种审查模式中，存在主观故意或固有刻板印象，是算法使用者承担责任的前提条件。算法使用者没有歧视的主观故意或固有刻板印象，即使算法给当事人形成了歧视并造成了伤害，也不用承担责任。从历史上讲，这种模式是美国联邦最高法院在1973年“麦克唐纳道格拉斯公司诉格林”(mcdonnell douglas corp.v.green)案中创立的。(45)在该案中，法院一再强调，原告或雇员必须证明雇主的雇佣算法导致了差异对待，并且雇主在设计这套算法时存在歧视的主观意图，(46)或者存在一些与歧视相关的刻板印象。(47)倘若原告能够证明雇主在算法中存在歧视的主观意图或固有的刻板印象，雇主就应当承担算法歧视的责任。(48)法院通过审查后发现麦克唐纳道格拉斯公司在雇佣算法中有意运用种族、肤色、宗教、性别或国籍等因素来剥夺原告的就业权，因此，判定麦克唐纳道格拉斯公司的行为构成歧视行为。这种不同待遇审查模式也得到了西班牙等国的认同。在“冈萨雷斯诉谷歌”案中，法院就认为谷歌公司为了增强引擎搜索能力，获得更多的利润，不愿意及时删除一些明显过时的数据。这些数据往往给当事人带来歧视性影响。因此，法院判决谷歌公司应当充分尊重冈萨雷斯“被遗忘权”，取消“冈萨雷斯”这一姓名与“冈萨雷斯因陷入债务困难导致房屋被拍卖”之间建立的链接。
在实践中，法院认为算法决策的故意歧视主要包括以下两种表现形态：第一种形态是算法使用者将受保护群体的成员资格作为变量纳入算法决策中，并故意操纵算法的各个环节或部分，从而获得一种歧视性结果。因此，这种算法歧视是一种算法掩盖下的人为偏见。第二种形态是算法使用者充分利用受保护群体相关的刻板印象来进行算法决策，从而给某些群体造成歧视。
从法院操作层面来看，我们在对有关算法歧视的主观“意图”进行认定时，应当注意以下四个方面问题：第一，这种“故意”具有极强的隐蔽性，它往往不会对受歧视群体表现出强烈的“故意”，甚至都不要求对受歧视群体进行有意识的区分。(49)第二，有意的不同待遇实际上可通过间接证据证明，因为被告很少承认他们在决策过程中考虑了受保护群体的特征。(50)第三，并不是在算法中只要出现刻板印象，就一定会将这类算法认定为存在歧视。只有当这种刻板印象对于算法决策起着实质作用时，才会将这其认定为一种具有歧视意图的不平等待遇的算法。(51)第四，算法歧视的主观意图是一个宽泛的概念，它并非仅仅指人的主观性，它也可以通过算法自动化决策的一系列表现形态推导出来的。实际上，算法歧视中的主观意图是一个广泛的概念，需要各种间接证据来加予推断证明。(52)
(二)差异性影响审查模式
差异性影响审查模式，又称无过错算法歧视审查模式。该模式并不强调算法决策者是否存在歧视的主观意图，而是看算法决策产生的实际结果是否导致了差异性影响。换言之，该模式的审查重点在于算法决策是否导致了差异性影响。如果算法决策给决策对象产生了差异性影响，法院就认定为算法决策者构成了算法歧视。这种审查模式在美国联邦最高法院“康涅狄格州诉迪尔”(connecticut v.teal)案得以运用。在该案中，法院认为雇主使用的就业与晋升测试算法导致黑人雇员遭受了禁止晋升的结果，应当受到差异性影响的审查，因为就业测试算法涉及较为高深的专业知识，而被歧视者不具备理解算法的能力。在该案中，法院之所以在审查中差异性影响的审查模式，原因主要在于算法涉及较为高深的专业知识，被歧视者往往不具备理解算法的能力。即使使用过错推定原则，商业主体也可以凭借专业知识和财富能力，证明自己并无过错，被歧视者亦无驳斥能力。因此，从救济被歧视者和增强公众信心的角度出发，采取差异性影响的审查模式有助于保护算法决策对象的利益。(53)
在实践中，法院会将这种算法歧视的审查过程分解为以下三个步骤：第一步，原告(算法决策对象)提出反对歧视的诉讼请求，并提出算法存在差异性影响的事实和证据。第二步，被告(算法决策者)对原告提出的差异性影响及其证据进行反驳。在这一步，被告往往会以商业必要性作为算法决策的理由。第三步，原告对被告反驳意见进行再反驳。倘若被告提出算法决策造成差别性影响具有商业必要性的理由，原告需要提出被告有可替代算法程序以减少不利影响。法院会对差异性影响、商业必要性和可替代算法决策这三个核心问题进行审查或认定。
就差异性影响而言，法院往往会从算法决策对原告与其他社会公众的影响的比较的角度来进行判定。假如一项算法对原告产生的不利影响大于对其他社会公众的影响时，这项算法决策就存在着歧视的可能性。当原告成功地证明了算法决策对其造成了不成比例的不利影响以后，被告就需要对原告提出的差异性影响及其证据进行反驳或者证明其使用这种决策是基于商业必要性理由。倘若一种算法对原告产生的不利影响和对其他社会公众产生的影响相同时，法院会认为这种算法不存在歧视。
就商业必要性审查而言，法院将审查的重点放在算法决策中的目标变量的选择与使用是否与其追求的合法的商业目标之间存在着直接的相关性。在“格里格斯诉杜克电力公司”案中，法院就认为杜克电力公司在有关就业的算法决策中所选取的变量与该公司所要实现的商业目的并无直接的相关性。(54)在就业领域，这种商业必要性往往被转化为工作绩效。在该案中，法院主要是从工作绩效的角度来审查商业必要性的。它重点审查了雇主算法决策中对员工的要求与工作绩效的关系，并认为该雇佣算法决策中高中文凭的要求与劳动者素质的主张与工作绩效没有必然的关系。(55)
就可替代算法决策评估而言，法院认为即使算法决策者证明其算法决策与商业需要有关，也不能排除算法歧视的可能性，除非没有其他的算法能够替代这种对原告产生不利后果的算法决策。在“阿尔伯马尔纸业公司诉穆迪”(albemarle paper co.v.moody)案中，美国联邦最高法院就认为，雇主虽然证明了“就业能力测试算法与工作有关”，但是还存在并不会导致种族歧视的其他测试程序。因此，雇主的这种算法构成了歧视，应当承担相应的法律责任。尽管可替代算法决策评估在某种程度上可以克服商业需要模糊性的弱点，但受算法专业化和复杂化的影响，原告很难提出可替代性算法决策程序。
(三)两种审查模式的比较
算法差异性影响和不同待遇审查模式旨在实现不同的审查功能。在具体操作过程中，它们主要存在如下区别：(1)责任主体的主观意图不同。在差异性影响审查模式中，法院并不审查算法使用者在主观上是否有歧视的意图，而将重点放在差异性影响上。在不同待遇审查模式中，法院会对算法使用者的主观意图进行重点审查，并要求原告提出证据来证明算法使用者存在明确的歧视性意图。(2)审查的证据属性不同。差异性影响主要依赖于群体证据而非个体证据。(56)在实践中，法院主要是从特定受保护群体受到算法决策影响角度来展开的，即只有某一算法决策对特定受保护群体构成了不利影响，才可能认定该算法决策存在歧视。倘若只有某个个体认为受到了不利影响，但其他特定受保护群体不认为存在不利影响，法院不会认为算法存在歧视。不同待遇模式往往对某个个体进行区分对待，而不涉及特定受保护群体不利影响的认定问题。(3)责任事实根据不同。差异性影响审查模式强调个体受到与受保护特定群体不成比例的不利影响是认定算法歧视的一个前提条件；不同待遇审查模式一般不会审查算法决策是否对决策对象产生了实质性的不利影响。(4)责任豁免理由不同，在差异性影响审查模式中，算法使用者可以诉诸商业必要性来证明算法产生差异性影响具有合理性，从而不用承担法律责任。在不同待遇审查模式中，算法使用者不会因为算法决策中的目标变量的选择与使用同其追求的合法的商业目标之间存在着直接相关性而免除法律责任。
四、算法治理过程中的权力抑制
通过上文的分析，笔者发现无论是政府对于算法歧视行为进行的法律规制，还是法院对算法歧视行为进行的司法审查，都特别强调平衡“数字鸿沟”，抑制算法权力，并在此基础上，确保国家权力的运用能够促进科学技术的发展与进步。
(一)平衡“数字鸿沟”，揭开算法黑箱
算法决策的高技术性和不透明使决策相对人难以理解算法决策行为，从而在决策者与相对人之间形成了“数字鸿沟”。佩雷尔和埃尔金科伦认为，“算法在很大程度上就是一个黑箱子，普通人根本不知道算法决策是如何出来的，也不知道算法决策依据的具体数据和遵循的决策原则是什么”。(57)在实践中，信息的过度不对称甚至导致技术劣势一方依附于技术强势一方的“数字权威”，从而最终使算法决策演变成为数字经济时代的精英统治。以美国为代表的算法治理方式愈来愈强调算法决策的透明度原则，要求算法决策者和使用者披露算法决策的具体过程，并试图设计一系列事前检测、验证以及事后审查的制度，其目的主要在于通过这些制度措施尽可能地平衡算法精英与普通个人之间的“数字鸿沟”，消除技术劣势一方对优势方的依附性，矫正算法自动化决策过程中出现的权利失衡。
因此，算法治理的一个重要手段就是提高算法决策的透明度，让政府和社会公众对算法决策行为进行有效监督。法官路易斯布兰迪斯指出，“阳光被认为是最好的消毒剂，电灯是效率最高的警察”。(58)美国联邦贸易委员会也认为：“信息掌握在消费者手中，能够提高其合理购买的决策能力，这是我们经济体系的基本原则，对于经济的有效运作来说，绝对必要。”因此，无论是政府的行政规制还是法院的司法审查，都极力倡导与强调算法透明度的重要性。例如，美国联邦贸易委员会技术研究和调查办公室对算法的透明度问题进行了独立研究，并向ftc消费者保护调查员和律师提供有关算法透明度的培训和技术专业知识。(59)它认为，算法透明度的内涵主要是要求算法源代码的透明性和开放性，并以简明易懂的方式公开输出算法决策，从而确保被决策对象充分地知悉并认同算法的正当性和合理性。(60)
(二)避免权利失衡格局，抑制算法权力
由于算法黑箱的存在，算法决策很难被审查、质询，人们受到算法歧视后，也难以获得有效救济。从本质而言，算法正逐步演变成为一种“准公权力”。算法决策者所掌握的权力与公民个人的权利之间出现了严重的不平衡。这极有可能对公民权利造成侵害。这使得传统—权利格局严重失衡，亟需矫正。在平衡权力失衡格局方面，如果直接削弱“算法权力”，可能抑制科技创新，无异于因噎废食。因此，在矫正权力失衡格局、抑制算法权力时，必须考虑科技进步，实现算法决策者与个人权利的平衡。在差异性影响审查模式中，法院就强调商业必要性可以成为算法歧视免除责任的一项理由。
为了抑制算法权力，政府和法院在治理算法时，往往会扩大个人权利，并赋予公民有权要求算法决策者进行算法解释的请求权。就算法解释而言，它主要包括解释算法和披露算法信息两个方面的内容。(61)美国通过赋予公民更多要求算法决策者进行解释的权利来提升算法透明度。2017年5月，美国二手房销售网站zillow被一位房主告上法庭。房主认为该网站使用的自动估价算法严重低估了其房产价值，造成其二手房几年内无法以合理价格售出。法院要求zillow公司对算法进行解释，并且强调算法决策的过程是能被有效解释的。(62)这种给算法决策使用者苛以算法解释义务的方式，能够有效地防止算法使用者滥用其技术优势和信息优势，从而抑制算法权力。
(三)国家权力的自我克制
随着社会复杂性增加，社会治理的方式和手段愈来愈多地在向多元主义的方向迈进。算法歧视的治理也秉持着这种多元主义的方向，愈来愈强调法律手段与技术手段的并用、自律性治理机制与他律性治理机制的并举。(63)因为算法自动化决策所引发的歧视问题是多维度、多层面和多领域的，算法歧视的形式也更为隐蔽。算法歧视的这种复杂面相要求治理方式和治理机制的多元化。倘若只用国家正式的法律机制进行算法歧视的治理，极可能使治理效果大打折扣，因为法律治理的逻辑和技治治理的逻辑存在较大差异，而且，政府和法院在知识上也存在缺陷与不足。另一方面，国家正式的法律治理机制往往具有极强的管制性的色彩，这有可能阻碍算法这种科技手段的发展。因此，在算法歧视的治理过程中，国家权力应当保持适度的克制态度，把握好权利保护与科技创新之间的平衡。为了做到国家权力的自我克制，当算法技术出现问题时，国家应当充分发挥技术治理和行业自律手段的作用，并在此基础上，强调内生型治理、技术标准、伦理道德规范等对于算法治理的重要意义。国家权力的这种自我克制态度，既能够较好地处理法律稳定与科技进步的关系，又能够有效地促进算法行业自身规制机制的形成与发展。
注释：
①see bruno lepri et al.,fair,transparent,and accountable algorithmic decision-making processes,31 phil.& tech.611,611-612(2018).
②see harris mateen,weapons of math destruction:how big data increases inequality and threatens democracy,39 berkeley j.emp.& lab.l.285,289 (2018).
③northpoint公司开发的犯罪风险评估算法compas对犯罪人的再犯风险进行评估，并得出一个再犯风险分数，法官可以据此决定犯罪人所遭受的刑罚。see tim brennan et al.,evaluating the predictive validity of the compas risk and needs assessment system,36 crim.just.& behav.21,21-40(2009).
④see lepri et al.,supra note 1,at 611-618.
⑤see ric simmons,big data and procedural justice:legitimizing algorithms in the criminal justice system,15 ohio st.j.crim.l.573,581(2018).
⑥see peggy bruner,a case against bad math,22 j.tech.l.& pol’ y 1,4(2018).
⑦see sandra g.mayson,bias in,bias out,128 yale l.j.2218,2223(2019).
⑧see talia b.gillis & jann l.spiess,big data and discrimination,86 u.chi.l.rev.459,467(2019).
⑨see aziz z.huq,racial equity in algorithmic criminal justice,68 duke l.j.1043,1068(2019).
⑩see solon barocas & andrew d.selbst,big data’s disparate impact,104 cal.l.rev.671,691(2016).
(11)see mayson,supra note 7,at 2218-2223.
(12)see daniel r.shulman,what’s the problem with google? 15 sedona conf.j.17,18(2014).
(13)see richard a.primus,equal protection and disparate impact:round three,117 harv.l.rev.494,504(2003).
(14)see pauline t.kim,data-driven discrimination at work,58 wm.& mary l.rev.857(2017).
(15)see b.lepri,j.staiano & d.sangokoya,the tyranny of data? the bright and dark sides of data-driven decision-making for social good,transparent data mining for big and small data 3,24 (springer international publishing 2017).
(16)see mark maccarthy,standards of fairness for disparate impact assessment of big data algorithms,48 cumb.l.rev.67,77(2018).
(17)see press release,fed.trade comm’ n,spokeo to pay 800,000 to settle ftc charges company allegedly marketed information to employers and recruiters in violation of fcra (june 12,2012).
(18)see maccarthy,supra note 16,at 78-79.
(19)id.at 67-79.
(20)see bruner,supra note 6,at 18.
(21)san francisco votes to ban government use of facial recognition technology,2019 wl 2149247.
(22)see lepri et al.,supra note 1,at 611-618.
(23)id.
(24)see bart custers,data dilemmas in the information society:introduction and overview,in discrimination & privacy in the information society 3,7 (springer-verlag berlin heidelberg 2013).
(25)see k.a.taipale,data mining and domestic security:connecting the dots to make sense of data,5 colum.sci.& tech.l.rev.2,184(2003).
(26)see melissa hamilton,the biased algorithm:evidence of disparate impact on hispanics,56 am.crim.l.rev.1553,1553(2019).
(27)see michele willson,algorithms (and the) everyday,20(1) information communication & society 137,150(2017).
(28)see ira s.rubinstein,privacy and regulatory innovation:moving beyond voluntary codes,6 j.l.& pol’ y info.soc’ y 356,357(2011).
(29)see philip hacker & bilyana petkova,reining in the big promise of big data:transparency,inequality,and new regulatory frontiers,15 nw.j.tech.& intell.prop.1,12(2017).
(30)id.at 20.
(31)id.at 16.
(32)pregnancy discrimination act,42 usc § 2000e (k)(2012).
(33)age discrimination in employment act,42 usc §§ 621-634(2012).
(34)the genetic information nondiscrimination act,42 usc § 2000ff-1 (a)(1)-(2).
(35)see t.kim,supra note 14,at 902-903.
(36)see maccarthy,supra note 16,at 67-77.
(37)see joshua a.kroll et al.,accountable algorithms,165 u.pa.l.rev.164,165(2017).
(38)计算机科学家一般使用两种测试方法评估算法程序：(1)静态方法，在不运行程序的情况下查看源代码；(2)动态方法，观察运行程序并评估特定输入的输出或程序运行时的状态。
(39)see maccarthy,supra note 16,at 141.
(40)see lepri et al.,supra note 1,at 611-618.
(41)id.
(42)see stuart l.pardau & blake edwards,the ftc,the unfairness doctrine,and privacy by design:new legal frontiers in cybersecurity,12 j.bus.& tech.l.227,228(2017).
(43)see andrew tutt,an fda for algorithms,69 admin.l.rev.83,113(2017).
(44)see t.kim,supra note 14,at 902-903.
(45)mcdonnell douglas corp.v.green,411 u.s.792(1973).
(46)hazelwood sch.dist.v.united states,433 u.s.299,307-309(1977).
(47)see,e.g.,gay v.waiters’ & dairy lunchmen’s union,694 f.2d 531,552-53(9th cir.1982).
(48)see hazelwood sch.dist.,433 u.s.at 310; int’ l bhd.of teamsters,431 u.s.at 340.
(49)see,e.g.,desert palace,539 u.s.at 92; price waterhouse v.hopkins,490 u.s.228(1989).
(50)texas dep’ t of cmty.affairs v.burdine,450 u.s.248,101 s.ct.1089,67 l.ed.2d 207(1981).
(51)price waterhouse v.hopkins,490 u.s.228,109 s.ct.1775,104 l.ed.2d 268(1989).
(52)stephanie bornstein,antidiscriminatory algorithms,70 ala.l.rev.519,521(2018).
(53)参见王夙：《人工智能发展中的“算法公开”能否解决“算法歧视”？》，载《机器人产业》2019年第3期，第21-22页。
(54)see griggs v.duke power co.,401 u.s.424,432(1971).
(55)id.
(56)see jennifer l.peresie,toward a coherent test for disparate impact discrimination,84 ind.l.j.773,774(2009).
(57)see maayan perel & niva elkin-koren,black box tinkering:beyond disclosure in algorithmic enforcement,69 fla.l.rev.181,184(2017).
(58)see robert l.bevan,remarks,2 ann.rev.banking l.123,127(1983).
(59)see john frank weaver,artificial intelligence and governing the life cycle of personal data,24 rich.j.l.& tech.2,9(2018).
(60)see lepri et al.,supra note 1,at 611-618.
(61)解释权的内涵应从以下方面理解：(1)算法解释权的基本构造。解释权权利主体为受到自动化决策不利决策的相对人，解释权义务主体为自动化决策的使用者(首要解释者)、开发者(最终解释者)。(2)解释的内容包括算法的输入、输出以及从中间过程的逻辑，必须是对该算法与决策的相关性进行解释。(3)解释的标准应当以正常人能够理解的方式予以解释，不需要阐明算法模型工作的确切过程。(4)解释的方式包括自然语言解释或可视化表示模型。
(62)patel v.zillow,inc.,915 f.3d 446(7th cir.2019).