查找:                      转第 显示法宝之窗 隐藏相关资料 下载下载 收藏收藏 打印打印 转发转发 小字 小字 大字 大字
【期刊名称】 《现代法学》
算法决策规制
【副标题】 以算法“解释权”为中心【英文标题】 Regulating Algorithmic Decision
【英文副标题】 Focusing on the Right to Explanation of Algorithm
【作者】 解正山
【作者单位】 上海对外经贸大学法学院{副教授,法学博士}
【分类】 科技法学【中文关键词】 算法决策;算法妨害;解释权;算法正义
【英文关键词】 algorithmic decision; algorithmic nuisance; right to explanation; algorithmic justice
【文章编码】 1001-2397(2020)01-0179-15
【文献标识码】 A DOI:10.3969/j.issn.1001-2397.2020.01.13
【期刊年份】 2020年【期号】 1
【页码】 179
【摘要】

算法决策正成为经济与社会体系的一部分,一方面,它创造了显著的社会与经济价值,但另一方面,不公不义的预测或推断会损及个人自主与尊严从而使算法备受质疑。由于算法无法解决自身导致的妨害问题,且算法控制者与数据主体间存在明显的信息或权力不对称,因此,有必要赋予个人一项具体的数据权利——算法“解释权”,以强化其对于己不利的算法决策提出异议的权利,进而促进算法正义、保护个人自主与尊严。不过,利用“解释权”对抗算法妨害虽然必要但并不充分,其在技术上面临可解释性难题,且与商业秘密存在紧张关系。因此,算法决策需要统合规制,需要进一步增强算法决策的社会控制,优化算法应用监管。

【英文摘要】

As a part of economic and social system, algorithmic decisions are creating remarkable social and economic value; on the other hand, they are often questioned by the public, because some unjust predictions or deductions have been made by them, even individual autonomy and dignity have been impaired by their decisions. Seeing that algorithm can’t resolve nuisance created by itself, and that there is information or power asymmetry between algorithm controller and data subject, it is necessary that right to explanation of algorithm should be granted to data subject, so as to strengthen its right to object adverse algorithmic decision, then to promote algorithmic justice and to protect individual autonomy and dignity. However, right to explanation may be necessary but insufficient, because it’s hard to be interpreted and there are tensions between right to explanation and trade secrets. Because of this, algorithmic decision-making should be synthetically regulated, including the enhancement to social control and optimization of algorithmic application regulation.

【全文】法宝引证码CLI.A.1284921    
  

一、引言

何谓算法,目前并无统一定义。严格地说,它也不是法律上的概念。从技术角度看,可将算法理解为一种数学结构以及这一结构转化而来的程序、或将其视作为实现特定任务的技术应用。[1]它具有形式化特征,包括大规模收集个人或环境数据,且借由数据分析从而揭示特征与结果之间的相关性。[2]这也揭示了算法与数据之间的紧密关系——“没有数据的算法是空洞的,没有算法的数据则是盲目的”。[3]毫不夸张地说,在数据驱动的社会与经济体系中,数据就是“全新的货币”[4]。对它们进行系统加工或阐释,算法控制者(算法使用者、设计者等,下同)即可对算法决策相对人(本文亦称“数据主体”)及其行为进行预测或推断。因此,如果说算法起初是指基本的运算,那么随着大规模数据采集及分析能力的提升尤其是机器学习的崛起,算法开始超越其初始含义,具有了明显的社会及经济意义,其已被广泛地用于解决社会或经济问题,诸如个人的期望、观点以及工作表现、健康状况、行为偏好、信用评级等重要事项正在从人类之手转至算法之手,进而形成各式各样的自动化区分、评级、排序和决策,以至于越来越多的商业机构或公共部门开始依托算法解决一些复杂问题,包括雇佣、借贷、定价以及量刑、福利资格认定、国家安全审查等商业及司法或行政决策。此即“算法决策”或“自动化决策”(本文所称的“算法决策”或“自动化决策”系指依据自动化处理/算法作出的且对相对人产生法律或类似重大影响的决策,这些决策一般不包含人为干预,或者即便有人为干预但不对决策结果本身产生实质性影响)。

公平地说,大多数算法应用有益而无害。它们能带来显著的社会或经济价值,包括效率的显著提高、更加便捷的消费体验以及技术中立论者所认为的客观公正等。因此,在不少人看来,“算法只是简单的数学原理。”[5]然而,另一方面,算法决策的客观公正并非完全如我们所预期,对它的一系列疑问尚存我们脑海之中。算法决策真的能排除人类偏见从而能保持公平或中立吗?当它们怀着不可告人的目的寻求隐性利益或涉嫌对个人作出歧视性甚至是错误的评估时,如何向算法决策相对人提供救济?算法控制者应在何种程度上对其算法或算法生成的不良结果负责?所有这些都是人们普遍担心的问题。鉴此,如何让“那些对结果抱有怀疑的人可以掀开‘引擎盖子’看个究竟”[6]是人类立法者或裁判者面临的严峻挑战。

二、算法妨害——算法“解释权”的缘起

算法虽被认为是客观且中立的,即致力于在数学规则和事实基础之上而非基于社会舆论、价值观或主观判断来组织并呈现信息,但事实上,它们也时常给当事人带来损害。

其一,算法“操纵”妨碍数据主体的自主且有损他们的尊严以及经济利益。目前,商业机构正利用各种建模或算法精巧地将人们的生活转化成他人的商机,致使参与数据化生活的个人几乎都成了“被算法定义的人”[7]。通过追踪用户的日常活动数据或其经常前往的商业场所,这些商业机构便能识别出潜在消费者的个人偏好、生活方式或消费习惯等,继而进行精准的市场推广或广告投放。这种数据画像使得定向广告无比精准地在特定时间和场景达到目标客户,诱发冲动消费……这不啻是一种消费操纵。[8]此时,受益的往往只是算法控制者,被诱导的个人却无利可图甚至会遭受利益减损。例如,在滴滴与携程等公司接连爆发的“大数据杀熟”[9]事件中,那些被认定为“高价值”的目标客户就被动或盲目地接受算法控制者推荐的更高价格商品或服务,从而承担额外成本。此外,脸书公司与剑桥分析公司爆发的“算法丑闻”[10]再次表明,算法控制者完全有能力左右某个网站或服务的排名,而用户却浑然不知。不得不说,无形的“算法之手”正以一种难以觉察的方式塑造或左右我们的言行或选择。虽然“它们声称在向我们‘展现’世界的原貌,但其实这个世界是由它们创造出来的”。[11]诸如此类的“操纵”意在误导或左右被操纵者做出并非基于自己自由意志的某些决定。最终,这些不明就里的数字产品与服务的消费者/数据主体恐将沦为他人意志的工具。

其二,无形的“算法之手”对特定个人或群体进行不公平推断或将他们“标签化”。现今,大数据分析技术已经赋予了算法控制者超乎想象的预测能力,它们极可能基于分类筛选而形成所谓的“大数据黑名单”,从而不恰当地将个人或群体标记为具有某种风险或倾向,进而限制或排除他们的权利或机会。加之,算法“黑箱”以及数据买卖使得上述分类筛选得以便利化甚至秘密化,以至于那些被列入“黑名单”的当事人很多时候既无从知晓亦无法摆脱。[12]此种不公平或隐性歧视并不鲜见。美国法院广泛采用的评估罪犯再犯风险的算法工具(COMPAS)就被认为将黑人被告贴上了再犯风险高的标签。[13]另如,在保险实务中,借助大数据分析能力,汽车保险公司基于投保人毕业学校的等级与汽车事故之间的相关性分析,从而向那些受教育程度低的司机收取更高保费,即便这些驾驶人拥有良好的驾驶记录且大数据分析所考虑的因素与保险风险并无逻辑及直接的关系。[14]不得不说,许多算法模型就“像上帝一样隐晦不明……它们得出的结论往往惩罚社会中的穷人和其他受压迫的人,而富人却因此更加富有”。[15]

其三,算法所谓的客观公正存在某种程度上的迷惑性或虚幻性,而且,较之于人类决策,其不仅缺乏自我纠错能力,而且更具系统性影响。乍一看,算法决策似乎更可靠,因为它被认为不受人类判断中非理性因素的影响。然而,算法系出自容易犯错的人类设计者,他们可能忽视数据中的系统性偏见或结构性歧视。纵使这些都是无心之过,仍将导致更大范围的不公。[16]而且,很多时候,即便存在系统不准确的证据,算法控制者仍会相信这一自动决策系统生成的评估结论。因为,我们中的大多数人都是认知的吝啬者——多愿选择只需付出最小认知努力的路径甚或选择相信直觉而放弃对每项决策进行系统分析。[17]研究表明,在有其他合作者共同担责的情形下,人们会表现出松懈的一面。因此,一旦人们把自动决策系统视为“团队成员”,上述“社会惰化效应”将会出现,他们就会把完成任务的重担交给自动决策系统,而自己也就放松懈怠了。不仅如此,人们甚至会把自动化算法视为“决策权威”,从而盲目遵从。[18]更重要的是,与个人偏见只会影响少数人不同,算法偏见可能对成千上万人产生影响。一旦如此,算法决策将导致更大范围的不公或歧视,算法控制者与用户间的信息与权力不对称也将随之加剧。美国广泛采用的自动化信用评分系统就被认为对女性与少数族裔等弱势群体构成了系统性负面影响。[19]

综上可见,算法很难不偏不倚,它们总包含着一定的价值判断或特定的价值立场,即便是根据最佳技术实践编写的代码或程序也会在某些情形下失灵。于此情形之下,算法决策也就难免会置算法决策相对人于不利地位。不可否认,算法能够提升效率并在一定范围或程度上实现客观公正,包括消除人为错误,从而使越来越多的人受益。然而,“重点不是有没有人受益,而是有很多人受害”,[20]算法应用已经为一些新的形式或种类的错误创造了机会。接连发生的“算法丑闻”表明,算法的隐性歧视或操纵在雇佣、借贷、定价、教育乃至司法量刑等多种算法应用场景中普遍存在。这些“数学杀伤性武器”有时只是因为一些微不足道的理由从而关闭了人们的机会之门,且不予他们申诉的机会。[21]这似乎“是一场无声之战,穷人首当其冲,中产阶级也难逃一劫”,而人们却无法“指望自动化系统自行解决问题。尽管机器功能强大,但它们目前还不能照顾到公平,至少它们自己不能。筛选数据并且判断什么是公平对它们来说是完全陌生且极其复杂的”。[22]尤令人担心的是,算法并未把“我们”当作权利主体,而是可计算、可预测、可控制的客体。[23]因此,当算法被广泛运用于“人”的领域之时,就需建立一个适当的道德与法律框架,以维护“人”的主体性、自主性以及自由与权利。

三、对抗算法妨害:域外算法“解释权”立法考察

作为算法决策的一项规制手段,算法“解释权”已与其他新型数据权利一样渐入立法视野,其中以欧盟与美国较具代表性,下文即以欧盟及美国法为样本进行分析。

(一)欧盟“一般性禁止”例外下的算法“解释权”曾经瘦过你也是厉害

1.欧盟法对算法决策的“一般性禁止”

对于算法决策,欧盟《一般数据保护条例》( GDPR,2018年5月生效)第22条第1款规定:“个人有权不受完全依据自动化处理作出的且对其产生法律或类似重大影响的决策的约束”。从语义上理解,这一规定要么意味着算法决策相对人被赋予了一项针对完全算法决策的“反对权”,要么那些对个人具有重大影响的算法决策将被“一般性禁止”。[24]若将第22条第1款解释为“反对权”,那么算法控制者将被允许完全依赖算法进行决策,直至算法决策相对人提出反对;相反,若将该条解释为“一般性禁止”,那么算法控制者就应该对禁止之外的例外情形进行评估,并采取“适当措施”保护例外情形下算法决策相对人的自由或权利。[25]针对上述歧义,GDPR“解释性指南”明确将第22条第1款界定为对完全自动化决策的“一般性禁止”,而非仅仅是“反对权”。[26]较之于“反对权”,“一般性禁止”或能更好地保护算法决策相对人利益,使其免受自动化数据处理的可能侵害,这也意味着算法控制者不得在例外情形之外进行完全的自动化决策。

文义上,GDPR第22条第1款并未指明何谓“完全根据”及“法律或类似的重大影响”。因此,“完全根据”既可解释为自动化处理不包含任何的人为干预或影响,也可解释为虽有人为干预但对自动化处理结果本身不产生实质性影响。对此,欧盟立法者强调,算法控制者不得通过编造的人为干预而规避对自动化决策的一般性禁止,任何名义上或象征性的人工干预均不对自动化决策构成实质性影响。[27]所谓“法律影响”,则指纯粹的自动化决策对个人与他人交往、投票或参加选举、采取法律行为的自由以及个人的法律地位或合同权利等法律权利构成了影响,如合同撤销、社会福利丧失、被拒绝给予公民身份等;“类似重大影响”则指,即使个人法律权利或义务未因自动化决策而改变,但如果该决策对个人的境遇、行为或选择产生显著影响,或导致其被排除在某种机会之外而受到歧视(如金融服务、就业或教育机会丧失),那么该决策即可视为构成了“类似重大影响”。[28]据此,备受质疑的在线行为广告或价格歧视、涉嫌消费操纵的诱导性广告以及根据用户“画像”作出的差异化定价等,都被涵盖在一般性禁止之列了,以便保护个人权利或其尊严及自主等重要利益不因自动化决策而受到损害。

2.例外情形下的规制——算法“解释权”

为缓和“一般性禁止”之规定,同时也为促进数据利用尤其是算法决策的合理应用,GDPR第22条第2款规定了“一般性禁止”的例外情形,一是“合同例外”,即算法决策为数据主体与算法/数据控制者订立合同或履行该合同所不可或缺;二是“同意例外”,即算法决策已获得数据主体的明确同意;三是“法律授权例外”,即算法决策获得法律授权且算法控制者已采取适当措施保护数据主体的权利、自由及正当利益。值得注意的是,GDPR第22条第3款进一步规定:在“合同例外”或“同意例外”情形之下,算法控制者更应采取适当措施,确保公正、非歧视与准确性,以保障数据主体的权利、自由及正当利益,且至少应保证数据主体有权请求对算法决策进行人工干预、表达其观点以及对决策提出异议的权利。“至少”一词的语义表明,GDPR第22条第3款赋予算法决策相对人请求人工干预并就对其不利的算法决策表达意见或提出异议的权利只是欧盟立法者对算法控制者提出的最低要求,这也为要求算法控制者采取进一步措施(包括向算法决策相对人提供相应解释)以保护数据主体权益提供了立法解释的空间。

除上述“至少”应履行的义务外,欧盟立法者还要求算法控制者根据GDPR第13条第2款(f)项、第14条第2款(g)项之规定,向相对人提供关于算法决策的具体信息。[29]尤为重要的是,算法决策相对人“有权获得算法决策的解释并据此提出异议”。[30]此即GDPR“序言”第71条规定的算法“解释权”。与此相比,GDPR第22条第3款之规定则显得“委婉含蓄”。尽管如此,该条款仍被认为包含了针对算法决策的事后“解释权”。[31]毕竟,算法决策相对人享有的请求人工干预、表达意见或提出异议等权利与其充分理解算法决策是如何以及根据何种基础作出的密不可分。只有这样,相对人才能针对于己不利的算法决策有效地行使异议权或发表意见。这也正是GDPR“解释性指南”的基本立场。[32]况且,GDPR第22条第3款中“适当措施”与“至少”之表述,与“序言”第71条规定的算法“解释权”具有体系上的一致性与完整性。不过,应予注意的是,GDPR第13条第2款(f)项、第14条第2款(g)项只是规定了数据处理开始前应向数据主体提供的信息,意在创建算法控制者的“通知义务”,从而使数据主体了解预期或未来的自动化处理,以便他们决定是否允许自己的个人数据被处理、评估自动化处理的合理性或行使更正权与反对权等其他数据权利。[33]然而,与之不同,GDPR第15条第1款(h)项之规定,[34]不仅包括算法系统功能的一般性事前解释,包括算法目的、架构与功能以及基础数据与算法输出之间的相关性说明等,而且还内含着针对具体算法决策的事后“解释权”。[35]更重要的是,鉴于GDPR的目的在于增强对数据及数据主体权利的保护,因此,在立法逻辑上,也应对GDPR第15条第1款(h)项所规定的数据处理开始后算法控制者应提供的“有意义的信息”作宽泛解释,[36]它意味着“相当高标准的可理解性”,[37]对具体算法决策进行解释则是实现这种“可理解性”的最佳途径。

综上,欧盟GDPR第22条第3款以及第15条第1款(h)项虽都未在字面上规定算法“解释权”,但目的解释加上体系解释,以及对欧盟立法中“序言”解释性功能的正确理解,[38]已使算法决策相对人享有这一权利变得清晰可见。[39]

(二)美国法中的算法解释问题——兼与欧盟比较

整体上看,源自欧洲人权公约与基本权利宪章的人的尊严、自由与自我决定等“权利话语”已深深植根于欧盟数据保护立法之中,因此,即便如信息自由这一如此重要的价值也得让位于它们。[40]不难看出,“权利话语”下的欧盟数据保护立法赋予了数据主体对其个人数据较强的控制力,以尊重他们的尊严及自主性。鉴此,欧盟“一般性禁止”完全算法决策也就不难理解了。不过,为促进大数据产业的发展,欧盟立法并非绝对禁止算法决策,而是允许存在例外。只是,例外情形之下,欧盟立法者仍要求算法控制者确保数据主体免受操纵、歧视或不公平对待。这也是立法者赋予相对人算法“解释权”的根本出发点。与欧盟“‘一般性禁止’+例外”式算法决策规制思路不同,美国法律并未对算法决策作出严格限制,而是采用市场主义的开放数据观,即在“市场话语”下,将个人数据视为一种应受保护的市场利益,立法着眼点在于数据公平交易,并将个人视为数据的交易者进而由联邦贸易委员会等执法机构保护其不受市场欺诈和不公平对待。[41]实践中,除一般性要求算法决策不得违反平等原则外,[42]美国法还要求在算法决策中排除种族、性别、肤色、信仰、国籍等可能构成歧视的敏感因素,这与欧盟法的要求相似。

更值得注意的是,与欧盟综合式立法不同,美国数据保护及算法规制立法呈现“碎片化”状态,其针对不同行业或领域单独立法,算法解释亦因此而有所不同。其中,最突出的要数金融领域的信用评分与量刑领域的风险评估两类算法决策的解释问题。

对于信用评分算法,美国《信贷机会均等法》(ECOA)与《公平信用报告法》(FCRA)专门规定了“不利行动告知”条款,其要求贷方就不利的算法评分向金融消费者进行解释,包括拒绝提供信贷、拒绝录用或提供保险服务等其他信用评估输出结果的具体原因,[43]并告知消费者有权就信用报告中不准确或不完全的信息提出质疑。这一规定授予了那些受算法评分不利影响的个人“自动获知被拒绝的原因的权利”。[44]关于拒绝原因的通知,美国联邦储备委员会B条例进一步规定:该通知必须是具体的且应指明采取不利行动的主要原因,[45]仅仅表明不利行动建基于内部标准/政策、或仅表明申请人未能获得信用评分系统中的合格评分都是不充分的。就其目的而言,“不利行动告知”力图实现:第一,警示消费者一项对其不利的决策已然作出,以便消费者知晓他们的个人数据正在被自动处理系统使用;第二,教育消费者未来如何改变该不利结果;第三,防止歧视。[46]所有这些恰恰也是欧盟GDPR创建算法“解释权”的部分目的。然而,美国法上的“不利行动告知”仅着眼于对特定输入如何产生特定输出进行解释,旨在提供与算法决策相关的事实而非对支配决策的算法规则本身进行描述。[47]与之不同的是,欧盟GDPR采用“基于逻辑的解释”模式,即对自动决策系统的逻辑而非仅仅对决策结果本身进行解释说明,希望借此帮助个人理解算法决策并为其向于已不利的算法决策提出质疑,或确保个人获得更好的算法结果奠定基础。比较而言,美国法上的“不利行动告知”之要求或能对传统的线性算法输出进行解释,但对非线性的机器学习算法也许就无能为力了。因为,当前的信用预测因大数据分析的加持从而转向相关性分析而非因果关系判断,简单的原因列举自然就无法对基于机器学习的自动化决策之成因进行解释了。这意味着如果缺乏对系统逻辑的理解,那么算法决策相对人就无法审视决策进而判别是否存在歧视。[48]

至于盛行于量刑领域的风险评估算法,美国并无成文法要求对该类算法决策进行解释。实践中,对是否以及如何对风险评分算法进行解释存在争议,“卢米斯案”就是最好例证。案中被告认为:法院裁判借助了再犯风险评估算法报告(该算法全称为“以替代性制裁为目标的惩教犯管理画像”,其利用个人犯罪记录等公共数据以及当事人对137项问题所作回答而提供的信息,预测其再犯风险从而为其量刑或假释提供依据),且该算法作出的风险评估不充分并侵犯了他的正当程序权利。[49]被告因此提出了“打开”再犯风险评估算法之请求。然而,上诉法院(威斯康星最高法院)并不认同卢米斯的诉请,相反,“在算法公平与商业秘密之间,法院……站在了商业秘密一边”,[50]拒绝支持卢米斯“打开”算法的请求,并最终驳回了他的上诉。即便如此,其中有多数派法官还是坦承:对再犯风险评估算法缺乏理解仍是本案一个重大问题,虽经法庭反复询问,但当事人对再犯风险评估算法的原理或功能要么三缄其口、要么片言只语;事实上,对这一算法进行解释仍是必要的。[51]批评者更是指出:“正当程序权利不仅包含知情权……而且还包括一项真正的‘解释权’——被告毫无限制地获取源代码以及算法结果所依赖的逻辑的权利”,因此,如果“法庭承认‘解释权’,那么被告将能获知到底是何种机制在支配这一量刑算法。”[52]然而,纵观“卢米斯案”,无论是初审法院还是上诉法院,均未对再犯风险评估算法的使用作出任何实质性限制或采取措施要求算法控制者让渡其算法所有权,包括公开量刑算法的源代码或用简朴语言对算法的原理、功能及目的进行解释。显然,这难让公众真正地信服利用算法作出的某项决定是公平公正的。毕竟,算法到底是“彻底根除了人类偏见,还是只不过用技术包装了人类偏见”尚存疑问,而且,与人类证词的易读性与可解释性相比,“再犯模型的运作完全由算法独立完成,顶多只有极少数专业人士才能够理解。”[53]

四、作为规制手段的算法“解释权”理论画像

通过上文分析,可以看出算法“解释权”已初步被欧美立法者接纳(较之于欧美,我国正式立法虽尚未涉及算法“解释权”,但2018年5月实施的《个人信息安全规范》第7条第10-11款初步规定了这一内容:即数据主体有权对“仅依据信息系统自动决策而做出显著影响个人信息主体权益的决定”提出申诉,数据控制者应于30天内或法定期限内给予“答复及合理解释”)。此外,司法裁判者亦逐渐意识到算法解释的重要性。例如,在“Patel诉Zillow案”中,美国联邦第七巡回法院即要求案中被告Zill


  ······

法宝用户,请登录后查看全部内容。
还不是用户?点击单篇购买好饿但是不想动;单位用户可在线填写“申请试用表”申请试用或直接致电400-810-8266成为法宝付费用户。
【注释】                                                                                                     
©北大法宝:(www.pkulaw.cn)专业提供法律信息、法学知识和法律软件领域各类解决方案。北大法宝为您提供丰富的参考资料,正式引用法规条文时请与标准文本核对
欢迎查看所有产品和服务。法宝快讯:如何快速找到您需要的检索结果?    法宝V5有何新特色?
扫码阅读
本篇【法宝引证码CLI.A.1284921      关注法宝动态:  

法宝联想
【相似文献】
【作者其他文献】

热门视频更多