马长山｜算法治理的正义尺度(7)

而在美国总统大选中，Facebook、Twitter、YouTube等平台公司通过大量用户信息分析，进行数据画像和个性化推送，从而操纵选民的意识和行为，“这种影响不会触发用户的意识，而是一种潜意识，使它们成为你思想的一部分，还让你觉得这是自己的主见。”同样，英国脱欧决策过程中，也显示出一场“新型政治形态革命”——“未来操控政治的，将是数据，而不是你的大脑”。最后，归纳偏置。有研究者指出，自动学习技术以及所有的人工智能技术几乎都反映了其创立者的一种先验偏置，他们在算法中给我们提供了一个预设性的、已经解释了的世界。这样，我们所看到的世界“恰好只是我们期望看见的或我们从训练中看见的”。这些带有预设性的看法或者偏爱如果不受限制，将会“在更大程度上操控我们的生活”。由上可见，基于算法的控制，会对人格尊严、自由选择、平等参与、民主权利等产生深刻影响，这就需要按照数字正义原则，防范算法对人们的偏好诱导、思想控制和行为影响，从而维护数字人权，实现算法治理的正义目标。
通过算法的控制。通过算法的控制，主要是指通过算法决策来预测、分类、调配或者判定某个事项，进而对相对方的权益和生活产生重要影响的控制方式，它属于一种自动执行的直接干预策略，主要包括以下几种类型。一是预测评估。近年来，国内外一些金融、投资、警局等公私部门都在大量开发算法预测评估系统，例如，2004年9月至2007年4月，美国科罗拉多的公共福利系统开发自动化服务系统；2013年1月，美国南加州阿罕布拉市警察局运用“预测犯罪”系统(PredPol)；其他国家也在开发金融风险评估系统、城市安全风险评估系统；等等。然而，这些对个人的评分和评估——就业、贷款资格、危险级别，其目的主要是目标筛选，这就很可能形成一种有意或者无意的算法偏见。更为重要的是，它将导致一种被重新分类、评价、比较甚至被看透的“控制革命”，平等、自由、公正和民主原则都将遭遇重大挑战和贬损危险。
二是算法指令。例如，外卖骑手和网约车的算法派单、平台的算法定价、算法成交单、智能合约等，它们都是由算法发出自动化指令，进而实现对人力物力资源的调配。在这里，算法系统已经由简单工具变成了重要“决策者”和指令发布者，基于此，“依靠算法决定行动方向的人，可能会被导向固定的路线，就像演员只能照着剧本表演一样”。一旦存在明显的价值偏好或者出现错误，就可能带来严重的不良后果。三是算法裁决。2021年8月，俄罗斯在线支付服务公司Xsolla使用算法做出的“不敬业、效率低下”判断，解雇了147名员工。无独有偶，2019年美国亚马逊内部的AI系统，就通过追踪物流仓储部门员工的工作效率，自动生成解雇的指令。这些无疑都是缺少温度、漠视人性的算法滥用。在我国，自动化判定、自动化行政、智能裁判的情况也不断增多，如自动化招投标系统、自动化执法系统、自动化裁判系统（智能辅助裁判）等，这些系统都是通过算法决策，来对相应事项做出裁决，经由负责人员确认后生效。