| 编者按 · 2024.05.08 在2023年以哈冲突的背景下，人工智能（AI）在军事领域的应用议题在公众视阈下日益凸显。冲突造成无辜生命的逝去，特别是儿童的伤亡，不仅令人痛心，也让我们对AI的军事应用产生了深刻的反思。以色列军队在加沙地区使用AI技术区分武装人员与平民，并据此实施攻击的报道，引发了关于AI在军事领域中“负责任”使用的激烈讨论。 AI技术的军事化应用，无疑为现代战争带来了前所未有的变革。它提升了作战效率，减少了附带损伤，甚至在某些方面提高了战争的“精准度”。然而，这种“精准”是否真正意味着对平民的更好保护，却是一个值得深入探讨的问题。随着技术的不断发展，以及自主武器系统和AI决策的广泛应用，人类将不得不面对一个更为复杂且紧迫的伦理挑战：如何在追求战争胜利的同时，确保技术的使用不会侵犯到人类的尊严和生命权？ 全球范围内的专家学者、政策制定者以及公众，应共同关注AI在军事领域的应用问题，探讨如何制定出一套既符合技术发展规律，又能够保障人类尊严和生命权的规范体系。唯其如此，在下一次潜在的冲突到来时，我们才能展望更低烈度的暴力与更高水平的安全。 自2023年10月7日哈马斯宣布发动名为“阿克萨洪水”的军事行动以来，约三万四千名巴勒斯坦人丧生，包括大约1.3万名儿童。此外，超过1.2万人被假定死亡，还有七万人受伤。根据“Local Call”和“+972 Magazine”（希伯来语新闻媒体）的调查记者所公开的以色列军方文件及匿名以军采访表明：以色列军队在加沙地区使用了人工智能技术以区分并攻击武装人员和平民。事实上，以色列利用人工智能或遥控无人武器对目标进行定点清除早已屡见不鲜。2020年11月，伊朗核物理学家法赫里扎德就在德黑兰郊区遭遇遥控机枪袭击而身亡。本次以哈冲突是以色列首次在局部、大规模、长时期的战斗中运用人工智能技术支撑战争的案例，既让人们看到人工智能军事应用的作战前景，同时也引发人们对于人工智能技术、自主武器对一般平民乃至人类的无差别、失控式攻击所带来的巨大伦理挑战。正如核武器进入战争打开了确保相互毁灭的冷战时代，今日人工智能技术似乎又要打开战争冲突升级的“潘多拉魔盒”，亟需一种新的负责任的人工智能军事应用规范。 以色列人工智能技术的军事化应用进程 （一）战略规划与合作强化的起步阶段 2018年可以算作以色列人工智能军事化运用的元年，2018年5月，以色列总理内塔尼亚胡发起了“国家人工智能系统倡议”，他认为人工智能是确保国家安全、经济发展及社会稳定的重中之重。并在倡议中提出了人工智能发展的3点建议：一是将人工智能列为以色列的国家优先事项；二是在总理办公室设立人工智能管理中心;三是在五年内拨出100亿新谢克尔（约合29亿美元）用于研发人工智能。2019年，以色列创立了旨在使用人工智能加速目标生成的新军事指挥中心。以色列在人工智能（AI）领域的军事化发展采取了全面的战略规划，并强化了与各方的合作。在其战略规划中，以色列国防军（IDF）强调了AI技术整合到现有武器系统和防御平台的重要性，包括数据分析、情报收集和提高决策支持系统的效率。同时，IDF计划建立专门的AI单位，负责开发和实施AI解决方案，并培养相关人才。 以色列也意识到AI军事应用可能带来的伦理和法律问题，因此在战略中强调了制定相应的指导原则和法规的必要性。在合作方面，IDF与国内领先的技术公司合作，共同开发适用于军事环境的AI应用和技术。以色列的高等教育机构成为AI研究的重要基地，国防军与学术界的合作有助于推动前沿研究，并将理论成果转化为实际的军事能力。此外，以色列还积极与美国、英国等国家的军方和研究机构建立合作关系，基本遵循“美国-欧亚强国-域内伙伴”的战略合作逻辑共享AI技术，并在必要时进行联合研发项目。 （二）智能化转型与能力提升的发展阶段 在初步推动了“飞轮”之后，以色列努力推进人工智能军事化运用的发展，其重点是推进AI技术在整个军队中的广泛应用。以色列国防军（IDF）通过设立中央AI部门，致力于实现军事作战方式的根本性变革，从而提升作战效率和决策质量。这一转型的核心在于实现高度网络化的作战环境，其中战场态势图的共享至关重要，利用AI技术，前线作战单位能够实时接收并分析来自各种传感器和情报渠道的数据，如无人机、卫星图像和其他侦察手段。这种实时信息交换和处理能力使指挥官能够快速适应变化的战场环境，做出更加精确和及时的决策。此外，AI技术的引入还旨在减少战争中的附带损伤，通过精确的目标识别和分析，AI系统有助于区分战斗人员和非战斗人员，从而降低对平民及其财产的无意伤害。例如，AI可以辅助规划攻击路线，避开人口密集区域，或者在选择打击目标时，优先考虑那些对平民风险最小的选项。 2021年一本名为《人机团队：如何在人类和人工智能之间创造协同作用，将彻底改变我们的世界》的书以英文发行，笔名为“Y.S.准将”，据希伯来语新闻媒体披露该书作者可能是以色列精锐情报部门8200部队的现任指挥官，其认为当前作战中人类在定位打击目标和批准打击目标的决策方面存在瓶颈，人工智能机器可以快速处理大量数据，以产生数千个潜在的“目标”，此举能够大幅增强以色列军队在战时的情报能力，并最大限度地减少因侦察情报而浪费的大量人力资源。 在2023年特拉维夫大学“人工智能周”发表的私人演讲中，Y.S.准将暗示以色列军队已经将这一新机器投入使用，新机器通过采集视觉信息、蜂窝信息、社交媒体连接、战场信息、电话联系人、照片，获得有关现有哈马斯特工的数据，随后开始学习目标是否存在哈马斯人员相关特征，并根据目标与哈马斯武装成员的相似程度对其进行评级。以军情报部门对结果进行排名并确定对于攻击目标所需投入武器的阈值。虽然一开始由以色列情报人员选择这些特征，但随着时间的推移，机器会自己识别特征。他说：这可以使军队精确制定“数以万计的目标”，而是否攻击它们的实际决定仍将是“由人来决定”。   2023 年以色列国防军 8200 部队在特拉维夫大学的数据科学和人工智能中心指挥官的演讲幻灯片（图源：+972 and Local Call） （三）实战应用与效果验证的跃升阶段 以色列推进人工智能的实战应用与效果验证，2021年加沙地带的冲突就是一个显著的例子，以色列国防军（IDF）利用AI技术进行了战术部署和作战决策，这一事件甚至被形容为第一场“人工智能战争”。以色列国防军使用AI来分析大量的数据，包括来自无人机和其他侦察平台的实时情报，AI系统能够快速处理这些信息，帮助指挥官理解复杂的战场环境，并做出更加精确的决策。这种技术的应用不仅限于战略层面，也扩展到了战术层面，比如目标识别、威胁评估和武器系统的精确制导。AI技术的实战应用提高了行动的效率和安全性，同时也减少了对平民的潜在伤害。通过精确的目标识别，IDF能够避免误击非战斗人员，减少了无辜平民的伤亡和财产损失。此外，AI系统还能够辅助规划军事行动，选择最小化平民风险的行动方案。 然而，尽管AI技术在减少平民伤害方面发挥了作用，但仍然存在挑战，例如，AI系统可能因为算法缺陷或输入数据的错误而产生误判，导致平民及民用场所被打击损伤的惨例仍然时有发生，引发了极大的国际舆论、伦理与法律压力。 以色列人工智能军事化应用 导致平民伤亡引发争议 人工智能军事运用效果显著的同时，平民伤亡的问题逐步凸显出来，尤其是本次以哈冲突更为显著，冲突爆发以后，以色列情报人员手动检验了由人工智能系统筛选出的数百个目标随机样本的准确性。战争开始大约两周后，一个被称为“薰衣草”的杀戮名单得到了批准，该名单在此之前仅作为辅助工具使用。以色列军方在确认“薰衣草”系统在识别个人与哈马斯关联方面达到了90%的准确率时，授权全面使用这一系统。在战争初期，军官被完全批准使用“薰衣草”系统生成的杀戮名单，而无需深入检查机器做出这些选择的理由，也不需要审查它们所依据的原始情报数据。名单审核人员的角色从最初的决策者转变为执行机器提供的名单的操作者。 随着战事的发展，哈马斯武装部队转入地下，通过地道战、城市战与以色列军队展开了旷日持久的战斗，导致冲突陷入僵局，以色列先前的快速进攻策略失败。内塔尼亚胡政府高层和以色列军方则继续加紧对加沙地带的军事行动，宣称此次反击的规模将与以往在加沙的军事行动截然不同，目的是彻底消灭哈马斯。重点转向破坏而非精确打击，引发平民伤亡数量的大幅度增长，引发国际关切和抗议。在授权轰炸之前，以军只为每个目标花费大约20秒的时间来确保“薰衣草”系统标记的打击目标是男性。从最初允许行动中造成数十名平民死亡作为对高级官员攻击的一部分的附带损害，到为了消灭任何哈马斯人员而可能造成数百名平民死亡作为附带损害。采取这种新型军事手段的以色列官员实际上对每次行动所造成的附加伤害并非不清楚。在2021年的“城墙守护者”行动中，以色列在1,500天内攻击了11个目标；2014年的“保护边缘”行动中，以色列打击了5,266至6,231个目标；在2012年的“防御支柱”行动中，大约有1,500个目标在八天内遭到攻击。而在2008年的“铸铅”行动中，以色列在22天内打击了3,400个目标。与加沙地带前四次主要行动相比，据以色列国防军发言人称，本次以哈冲突发生后的35天里，以色列共攻击了加沙的15,000个目标。   数据来源：“Local Call”和“+972 Magazine”调查记者尤瓦尔•亚伯拉罕 在冲突的最初几周内，以色列军队在攻击被人工智能系统如“薰衣草”标记的疑似哈马斯高级成员时，军方被允许将每个目标消灭后的平民附加损伤人数限制在20人以内。但随着前线战事推进，这一“附带损害程度”被统一应用于所有可疑的低级别武装分子，不考虑他们的军衔、军事重要性和年龄，且没有进行具体个案审查以平衡暗杀他们的军事利益和预期对平民的伤害。 在本次冲突中，以色列军队的打击对象并无区别，通常对所谓的哈马斯初级成员使用非制导导弹，即大规模杀伤性的“哑弹”。以色列军方认为使用精确导弹针对初级哈马斯成员成本过高，因此选择使用大范围杀伤的“哑弹”进行攻击，完全忽视了可能引发的大规模平民伤害。据美国情报部门的估计，2023年12月，约45%的以色列空军在加沙使用的弹药为“哑弹”。 “哑弹”在加沙地带造成了严重的损害，非制导导弹在爆炸时不仅可能击中预定的目标，还可能对周围建筑和居民造成巨大伤害，实际上导致了大量的平民伤亡和财产损失。尽管以色列军队在冲突中广泛使用了这种大规模杀伤性武器，执行打击任务的士兵似乎并未感到内疚或担忧，他们更关注的是如何彻底消灭哈马斯武装力量，不仅加剧了冲突紧张局势，也让中东和平之路的可能性变得更加遥远。  2023 年 10 月 9 日，以色列对加沙地带的空袭中，一团火光和烟雾升起。（图源：Flash90） 以色列军队也因为人工智能技术的应用而无形中导致军事行动升级和打击目标的泛滥化。由于没有适当的监督机制来检测人工智能可能存在的错误，加之哈马斯的人质绑架，以军的火力打击和附带损伤程度受到极大的刺激。内塔尼亚胡总理引用“旧约”来对在加沙作战的以色列士兵发表讲话，告诉他们要“记住亚玛力人对你们所做的事情”（亚玛力人在犹太传统中代表着最邪恶之人）。在“薰衣草”系统没有打击目标（特征评级足以授权打击）的时候，以军则以较低的阈值进行攻击。当降低“薰衣草”的杀戮名单评级门槛后，更多的人成为被攻击的目标。在巅峰时期，“薰衣草”系统产生了37,000人作为潜在的人类目标，这一数字一直在变化，是否被以军界定打击目标取决于以军“设定哈马斯特工的标准”。 以色列军队的此种做法，显然漠视了平民生命与财产的安全，引发极大的国际法和人道主义争议，招致了国际社会的巨大压力。多个国家与国际机构敦促以色列停止使用大规模杀伤性武器，同时采取措施以保护无辜平民的生命和资产。以色列虽然在短期内实施了军事报复、维护国家安全，但长期的灾难性后果已经埋下了种子：几乎所有加沙地带的家庭都经历了失去亲人的痛苦，以色列军方的无差别攻击可能推动更多巴勒斯坦人毅然决然地加入哈马斯，共同对抗以色列，仇恨和报复将推动巴以和平进程进入更为不确定的未来。  以色列空袭加沙，包括美联社在内的多家国际媒体所在的大楼喷出一团火球（图源：美联社） 以上可见，在使用人工智能系统“薰衣草”辅助军事行动的过程中，出现了以下严重问题： 1. 人工智能技术系统错误地标记了与哈马斯成员有类似通信模式的平民。 2. 拥有与哈马斯成员相似的网络昵称或真实姓名的平民被错误标记。 3. 曾经使用过哈马斯成员设备的普通平民被错误地识别。 4. 战争导致手机的流通复杂化，一个哈马斯成员的手机可能在其死后多次被不同的人捡起并使用，这些平民因此被错误标记。 5. 以色列政府降低了对“哈马斯特工”定义的标准，导致民防组织、警察和消防员等被纳入人工智能数据库，使得许多拥有民用通信资料的普通平民在筛查过程中被当作潜在目标。 6. 在本次冲突爆发后，以色列军队未能及时更新人工智能数据库中的哈马斯武装人员信息。 我们需要怎样的 人工智能军事应用规范？ 时代发展到今天，人们对战争、军事的评价已经跳出了非黑即白的简单评价窠臼。对于人工智能军事化运用，地球上的不同民族都会有自己的思考与见解。要让人工智能给人类社会更多带来福音而非灾难，整个世界应该也必须基于一定的规范或原则，达成各个国家都能认可的共识。人工智能（AI）在军事领域的应用引起了国际社会的高度关注，以色列在将人工智能技术用于军事方面走在了前列，并在实战中展现了显著效果，但同时也伴随着巨大争议和国际谴责。 本文以以色列使用人工智能在军事行动中对平民造成伤害的事件为切入点，呼吁全球各国应更加负责任地推动对人工智能在军事用途上规范的建立。在制定人工智能的军事应用规范时，应当基于联合国《特定常规武器公约》等国际法律文件，遵循国际法和国际人权法。在开发、部署和使用武器的过程中，必须采纳克制的原则，并尽快明确军事对抗的行为底线，具体而言，我们认为应当遵循以下原则： 1. 透明度原则 在开发、部署和使用人工智能军事技术的过程中，应当保持开放透明，向国际社会公开相关信息，以便进行监督和评估其合法性和安全性。比如，以色列作为人工智能军事应用的领先者，应当主动公开其使用“薰衣草”等人工智能系统的具体细节，包括其算法原理、目标筛选标准、错误识别率等关键信息。同时，以色列还应接受国际社会的监督，确保其人工智能军事应用符合国际法和人道法的要求，避免对平民造成不必要的伤害。 2. 人类控制原则 人工智能驱动的武器装备系统必须在人的控制下运作，以防止发生自动杀人等严重事件。人类应承担最终责任，确保人工智能的军事应用符合国际法和道德规范。各国应当设立人工智能军事化使用监管机制，确保军队在战争发生后避免出现杀良冒功，屠杀无辜群众造成本国在国际社会遭受舆论压力，导致战争失败。比如以色列军队在本次冲突爆发以后，疏于对于人工智能数据库中哈马斯武装人员的信息更新，导致人工智能在识别目标时出现错误或遗漏。政府发布命令要求无条件按照人工智能生成名单对目标进行毁伤将决定生死的选择权完全不负责任的交予机器。 3. 目标区分原则 人工智能在军事应用中应能够准确区分战斗人员和平民，以尽量减少对平民的伤害，确保军事行动遵守国际人权法。比如，世界各国在开发人工智能军事化过程中应当采取动态分析、实时监测方法。在复杂的冲突环境中，通信模式可能因各种原因而相似，并非一定与敌对目标有关，人工智能模型需要不断地学习和适应，以便更准确地识别真正的威胁。 4. 紧急刹车原则 当人工智能系统无法识别目标或判断可能会伤害到平民时，应该具备紧急停止功能，以确保安全。比如，以色列政府在本次以哈冲突过程中逐渐下调对于所谓“哈马斯特工”的定义标准，使得众多民防组织、警察、消防员纳入人工智能数据库，导致人工智能在筛查过程中将许多具有民用通信资料的人作为潜在目标。 5. 可控技术转让原则 人工智能军事技术的转让应在可控范围内进行，防止非国家行为体和极端组织获得这些技术，避免其被滥用。比如，人工智能军事化发展领先国家应当对本国人工智能军事化武器出口进行全程跟踪，坚决杜绝本国武器流入“黑市”导致被恐怖主义势力运用于杀伤平民。 6.国际军控合作原则 各国在人工智能军事化应用领域应加强国际军控合作，共同制定和执行国际规范，以确保全球范围内的人工智能军事应用安全可控。比如，联合国安理会应当就规范及人工智能军控合作进行深入研究，并制定相关准则。 7.定期评估原则 应定期对人工智能军事应用情况进行评估，并根据实际需要调整相关控制规范，以确保其始终符合国际法和人道主义准则。 结语 人工智能技术的军事滥用及失控倾向，主要在于数据的偏见性与滞后性、计算能力的局限性以及算法的不透明性，即所谓的算法“黑箱”问题。以“黑箱”问题为例，深度学习算法在数据输入与输出之间存在一个难以被外界观测的隐藏层。由于计算机代码的复杂性和运行机制的隐蔽性，程序员在实践和技术层面很难解释输入与输出之间的因果关系，这导致了所谓的算法“黑箱”现象。即使深度学习算法在开发阶段日益先进，但在现实应用中，仍然可能犯下人类本可以避免的“低级错误”。未来世界各国应当通过加强算法模型的学习和适应性、建立严格的数据管理制度、完善手机追踪和管理机制，以及优化信息更新机制等措施，最大限度地减少误判和误伤的发生，保护战时无辜平民的生命和安全。 本文作者 朋措文德：香港中文大学（深圳）前海国际事务研究院战略与安全研究团队学生助理。 梅阳：香港中文大学（深圳）前海国际事务研究院副研究员。研究领域：国家安全与国际战略。 |
手机版
官方微信
