|
该省审计长在一份新报告中表示，供安大略省医生使用的人工智能笔记工具提供了不正确和不完整的信息，或表现出“幻觉”，并且没有得到充分评估。 安大略省审计长雪莱·斯彭斯（Shelley Spence）在对全省公共服务中人工智能的使用进行更广泛调查的过程中得出了这一结论。 她说，在省级采购用于转录医生和患者之间对话的人工智能医疗系统的过程中，政府评估人员发现 20 个程序生成的记录存在严重错误。 审计报告称：“人工智能抄写系统生成的医疗记录中的不准确可能会导致治疗计划不充分或有害，从而可能影响患者的健康结果。” “重要的是，对人工智能抄写系统进行测试，以保证其生成的笔记的质量，从而最大限度地减少不准确性。”
报告称，评估人员通过人工智能系统在假设的医生和患者之间进行了两次测试对话，以测试他们的能力，并发现了问题。 评估人员发现，其中九个系统存在所谓的“幻觉”，捏造信息或对并非医生制定的患者治疗计划提出建议。报告称，其中包括转介患者接受治疗或要求进行血液检查。 一些人工智能抄写员捕获了虚假药物处方20 个程序中有 12 个程序创建的记录包含不正确的信息，例如捕获的药物与医生开出的药物不同。 20 个系统中有 17 个遗漏了有关患者心理健康问题的关键细节。 审计人员还发现，部分系统供应商在采购过程中没有提交第三方审计报告、认证或威胁风险评估。有四个系统仍获得政府批准。 该系统在全省范围内使用，但政府已向医生发布了手动审查人工智能生成的笔记的指南，以确保其准确性。审计员建议该省在系统中实施 IT 控制，以强制医生提供证明，以确认他们审查了记录。
斯彭斯说，她在最近一次看医生时亲眼看到了人工智能抄写系统的使用。 “我实际上去看了医生，因为你可以听到我的声音与平时不完全一样……而且他们正在使用人工智能抄写员，”她说。 “所以，我提到，‘完成后请查看笔录。’” 斯宾塞表示，她并不是建议安大略人效仿她的做法，而是敦促政府彻底测试其抄写系统，以确保“我们购买的人工智能适用于安大略省人民。” 测试阶段出现的错误：部长公共和商业服务交付与采购部长斯蒂芬·克劳福德表示，报告中指出的错误是在流程测试阶段发现的。 “检查和使用该产品的医生会监督它的各个方面，”他说。 “因此，任何地方人工智能做出的每一个决定都受到专业人士的监督。” 克劳福德表示，人工智能划线系统旨在节省医生的时间。 他说：“这让他们有更多时间陪伴患者，减少保存记录的时间。”
周二，卫生部长西尔维娅·琼斯没有参加回应审计长报告的政府新闻发布会。 周三，部长发言人在一份声明中表示，目前安大略省约有 5,000 名医生正在使用人工智能抄写员，目前还没有关于该省使用人工智能抄写员造成患者伤害的已知报告。 艾玛·波波维奇在一份声明中说，医生“必须审查和批准”所有文件，然后才能将其添加到患者的病历中。 她说：“这项技术的使用完全是自愿的，需要患者同意，包括在预约期间使用人工智能之前告知患者如何使用人工智能。”  绿党领袖迈克·施赖纳表示，审计结果“令人深感不安”，并引发了患者安全问题。 “如果政府要使用这些工具，我们需要确保……它们在部署之前能够正常工作，”施赖纳说。 审计员表示，她向政府及其采购机构提出了 10 项建议，以改善人工智能在公共部门的使用，政府已同意其中 9 项。 这些建议主要侧重于提高安全性和隐私性。 来源链接：https://www.cbc.ca/news/canada/toronto/ai-scribe-system-hallucinations-9.7197049 |
