免责声明：我真的不喜欢称之为备忘单。这意味着您可以直接使用它们，尽管通常只有制造它们的人才能真正使用它们。这是一份这样的“备忘单”。我仍然希望它能帮助我们正确看待事情。
根据《人工智能法》第 3 条第（25）款，“上市后监测系统”（PMMS）涉及收集和审查人工智能系统使用经验的所有活动，以确定必要的立即纠正或预防措施。 （因为没有什么比即时修复人工智能的问题更能说明进步了。）
此外，第 72 条要求该制度与该制度的性质和风险相称。它要求主动、系统地收集、记录和分析有关系统性能的相关数据。 （翻译：这不是 GDPR 的人，像松鼠为冬天囤积坚果一样收集数据（除非是个人的，否则也许不会？）。）
最后，PMM 系统必须遵循 PMM 计划，委员会将在大约 1.5 年内提供更多细节。由于这在科技世界中基本上是永恒的，所以我决定推测人工智能系统的 PMM 可能是什么样子。我喜欢将该计划视为一种有根据的猜测，对于已经拥有 PMM 系统的提供商来说可能特别有用。他们现在只需要添加人工智能系统特定的组件。很简单，对吧？那么让我们直接开始吧。
目标和目的
Recital 155 将 PMMS 指定为 AI 行业的安全网，旨在让提供商即时修复其系统 – 它基本上要求 24/7 服务支持。该系统对于“自适应”人工智能尤其重要，它在部署过程中不断学习（是的，根据《人工智能法案》，即使那些不具有自适应性的系统也被视为人工智能）。当这些人工智能系统开始以意想不到的方式发展时，拥有强大的监控系统对于在风险升级之前发现风险至关重要。
但它并不止于此。 PMMS 还兼任人工智能风险调查员，负责识别并及时报告任何严重事件或新风险。因此，如果您的人工智能系统导致死亡或严重健康损害、破坏关键基础设施、侵犯基本权利或损害财产或环境，您需要通知当局以及人工智能链上您下游的任何人（进口商、分销商） 、部署者）。第 20 条还规定，如果供应商对其人工智能是否遵守该法案有任何疑问，则有义务采取行动，直至将其从市场上撤下。我们不要忘记，PMMS 不仅仅用于监控和记录这些风险；它还用于监控和记录这些风险。这是关于分配责任并建立明确的流程来缓解问题并将其报告给每个需要知道的人。
主要特点
归结起来，合规且高效的上市后监控系统的主要特征是：
1. 产品特定：针对每个人工智能系统量身定制。
2. 实现持续的表现监控：就像拥有一位永远不会让您孤单的私人教练一样。
3. 处理角色和责任：这样当事情出现问题时，你就能确切地知道该责怪谁。
4. 建立程序并促进沟通：对于遵守报告义务至关重要。
5. 包括定期和特殊审查：保持系统最新且有效。
6. 涉及（相当一部分）文档：PMM 计划和退出报告中的详细记录。文书工作是任何伟大系统的支柱。
7. 允许集成：补充其他系统（风险管理/质量管理）。
上市后监测计划
虽然我们热切等待委员会根据《人工智能法案》制定上市后监控 (PMM) 模板，但我们已经可以通过研究医疗和制药行业来收集一些见解。多年来，他们一直要求制造商遵守高标准，而 ISO 20416（医疗设备上市后监督标准）可能只是让我们初步了解委员会对人工智能系统提供商的期望。
ISO 20416 将 PMM 计划描述为在整个产品生命周期中收集和分析数据的综合策略。这比《人工智能法案》的版本要广泛得多，后者将其简化为事件检测和响应的机制——如果你问我的话，这是一个相当狭窄的焦点。然而，我们暂时忽略这一点，而是关注上市后监测计划及其最有可能需要的成分。始终牢记《人工智能法案》的事件驱动方法。
要设计 PMM 计划，您应该考虑并记录以下几点：
1.范围：首先定义人工智能系统，包括其类型、底层技术、风险类别以及部署地点。然后评估系统的成熟度和当前的技术水平。最后，详细说明其预期用途和目的。
2. 目标：概述您的总体目标，例如通过收集和分析新的相关信息以及监控新出现的风险和事件来减少已识别的不确定性，以及具体目标，包括根据提供商的现有期望和情况解决具体问题/风险/担忧风险评估以及收集的数据。
3. 职责和权限：为必须在人工智能系统的整个生命周期中执行的各种任务（包括这些任务的描述）分配职责和权限。此外，确保由具有适当技能、资源和足够权力的适当人员负责。
PS 事实证明，ISO 20416 标准对于角色及其能力的示例非常有帮助。这些可以包括：
- 上市后监督计划的制定和执行，分配给组织管理层，并负责组织的总体上市后监督流程。
- 后期事件处理，分配投诉处理，负责处理投诉以及报告不良事件。
- 持续的数据收集，分配给信息事务，并负责根据已知和最先进的评估方法以及具体情况收集数据。
这些将根据具体的人工智能系统、组织资源甚至组织内现有的角色及其能力而有很大差异。
4. 数据收集：首先规划您的数据源——从用户反馈和日志文件到科学出版物和社交媒体。定义来自特定来源的数据的置信度和重要性。指定从这些来源收集的数据的属性，以及它们的预期用途和有用性。
选择正确的方法来收集这些数据，无论是主动的（如调查）还是被动的（如审查投诉）。方法的选择取决于您要分析的内容及其原因。例如，无论您是分析数据以确定原因并报告事件，还是识别潜在的新风险并探索想法，这都不是无关紧要的。如果您正在分析全球、区域或国家部署数据，这也并非无关紧要。
最后，建立数据收集协议，确保每个步骤都有记录、监控和质量检查。将此视为您的 PMMS 日志，记录上市后旅程中的每一个曲折。
5. 数据分析：根据您的数据，您可能会选择计算平均值和百分比等定量方法来了解整体绩效。如果您正在处理更复杂的关系，您可以使用相关性或回归分析来查看不同因素如何相互作用。对于定性数据，内容分析或话语分析等技术可以帮助您理解信息，识别反复出现的主题或潜在问题。有时，需要结合使用两种方法才能获得全面的了解。关键是将您的分析方法与 PMM 计划的目标（无论是确定事件的根本原因、标记新风险还是探索增强系统性能的方法）以及可用数据保持一致。
退出报告
最终，您的上市后监控计划中概述的所有问题和目标都需要整齐地包含在所进行的数据分析的退出报告中。再次符合 ISO 20416 标准，该报告可以包括：
- 摘要：快速概述 – 谁参与、报告的内容以及在哪里可以找到要点。
- 人工智能系统的背景：详细说明系统的版本，无论是纯软件还是具有物理组件，以及其他相关背景。
- 系统描述：明确说明人工智能系统的预期用途和排除用途。
- 数据概述：提供上市后监督期间收集的数据的概述。
- 数据分析：深入分析，解释数据告诉你什么以及为什么。
- 建议：根据您的发现提出需要采取的任何行动。
- 结论：权衡风险和收益，并列出用于决策的标准。
- 审核时间表：根据系统的风险和调查结果设置下一次审核的时间表。
对上市后监控系统的审查
一旦您的上市后监控系统启动并运行，仅仅让它处于自动驾驶状态是不够的。你必须密切关注它是否真正实现了目标。这意味着安排定期审查——在更新、新版本之后或每年一次。此外，如果事件开始堆积，您会收到当局的报告或警告，并进行特殊审查。
要确定何时需要这些特殊审查，请建立触发仔细检查的阈值。如果您达到了其中一个阈值，或者某些风险无法降低到可接受的水平，您可能需要做更多的工作，例如修改 PMMS、采取纠正措施或向当局报告。确保记录您在这些审核期间所做的任何更改，包括其背后的原因，以便您的最终报告描绘出完整的情况。
与其他系统和流程的相互作用
最后，请记住，您的上市后监测数据并非存在于真空中。这不仅仅是第 72 条规定的独立义务，它还纳入第 17 条规定的质量管理体系 (QMS) 和第 9 条规定的风险管理体系 (RMS)。因此，用它来完善您的流程，指导您的人工智能系统设计，并推动改进。
此外，它还可以作为您遵守所有这些监管要求的门票，包括首先维护 PMM 系统，还可以启动纠正措施，并按照第 20 条和第 26 条的要求让每个人了解新的风险或事件当当局打电话提出正式请求时，您将掌握所有信息，随时表明您已掌控一切。这听起来确实是个好主意。
版权声明
本文为本站原创内容,转载需注明文章来源(https://www.eiefun.com)，另:文中部分素材可能会引用自其他平台，如有侵权或其它，请联系 admin@eiefun.com，我们会第一时间配合删除