人工智能（AI）不再是实验室里的玩具，它正快速进入金融、医疗、能源等关键行业的核心系统。这带来了巨大的机遇，也带来了全新的网络安全挑战。企业必须重新思考如何保护自己的数字资产。
SAP 作为企业软件巨头，自然也在积极布局 AI。他们不仅在开发 AI 功能（比如 Joule 助手），也在同步思考如何构建和管理值得信赖的 AI 系统。这涉及到安全设计、治理框架、可解释性、开源 AI 的应用以及 AI 代理（Agent）的管理等一系列问题。SAP 首席 AI 安全官苏达卡尔·辛格（Sudhakar Singh）最近分享了一些 SAP 的思路。
给 AI 一个“刹车”？不止是终止开关
当 AI 被用到关键基础设施中，一个很自然的问题是：需要“终止开关”（Kill Switch）吗？万一 AI 失控怎么办？
SAP 认为，在关键系统中确实需要强有力的监督和控制机制。一个能在异常时停止 AI 运行的机制（类似“终止开关”）可能是必要的保障。但这不应该是一个简单的、依赖人工操作的按钮。更可靠的方式是多层防护。系统应包含多种故障保护机制，比如设置预定义的风险阈值，一旦触发就自动关闭。
至于谁有权启动这类机制，这需要监管机构、企业安全团队和既定的治理框架共同来决定，避免权力滥用或单点故障风险。SAP 推崇的是一种“责任设计”（Responsibility by Design）方法，确保 AI 在清晰、透明、管理良好的安全策略下运行。
“解释”的尺度：透明与安全的平衡
“可解释 AI”（Explainable AI, XAI）现在很受关注。大家都希望 AI 的决策过程不是一个“黑盒子”。这对于建立信任、明确责任非常重要，尤其是在金融、医疗这些受到严格监管的行业。
完全的透明是不是总能带来好处？也不一定。过度解释 AI 的决策逻辑，有时反而可能暴露其弱点，让攻击者更容易找到操纵输出或绕过安全检测的方法。比如在网络安全领域，过多公开 AI 驱动的异常检测算法细节，可能会帮助攻击者开发出规避技术。
需要在可解释性和安全需求之间找到平衡点。提供足够的洞察力以满足合规和道德要求，同时要保护 AI 系统本身的完整性不受损害。SAP 在设计 AI 模型时，正是在一个强调安全和负责任信息披露的框架内，努力实现可解释性和可问责性的平衡。不同角色的用户（数据科学家、最终用户等）对解释的需求不同，这一点也需要考虑。
AI 代理来了，风险也来了
AI 代理（Agent）代表了自动化决策的新浪潮，它们能自主执行更复杂的任务。这带来了效率提升，也引入了新的安全风险：
- 数据泄露风险
- 遭受对抗性攻击（被欺骗或误导）
- 未经授权的访问
- 与不受信任的 API 交互带来的风险
企业需要为 AI 代理的广泛应用做好准备。这意味着必须实施严格的访问控制、实现对其行为的实时监控，并建立强有力的治理规则来规范 AI 代理的交互SAP 的做法是将安全能力内置到 AI 代理中。通过身份验证、加密通信、异常行为检测等多层防御机制，确保代理在预设的边界内安全运行。SAP 的 AI 助手 Joule 就是一个例子，它运行在 SAP 的云环境中，设计上就考虑了保护敏感企业数据和支持安全 AI 使用。
开源 AI 进企业？先做“安检”
开源 AI 模型为企业提供了更多选择和灵活性。但在将其部署到企业环境之前，必须进行全面的安全评估。开源模型的风险状况取决于多个因素：训练数据的来源和质量、模型本身可能存在的偏见、对恶意输入（对抗性攻击）的敏感性等。SAP 对采用开源 AI 模型有结构化的评估流程。这包括识别潜在漏洞、采取额外的安全加固措施（如进行专门审计）、实施严格的数据访问控制。将开源模型托管在安全可控的环境中，限制其暴露面，也能有效降低风险。
SAP 内部会维护一个经过审查和批准的开源模型注册表。任何要在业务应用中使用的开源模型，都必须经过详细审查，覆盖许可合规、模型功能、安全性和数据隐私等多个方面。只有通过审查、被认为是可信的模型才会被允许使用。
“设计信任”：谁最需要？
哪些行业或场景最应该采用“设计信任”（Trust by Design）的方法来实施 AI？答案是那些处理大量敏感数据的行业。金融、医疗保健、公共服务机构等都属于此列。这些行业面临严格的监管要求，信任、透明度和安全性是 AI 应用的基石。
想想银行业的欺诈检测、医疗领域的预测性诊断分析、网络安全中的自动化威胁狩猎。这些 AI 应用都要求模型既要准确，又要风险可控。从一开始就把安全、合规、道德考量融入 AI 的设计和开发过程，是确保合规、并与用户及利益相关方建立持久信任的关键。
网络安全的未来：AI 驱动的变革
网络安全领域正进入一个由 AI 驱动的快速变革期。AI 既带来了新的威胁（如 AI 生成的恶意软件、更逼真的钓鱼攻击），也提供了更强大的防御工具（如 AI 驱动的威胁检测和响应）。网络安全专业人员的角色也将随之演变。未来的安全岗位将更需要具备 AI 风险管理、对抗性测试、安全 AI 部署与运维等相关技能。随着 AI 代理和自动化工作流变得越来越复杂，能够微调、监控和保护这些智能系统的专业人才需求会持续增长。
SAP 也在积极开发基于 AI 的安全工具，并培训其安全团队适应这个新环境。AI 与网络安全的深度融合，将定义下一阶段的数字韧性，并为掌握相关专业知识的人才创造新的职业机遇。企业在向SAP S/4HANA Cloud转型时，SAP 许可 (License) 从 On-Premise 时代的经典指定用户模型转向全新的 FUE 许可模式，且 SAP 产品的许可 (License) 包含诸如“组件授权、用户授权、计量模式”等复杂模型，这对企业来说如同一个黑匣子，难以理解其工作原理。此外，企业还面临 SAP 的 License 审计等合规性问题。赛锐信息在 SAP License 审计流程方面拥有丰富咨询经验，拥有自主研发的高效 SAP License 资产优化软件产品，欢迎企业在需要时随时联系我们，以获得我们的支持服务和软件产品试用体验。
