CIO借助NIST框架应对生成式AI多重风险

Discover Financial Services正以审慎的策略推进生成式AI的应用。从业务各环节的实验与试点到用例落地，这家金融机构依据风险等级设定具体防护措施，以清晰视角评估AI的最佳使用方式，并优先排序项目价值——无论是面向客户的场景还是后台任务。

这一方法也为Discover提供了更强防护，以应对生成式AI带来的巨大风险。

“所有这一切都符合我们的标准、期望和政策，但仍需‘人在回路’参与，”Discover首席信息官Jason Strle对CIO Dive表示，“这是我们缓解风险的关键部分，且这一状态将持续一段时间。”

Discover的风险降低策略紧密遵循美国国家标准与技术研究院（NIST）发布的指南。NIST于7月发布了其生成式AI风险管理框架的草案。

“NIST的AI风险管理框架与金融风险管理、非金融风险管理或银行需进行的操作风险管理高度一致，”Strle说，“其模式非常熟悉。”

随着企业对生成式AI持谨慎态度，NIST的风险缓解指南成为企业在技术快速演进中寻找起点的参考。尽管领导者渴望获得大规模AI整合的潜在回报，但他们更优先避免失误并制定全面的采用计划。

NIST框架的流行并非偶然。该政府机构多年来致力于强化网络安全标准，并已获得广泛认可，如今正逐步成为生成式AI的标准制定机构。

丰富的选择

对Discover而言，Strle将NIST的自愿性框架提炼为三个步骤：

• 识别能力可能产生风险的环节。
• 证明组织理解如何量化并缓解风险。
• 每日进行监控。

NIST框架的最终版本源于去年10月美国总统乔·拜登的行政命令，为部署和开发生成式AI的组织提供了超过200项风险缓解行动。这相比4月发布的初始版本中的400项步骤有所精简。

NIST的AI指南聚焦于一系列广泛风险，包括信息完整性、安全、数据隐私、有害偏见、幻觉和环境影响等。该框架为组织提供了情境化和缓解风险的方法。

例如，为防止错误的生成输出，NIST提供了约19种企业可采取的行动，如设定最低性能阈值，并将其纳入部署审批政策的审查环节。

NIST并非唯一提供生成式AI采用指南的机构。随着供应商竞相将生成式AI嵌入解决方案，行业团体和倡导机构也在努力澄清模型评估、风险管理和负责任流程方面的困惑。

这些努力带来了大量指南、政策建议和防护选项，但尚未形成单一权威来源。

国际标准化组织（ISO）于12月发布了AI相关的管理体系标准。麻省理工学院（MIT）于8月推出了AI风险数据库，指出超过700项威胁，多家专业服务公司也创建了治理框架。

选项的增多是否让CIO们感到困惑，还是实际有所帮助，取决于咨询对象。

“我不认为这是一个简单的答案，”Strle说。拥有更多缓解威胁的方式并不总是天然有效的，因此企业领导者需要判断业务需要哪些保护。

袖手旁观只能维持一时。高管们正面临全球范围内日益收紧的AI监管，从欧盟的《AI法案》到加利福尼亚州备受争议的参议院第1047号法案——该法案于周日被加州州长加文·纽森否决。大多数领导者预计未来将面临更严格的要求，企业正在审查并更新现有实践以做好准备。

“我必须保持准备，因为最终它也会传到其他州，”AAA - The Auto Club Group的EVP、首席运营与技术官及会员体验负责人Shohreh Abedi表示。该组织在过去一年中专注于嵌入生成式AI，业务覆盖14个州、一个加拿大省份、波多黎各和美属维尔京群岛。

“我们不能把头埋在沙子里，”Abedi说。

CIO的底线

CIO们对生成式AI看似空洞的承诺日益厌倦，希望将讨论转化为行动。然而，该技术的风险清单要求更细致的安全审查，需要新框架、最佳实践和培训。

尽管有数百种缓解生成式AI风险的方法，但分析师告诉CIO Dive，技术领导者不一定需要急于全部部署。

CIO应识别最关键的风险，无论是声誉损害还是知识产权角度，Prevalent的合规专家兼内容经理Thomas Humphreys表示。“这样的思考将有助于确定哪些缓解技术对业务最有用。”

在使用生成式AI工具时保护知识产权已成为持续争议点，因为第三方工具的易用性和员工的热情导致了影子AI的激增。Gartner分析师预测，未来两年内，企业为遏制知识产权损失而增加的开支将损害投资回报率并减缓采用速度。

NIST建议组织定期监控并处理敏感数据暴露。在AAA的第二大北美俱乐部，Abedi表示，组织禁止员工随意将敏感信息输入模型，或使用专有数据训练模型。

“我们首先说的是，你不能使用我们的任何资产去进行你自己的生成式AI，”Abedi告诉CIO Dive，“我们会监控，如果发现你利用我的资产进行了操作，我们会找你并关闭它。”

Abedi表示，鼓励员工提出解决痛点的用例想法，但组织不愿让未经授权的第三方提供商完全访问其大量专有信息。

这一平衡是在与利益相关者对话和风险评估后达成的，这也是NIST在指南中强调的策略。

理解风险容忍度

NIST建议组织基于其风险容忍度作为核心治理原则来制定风险缓解措施。

“一个友好且可接受的方法是首先评估实施AI的业务需求，而不是将所有AI风险缓解指南视为万能药，”电气与电子工程师学会（IEEE）高级成员Rahul Vishwakarma表示。

当Discover考虑将生成式AI纳入工作流程时，会牢记当前的风险边界。

“如果完全自主并回答最近的ATM在哪里，那是一种风险概况，”Strle说，“当完全自主决策影响客户的财务生计或财务结果时，那是非常高的风险概况，我们尚未达到。”

Discover已设置控制和防护措施，但依赖经过培训并拥有使用政策和程序指南的员工来辨别生成式AI输出的价值。这也是NIST在指南中推荐的策略。

“我们在联络中心所做的很多工作都是‘人在回路’，你可以利用这些生成式AI能力，同时联络中心代理正在执行工作，”Strle说，“最终决定由遵循所有培训和流程的人做出。”

当生成式AI在特定用例中具有一定自主性时，CIO需要制定模型出错时的应对计划。对一些技术领导者而言，拥有关闭开关至关重要。

亚利桑那州格伦代尔市转向生成式AI以解决紧迫的支持问题，当时该市批准对其市政厅进行重大翻新，据前CIO兼CISO Feroz Merchhiya称，他现在担任加利福尼亚州圣莫尼卡市的CIO。

“我完全控制数据，也控制系统，如果它不起作用或发出错误建议，我可以关闭它，”Merchhiya谈到该企业面向IT支持的copilot工具时说，“而且我有机制通过部署人力资源来解决问题。”

技术领导者告诉CIO Dive，风险缓解和实施计划最好共同制定。Strle表示，Discover在联络中心如何最佳使用生成式AI的前期工作，与对已识别用例风险的评估相结合。

“我们创建的所有控制——金融服务必须无限期可持续——必须考虑我们所在行业的动态，而行业不断变化，”Strle说，“在我看来，NIST框架是同一基本模式的延伸。”

CIO的下一步

尽管一些企业在风险管理方面取得进展，但研究表明，部署生成式AI的企业数量与负责任、安全实践的普及程度之间存在持续差距。分析师将此归因于技术创新和采用的快速步伐。

“我看到CIO们面临更大挑战，因为他们必须做出非常困难的技术决策，甚至比以往任何时候都更困难，因为这些工具、技术和模型发展太快，”Forrester高级分析师Rowan Curran表示。

尽管生成式AI吸引了企业兴趣，但它仍在演进，最佳实践尚未固化。此外，风险管理并不总是简单的。根据毕马威（KPMG）最近的一项调查，超过五分之三的高管预计未来三到五年内其负责的风险水平将显著增加。约五分之二的高管预计超过一半的风险管理预算将用于技术。

“目前还没有规定性标准，但这些将随时间演变，”Freshworks CIO Ashwin Ballal告诉CIO Dive，“现在，就像我们都拿着AI锤子，认为一切都是钉子。”

但转变正在发生。企业正迅速厌倦实验和试点阶段。随着领导者将用例与成功指标联系起来，早期采用者的炒作面纱正在揭开。

根据德勤8月发布的研究，自今年年初以来，高级高管和董事会对生成式AI的兴趣有所下降。财富500强公司也更可能在证券文件中将AI列为潜在风险因素，而非强调其好处或用例，根据Arize AI的研究，该研究分析了每家企业最新的年度报告。

兴趣下降之际，大多数组织正应对与技术债务和基础设施不足相关的采用障碍，以及风险管理。尽管如此，企业仍对其AI计划寄予希望，使用NIST等框架的建议行动来降低采用风险。

“你必须带着建议和方案来到领导层，”Curran说，“成为那个教育者，说明这项技术如何带来改变，如何与业务目标关联，以及实现路径。”