文 / 清华大学五道口金融学院金融安全研究中心

2024 年 10 月 22 日，国际货币基金组织（IMF）发布了最新一期《全球金融稳定报告》。该报告通过对金融领域 AI 应用的全球市场参与者和监管机构进行调查，梳理了生成式 AI 应用在金融领域的风险以及相关从业者期待哪些方面的监管。相关内容如下。

使用生成式 AI 存在哪些风险

IMF 调研的参与者认为，金融领域使用生成式 AI 的五项关键风险包括：

1. 羊群效应与市场集中（Herding and market concentration）：如果交易和投资策略主要依赖开源 AI 模型，并且基于来自相同供应商的相似数据进行训练，可能导致市场行为趋同，增加 " 羊群效应 " 风险，进而加剧市场集中化。

2. 供应商集中（Vendor concentration）：过度依赖少数 AI 模型提供商和数据供应商可能构成系统性风险。如果这些核心供应商之一出现问题，可能会导致交易和投资活动大规模中断，影响市场稳定。

3. 市场脆弱性与操纵（Market fragility and manipulation）：生成式 AI 可能被用于通过深度伪造或错误信息来操纵市场。此外，AI 驱动的快速决策可能导致市场流动性枯竭、过度波动或闪崩；同时，由于防护机制设计不完善、AI 系统复杂性增加或恶意干预，这些防护措施可能失效。

4. 网络风险（Cyber risks）：针对金融中介机构和市场设施的网络攻击可能带来系统性风险，尤其是通过大规模的数据中毒攻击。生成式 AI 依赖海量数据进行训练，若这些数据被恶意篡改，AI 可能生成有害或误导性的内容，进一步威胁市场稳定。

5. 就业替代（Job replacement）：生成式 AI 的广泛应用对获取能够在 AI 驱动环境下工作的数据科学家和其他专业人才提出了更高要求，尽管这一问题的关注度在受访者中相对较低。

此外，金融领域使用生成式 AI 还伴随着一些其他风险：

1. 模型可解释性（Model explainability）：生成式 AI 模型的复杂性可能导致其决策过程缺乏透明度和可解释性。这种 " 黑箱 " 性质使得市场参与者难以理解 AI 模型的输出依据，进而损害市场对 AI 生成内容的信任，尤其是在涉及重大投资决策时，可能带来不确定性风险。

2. 幻觉现象（Hallucinations）：生成式 AI 有时会生成看似合理但实际上错误的内容，这种现象被称为 " 幻觉 "。在金融市场中，这类误导性输出可能对投资者决策产生负面影响，进而引发市场波动甚至错误的市场操作。

3. 高成本（High costs）：生成式 AI 模型的开发、训练和精细调校需要大量计算资源和数据处理能力。参与者担心，这种高成本可能导致市场竞争不平等，大型企业拥有显著的资源优势，而中小型机构可能难以承受如此高昂的成本，进一步加剧市场集中化。

4. 未经授权的数据使用（Unauthorized data）：生成式 AI 依赖大量数据进行训练，若数据获取未经授权或未得到妥善保护，可能导致数据隐私和合规问题。数据的滥用或泄露可能引发客户欺诈、法律纠纷，甚至损害金融机构的声誉。

5. 声誉风险（Reputational risks）：生成式 AI 的误用或不当行为可能导致金融机构的声誉受损。无论是由于模型输出不准确，还是因为涉及未经授权的客户数据使用，生成式 AI 的使用失误都可能严重影响金融机构的公众形象和市场信任度。

6. 新兴市场和发展中经济体的碎片化（EMDE fragmentation）：生成式 AI 的广泛应用可能加剧发达经济体对新兴市场和发展中经济体的冲击。AI 模型对市场波动更为敏感，尤其是在跨多个资产类别进行管理时，可能导致跨境资本流动的波动性增加，对流动性较低、市场参与者较为分散的新兴市场造成更大的破坏性影响。

相关从业者期待哪些方面的监管

根据 IMF 调查，相关从业者希望监管机构在应对生成式 AI 在金融领域的风险时，从以下七个方面进行重点关注：

1. 市场公正性与监控（Market integrity and monitoring）：监管机构需要确保金融市场的公正性，特别是在生成式 AI 广泛应用的背景下。通过加强市场监控，监管者可以及时识别和应对潜在的市场操纵行为，如通过 AI 生成的虚假信息或深度伪造（deepfake）进行的市场干预。同时，市场监控可以帮助防止因 AI 驱动的自动化决策导致的市场失灵或过度波动。

2. 人工监督（Human oversight）：尽管生成式 AI 在金融市场中的应用越来越广泛，但参与者强调，人工监督仍然至关重要。监管机构应确保在 AI 系统的关键决策环节中保留足够的人工干预，以避免完全依赖 AI 模型做出可能存在偏见或错误的决策。人类的监督能够及时纠正 AI 模型的输出，确保市场的稳定性和公平性。

3. 透明度与信息披露（Transparency and disclosures）：生成式 AI 的复杂性可能导致其决策过程缺乏透明度，进而降低市场信任。为此，参与者希望监管机构推动 AI 系统的透明度，要求金融机构提供清晰的模型信息披露，特别是在模型如何做出决策、使用哪些数据以及潜在的偏见风险方面。透明的披露有助于市场参与者更好地理解生成式 AI 系统的运作，从而增强信任。

4. 模型风险管理（Managing model risk）：生成式 AI 模型存在许多潜在风险，包括模型误差或 " 幻觉 " 现象（hallucinations），即生成看似合理但实际上错误的内容。因此，监管机构需要制定明确的模型风险管理框架，要求金融机构对 AI 模型进行严格的测试和验证，特别是通过压力测试来评估模型在极端市场条件下的表现，以减少模型失效带来的系统性风险。

5. 平衡消费者保护与创新（Balance consumer protections and innovation）：监管者需要在促进创新和保护消费者之间找到平衡。生成式 AI 技术的快速发展为资本市场带来了巨大的潜力，但如果管理不当，可能会带来消费者权益受损的风险。监管机构应制定适当的法律框架，确保消费者在使用 AI 驱动的金融服务时受到充分保护，同时避免过度监管以防止技术创新被抑制。

6. 增强监管能力（Enhance regulatory capacity）：生成式 AI 技术的复杂性和快速发展要求监管机构具备相应的技术能力以进行有效监管。参与者认为，监管者应不断提升其技术能力，特别是在 AI 技术的应用和监督方面。这包括持续培训监管人员以掌握最新的 AI 技术，并在监管和市场监控中有效整合 AI/ML 工具，以应对生成式 AI 可能带来的新挑战。

7. 网络韧性（Cyber resilience）：随着生成式 AI 的广泛使用，金融系统面临的网络安全风险也在增加。AI 系统可能成为网络攻击的目标，尤其是在金融系统依赖大量数据进行自动化决策的情况下。监管机构应推动金融机构提高网络韧性，确保其 AI 系统和数据免受网络攻击的威胁。同时，制定明确的应急预案，帮助机构在受到攻击时能够迅速恢复正常运作，避免对市场造成重大影响。

本文系未央网专栏作者 :清华大学金融科技研究院 发表，内容属作者个人观点，不代表网站观点，未经许可严禁转载，违者必究！