作为金融大模型领域全国首个以金融业务能力为核心的团体标准，《金融大模型应用评测指南》近日在沪发布，这也是深化金融垂类应用，规范和引导金融领域用好模型的关键一步。

在市委金融办、市经信委的指导下，《金融大模型应用评测指南》由市人工智能行业协会和上海金融业联合会联合发布。该指南以金融业务为核心，以金融机构模型应用为导向，从模型基础、金融安全与价值对齐、金融风险控制、金融专业认知、金融业务辅助拓展等5个维度185项指标要求，构建了金融领域大模型的能力测评框架。

模型基础能力方面，围绕模型基础理解和推演功能，指南定义了包括文本分类、信息抽取等在内的11项单模态、图文检索、视频问答等在内的6项多模态指标要求。金融安全与价值对齐能力方面，围绕模型的可靠性、可解释性以及隐私保护，指南设计了内容合规、文化价值、伦理价值等在内的9项指标要求。金融风险控制能力方面，围绕模型在实际应用中的风险防范与控制，指南则提出利率风险、汇率风险、舆情风险等在内的19项指标要求。金融专业认知能力方面，围绕模型的金融基础知识和信息解读，指南归纳了会计核算、财务报表编制与分析等在内的23项指标要求。金融业务辅助拓展能力方面，围绕银行、基金、保险、证券、信托等5个领域，指南提炼了28项业务场景，包括存贷款业务、量化交易等在内的117项指标要求。

与此同时，上海库帕思科技有限公司也发布了多维度金融大模型评测数据集（2024版），比照最高水平、最好标准，具有规模大、结构优、价值对齐等特点，符合金融领域对知识鲜活度、多样性和高密度的整体要求。金融机构比照《金融大模型应用评测指南》能力测评框架，共设计评测数据44000余句对。聚焦“模型基础能力”，围绕计算能力、逻辑推理等6个维度，设计评测数据22000余句对。聚焦“金融安全与价值对齐能力”，围绕信息内容、社会秩序等13个维度，设计评测数据2000余句对。聚焦“金融风险控制能力”，围绕合规、市场、操作等5类金融风险，设计评测数据1000余句对。聚焦“金融业务辅助拓展能力”，围绕舆情分析、智能投研等3项业务场景，设计评测数据12000余句对。聚焦“金融专业认知能力”，围绕金融专业知识、IPO图表等6种知识类型，设计评测数据7000余句对。后续，金融评测数据集将定期更新，样例集已在Open Data Lab和开放原子社区发布。

当下，上海正在推进人工智能“模塑申城”工程建设，而《金融大模型应用评测指南》及金融大模型评测数据集（2024版）的发布则能更好推动金融垂类应用，相关评测报告也将在近期发布。