## 目录 - [模型介绍](#模型介绍) - [效果评测](#效果评测) - [快速开始](#快速开始) - [声明与协议](#声明与协议) ## 最新动态 * 2024年12月10日 开源2TB高质量多模态的大模型训练数据集 ## 模型介绍 一招（YiZhao)是招商银行联合华为、智谱AI，在全国产的设备与训练框架下训练得到的金融领域大语言模型系列。我们首先在大规模高质量数据上进行预训练，再通过高质量金融数据进行后期微调（SFT），最后通过直接偏好优化（DPO）进一步优化模型，最终训练出了YiZhao-12B-Chat。YiZhao-12B-Chat具备自然语言理解、文本生成、舆情事件抽取、工具使用进行互动等多种功能。YiZhao-12B-Chat是一个专为金融领域设计的 120亿参数大型语言模型，支持32K上下文长度。 主要特点： 对海量通用语料与金融语料进行了多维度数据清洗与筛选，保证训练数据的数量和质量。 YiZhao-12B-Chat是基于GLM（General Language Model）架构的中英双语对话模型，具有120亿参数，专为问答和对话场景优化。 YiZhao-12B-Chat完全基于国产算力和国产深度学习框架MindSpore进行训练，算力和算法框架更自主可控。 这款模型在云端私有化部署后，可以为企业和个人提供高效、灵活的智能对话解决方案。 本仓库是YiZhao-12B-Chat safetensor格式的权重文件，可通过transformers 直接加载。 下载链接： | 社区 | 下载地址 | |:-----:|:------------------------------------------------------------| | 魔搭社区（mindspore） | https://www.modelscope.cn/models/CMB_AILab/YiZhao-12B-Chat/ | | 魔搭社区（safetensor） | https://modelscope.cn/models/CMB_AILab/YiZhao-12B-Chat-HF | | 魔乐社区 （mindspore） | https://modelers.cn/models/CMB_AI_Lab/YiZhao-12B-Chat/ | | 码云 | https://gitee.com/mindspore/mindformers/tree/dev/research/yizhao | ## 效果评测 效果评测包括通用能力评测和金融领域评测。模型在保持通用能力的基础上进一步提升金融领域能力。 #### 1. 通用评测 在通用领域评测中，我们选择当下主流的几类客观评测基准，见下表： | 能力 | 任务 | 描述 | |--------|-------|----------------------------------------------------------------| | 逻辑推理 | [ARC Challenge](https://huggingface.co/datasets/malhajar/arc-tr) | ARC问题需要多种类型的知识与推理，包括定义、基本事实和属性、结构、过程与因果、目的论、代数、实验、空间/运动学、类比等，ARC问题集包含7787个自然科学问题 | | 中文知识 | [CMMLU](https://huggingface.co/datasets/haonan-li/cmmlu) | 67个学科中文考试题 | | 数学能力 | [GSM8K](https://huggingface.co/datasets/openai/gsm8k) | 8.5k个样例，数学推理能力 | | 通用知识 | [MMLU](https://huggingface.co/datasets/cais/mmlu) | MMLU 是一个涵盖STEM、人文学科、社会科学等57个学科领域(例如,数学、法律、伦理等)的评测基准,旨在考察大语言模型将知识运用于问题解决的能力 | | 指令遵从 | [IFEval](https://huggingface.co/datasets/HuggingFaceH4/ifeval) | 确定了25种可验证的指令类型，500个包含一个或多个可验证指令的提示（prompts） | ##### 测试结果如下： | 模型 |逻辑推理|中文知识|数学能力|通用知识|指令遵从| |:-------:|:-------:|:-------:|:-------:|:-------:|:-------:| ||arc_challenge|cmmlu|gsm8k|mmlu|ifeval| |一招-12B-Chat|0.9331|0.7158|0.8993|0.7192|0.5432| ##### 小结： YiZhao-12B在通用评测集方面均有出色表现。 YiZhao-12B的预训练方案并没有牺牲过多模型通用能力，而且增量训练数据中的中文金融数据，也一定程度地增强了模型的逻辑推理、中文、数学等能力。 #### 2. 金融评测 金融评测主要包括以下三个测试： | 任务 | 描述 | |:-----|---------------------------------------------------------| | [CCKS-IJCKG：DFMEB](https://sigkg.cn/ccks-ijckg2024/evaluation/) | 为了推动LLM在数字金融领域的发展，并解决实际金融业务问题。招商银行联合中科院自动化所、科大讯飞股份有限公司，结合实际生产场景，推出数字金融领域评测基准（Digital Finance Model Evaluation Benchmark，DFMEB）。该评测基准包含六大场景（知识问答、文本理解、内容生成、逻辑推理、安全合规、AI智能体），涵盖69种金融任务，有利于帮助开源社区和业界快速评测公开或者自研LLM。 | | [CFBenchmark-OpenFinData](https://github.com/TongjiFinLab/CFBenchmark/blob/main/README-CN.md) | “书生•济世”中文金融评测基准（CFBenchmark）基础版本由CFBenchmark-Basic（全部为主观题，不参与测评）和CFBenchmark-OpenFinData两部分数据组成。OpenFinData是由东方财富与上海人工智能实验室联合发布的开源金融评测数据集。该数据集代表了最真实的产业场景需求，是目前场景最全、专业性最深的金融评测数据集。它基于东方财富实际金融业务的多样化丰富场景，旨在为金融科技领域的研究者和开发者提供一个高质量的数据资源。 | | [FinancelQ](https://github.com/Duxiaoman-DI/XuanYuan/tree/main/FinanceIQ) | FinanceIQ是一个专业的金融领域评测集，其涵盖了10个金融大类及36个金融小类，总计7173个单项选择题，某种程度上可客观反应模型的金融能力。 | ##### 测试结果如下： |模型|CCKS-IJCKG：DFMEB|CFBenchmark-OpenFinData|FinancelQ| |:-------:|:-------:|:-------:|:-------:| |一招-12B-Chat|0.8218|0.8798|0.6867| ##### 小结： YiZhao-12B-Chat在金融测评方面表现优异。 YiZhao-12B-Chat有着较强的专业知识能力，在金融分析、金融考核、金融安全合规、风险检查等多个专业领域维度有着极好的表现。 ## 快速开始 YiZhao-12B-Chat模型已发布在魔搭社区、昇腾社区、招行官网，请根据上述链接进行下载。下方为模型的推理部署使用方法。 ### 依赖软件 ```shell pip install 'transformers>=4.46.0' ``` ### 代码示例 可以使用modelscope 或transformers 直接加载进行推理使用。 ```python from modelscope import AutoTokenizer, AutoModelForCausalLM, snapshot_download model_dir = snapshot_download("CMB_AILab/YiZhao-12B-Chat-HF") tokenizer = AutoTokenizer.from_pretrained(model_dir) model = AutoModelForCausalLM.from_pretrained(model_dir).half().cuda() model = model.eval() message = [ { "role": "user", "content": "你好，介绍一下你自己" } ] inputs = tokenizer.apply_chat_template( message, return_tensors='pt', add_generation_prompt=True, return_dict=True, ).to(model.device) input_len = inputs['input_ids'].shape[1] generate_kwargs = { "input_ids": inputs['input_ids'], "attention_mask": inputs['attention_mask'], "max_new_tokens": 128, "do_sample": False, } out = model.generate(**generate_kwargs) print(tokenizer.decode(out[0][input_len:], skip_special_tokens=True)) ``` ## 声明与协议 #### 声明 我们在此声明，不要使用一招（YiZhao）模型及其衍生模型进行任何危害国家社会安全或违法的活动。同时，我们也要求使用者不要将一招（YiZhao）用于没有安全审查和备案的互联网服务。我们希望所有使用者遵守上述原则，确保科技发展在合法合规的环境下进行。 我们已经尽我们所能，来确保模型训练过程中使用的数据的合规性。然而，尽管我们已经做出了巨大的努力，但由于模型和数据的复杂性，仍有可能存在一些无法预见的问题。因此，如果由于使用一招（YiZhao）开源模型而导致的任何问题，包括但不限于数据安全问题、公共舆论风险，或模型被误导、滥用、传播或不当利用所带来的任何风险和问题，我们将不承担任何责任。 #### 协议 社区使用一招（YiZhao）模型需要遵循[《“一招（YiZhao）”许可协议》](https://modelscope.cn/models/CMB_AILab/YiZhao-12B-Chat/file/view/master?fileName=LICENSE.txt&status=1)。 如果使用方为非自然人实体，您需要通过以下联系邮箱ailab@cmbchina.com，提交《“一招（YiZhao）”许可协议》要求的申请材料。审核通过后，将特此授予您一个非排他性、全球性、不可转让、不可再许可、可撤销和免版税的有限许可，但仅限于被许可方内部的使用、复制、分发以及修改，并且应当遵守《“一招（YiZhao）”许可协议》。