速途网5月26日讯(报道:乔志斌)近日,度小满正式开源千亿级中文金融大模型——“轩辕”。轩辕大模型是在1760亿参数的Bloom大模型基础上训练而来,在金融名词理解、金融市场评论、金融数据分析和金融新闻理解等任务上,效果相较于通用大模型大幅提升。
据度小满方面介绍,在金融场景中的任务评测中,轩辕全面超越了市场上的主流开源大模型,赢得了150次回答中63.33%的胜率。在通用能力评测中,轩辕有10.2%的任务表现超越ChatGPT 3.5,61.22%的任务表现与之持平,涉及数学计算、场景写作、逻辑推理、文本摘要等13个主要维度。
为了提升轩辕大模型对金融领域问题的理解能力,度小满将自身业务中积累的金融领域的千亿tokens的中文预训练数据集用来训练模型。该数据集涵盖了金融研报、股票、基金、银行、保险等各个方向的专业知识。度小满表示,经过清洗和标注的高质量数据集,不仅在通用性方面与ChatGPT达到持平成为可能,且提升了模型在金融垂直领域的性能。
目前,千亿级的轩辕模型已可以在Huggingface中申请下载,面向所有金融机构开放。