速途网讯 10月16日,IDEA研究院(粤港澳大湾区数字经济研究院)CCNL封神榜团队开源中文基座模型Ziya2-13B-Base及其对话模型Ziya2-13B-Chat,两款模型均完全免费、可商用,已在魔搭社区ModelScope首发上架。
![](https://www.sootoo.com/wp-content/uploads/2023/10/2023101605040351.png)
三个月前,Meta开源Llama2系列大模型,包括7B、13B、70B等多个版本,它们均基于超过2万亿tokens数据集训练而成。封神榜团队在Llama2-13B的基础上,进行了650B tokens自建高质量中英文数据集的继续训练,最终训练出Ziya2-13B系列模型,弥补Llama2中文能力不足的问题。
今年5月,封神榜团队曾基于LLaMA一代推出了Ziya-LLaMA-13B模型并开源,迅速成为LLaMA生态里最好的中文基座模型。相较于Ziya-LLaMA-13B,Ziya2-13B-Base的初始训练loss值更低,训练速度提升38%,还解决了训练后期不稳定的问题。
评测结果显示,Ziya2-13B-Base模型在中文、英文、数学、代码等下游理解任务上的表现均明显优于Llama2-13B和Ziya-LLaMA-13B。
![](https://www.sootoo.com/wp-content/uploads/2023/10/2023101605035142.png)
依托于Ziya2-13B-Base强大的基础能力,封神榜团队优化了SFT阶段的训练策略,在300B tokens 预训练的Ziya2-13B-Base模型基础上,使用约40万指令样本和8K上下文窗口,训练出对话模型Ziya2-13B-Chat。此外,还在数万条高质量人类偏好数据训练的奖励模型上,针对多种问答、写作以及安全任务进行了强化学习训练,使Ziya2-13B-Chat模型的输出更贴合人类偏好,具有更高的安全性。
评测结果显示,Ziya2-13B-Chat模型与Ziya-LLaMA-13B-v1.1模型在side-by-side评测下取得了66.5%的胜率,相较于人类反馈强化学习前的版本取得了58.4%的胜率。
![](https://www.sootoo.com/wp-content/uploads/2023/10/2023101605034167.png)
魔搭社区基于Ziya2-13B-Chat模型开发了体验接口,普通用户可以直接体验或使用模型;魔搭公众号也推出了最佳实践教程,提前跑通模型的部署、推理和微调,供开发者参考。
作为魔搭社区的重要合作伙伴,封神榜团队开源的系列大模型都把魔搭作为首发平台,这些模型也在开发者群体中广受欢迎。
阿里云魔搭是国内规模最大、开发者最活跃的AI模型社区,已聚集国内30多家头部人工智能机构贡献的1200多款优质AI模型,并提供一站式的模型体验、下载、推理、调优、定制等服务,模型总下载量已突破 8500万次。(栀橙)