11月6日，由李开复博士带队创办的AI2．0公司零一万物正式开源发布首款预训练大模型 Yi－34B。
根据 Hugging Face 英文开源社区平台和C－Eval 中文评测的最新榜单，Yi－34B预训练模型以黑马姿态取得了多项 SOTA 国际最佳性能指标认可，成为全球开源大模型“双料冠军”，这也是迄今为止唯一成功登顶 Hugging Face 全球开源模型排行榜的国产模型。
李开复博士表示：“零一万物坚定进军全球第一梯队目标，从招的第一个人，写的第一行代码，设计的第一个模型开始，就一直抱着成为‘World＇s No．1’的初衷和决心。
Yi－34B 登顶全球英文及中文权威榜单 No．1
Hugging Face是全球知名的开源社区平台，汇聚了众多AI领域的专家和开发者。同时，Hugging Face还提供了一系列开源预训练模型的评测指标，为开发者提供了一个公平、客观的评价平台。
在 Hugging Face英文测试公开榜单Pretrained预训练开源模型排名中，Yi－34B以70．72 分位列全球第一，碾压 LLaMA2－70B 和 Falcon－180B 等众多大尺寸模型。
C－Eval是中文语言理解与生成的评测基准，旨在评估模型在中文语言处理任务中的性能。C－Eval包含了多个子任务，如文本分类、情感分析、问答等，通过综合考察模型的准确率、召回率、F1值等指标，对模型的性能进行全面评估。
作为国产优质大模型， Yi－34B更“懂”中文。在C－Eval中文权威榜单排行榜上超越了全球所有开源模型。对比大模型标杆GPT－4，在CMMLU、E－Eval、Gaokao 三个主要的中文指标上，Yi－34B 也具有绝对优势，凸显中文世界的优异能力，更好地满足国内市场需求。
从更为全面的评估看，在全球大模型各项评测中最关键的 “MMLU”（Massive Multitask Language Understanding 大规模多任务语言理解）、BBH等反映模型综合能力的评测集上，Yi－34B 同样表现突出，在通用能力、知识推理、阅读理解等多项指标评比中全部胜出。
全球最长200K 上下文窗口
此次开源的Yi－34B模型，将发布全球最长、可支持200K 超长上下文窗口（context window）版本，可以处理约40万汉字超长文本输入。相比之下，OpenAI的GPT－4上下文窗口只有32K，文字处理量约2．5万字。
在语言模型中，上下文窗口是大模型综合运算能力的金指标之一，对于理解和生成与特定上下文相关的文本至关重要，拥有更长窗口的语言模型可以处理更丰富的知识库信息，生成更连贯、准确的文本。
受限于计算复杂度、数据完备度等问题，上下文窗口规模扩充从计算、内存和通信的角度存在各种挑战。为此，零一万物技术团队实施了一系列优化，包括：计算通信重叠、序列并行、通信压缩等。通过这些能力增强，实现了在大规模模型训练中近100倍的能力提升，也为Yi系列模型上下文规模下一次跃升储备了充足“电力”。
AI Infra实测实现 40％训练成本下降
AI Infra（AI Infrastructure 人工智能基础架构技术）涵盖大模型训练和部署提供各种底层技术设施，包括处理器、操作系统、存储系统、网络基础设施、云计算平台等等。是模型训练背后极其关键的“保障技术”，这是大模型行业至今较少受到关注的硬技术领域。
李开复博士曾经表示：“做过大模型 Infra 的人比做算法的人才更稀缺”。超强的 Infra 能力是大模型研发的核心护城河之一。
零一万物 Yi系列大模型基于阿里云平台打造，阿里云强大的智能算力基础设施为模型训练提供了稳固的基石。零一万物的Infra 技术通过“高精度”系统、弹性训和接力训等全栈式解决方案，确保训练高效、安全地进行。
凭借强大的 AI Infra，Yi－34B模型训练成本实测下降40％，实际训练完成达标时间与预测的时间误差不到一小时，进一步模拟上到千亿规模训练成本可下降多达 50％。目前，零一万物 Infra 能力实现故障预测准确率超过 90％，故障提前发现率达到 99．9％，不需要人工参与的故障自愈率超95％。
下一个千亿参数模型训练已启动
在 Yi 开源模型的全球首发日，零一万物CEO李开复也宣布，在完成 Yi－34B 预训练的同时，已经旋即启动下一个千亿参数模型的训练。“零一万物的数据处理管线、算法研究、实验平台、GPU 资源和 AI Infra 都已经准备好，我们的动作会越来越快”。
接下来，零一万物将基于 Yi系列大模型，打造更多To C超级应用。李开复博士强调：“AI 2．0 是有史以来最大的科技革命，它带来的改变世界的最大机会一定是平台和技术，正如 PC 时代的微软 Office，移动互联网时代的微信、抖音、美团一样，商业化爆发式增长概率最高的一定是 ToC 应用。零一万物邀请开发者社群跟我们一起搭建 Yi 开源模型的应用生态系，协力打造 AI 2．0 时代的超级应用。”
零一万物大模型Yi－34B在全球开源评测中夺得“双料冠军”，标志着中国在AI领域的研究和发展取得了新的突破。这一重大成果不仅展示了中国科技公司在AI技术研发方面的实力和水准，也为全球开源社区的发展注入了新的活力。未来，我们期待看到更多的中国科技公司和研究机构在AI领域取得更多的突破和创新成果。
