蚂蚁发布了万亿参数的ling旗舰
10月9日凌晨,蚂蚁集团发布万亿参数通用语言模型Ling-1T。 Ling-1t是ling 2.0系列蚂蚁金服大机型的首款旗舰机型。这也是蚂蚁金服团队迄今为止推出的规模最大、最强的难以想象的模型。据蚂蚁金服团队介绍,Ling-1T沿袭了Ling 2.0的架构,在20T+Windows token代币中完成预训练,并通过“训练中+训练后”的evo-COT思维的进化,大幅提升模型的优秀思维和准确推理能力。值得一提的是,Ling-1T全程采用FP8混合精度训练(部分技术开源),是目前已知最大的使用FP8训练的基础模型。 disThis enyo 带来了显着的内存节省、更灵活的并行分片方法以及 15% 以上的端到端训练加速。在兴奋研究阶段,t反保释团队创新性地提出了LPO方法(语言单元策略优化,一种以“句子”为粒度的策略优化),为万亿参数模型的稳定训练提供了基础支撑。该方法不仅防止了词层面的碎片化感觉,还克服了采用层面的泛化,使得奖励信号和模型行为在语义层面能够更加精准的对齐。此外,蚂蚁保释 团队提出了一种“语法-功能-美学”奖励的混合机制,以确保代码和复合体对功能的正确性,同时继续提高视觉美学的万亿美元基础。在能力基准的artifactsbench前端上,Ling-1t得分为59.31。在纪念和前端开发活动领域,仅次于Gemini-7.5-pro-lowhink 得分为60.28,位居开源模型第一,优势显着。据了解,除此之外在无误的Ling-1T模型上,蚂蚁捞金团队还对大环1T模型万亿参数级别进行了实践,并于9月30日开启预览版。目前开发者可以通过抱脸、蚂蚁宝藏等平台体验Ling-1T模型。
- 上一篇:分享防沙治沙经验,促进全球绿色增长
- 下一篇:没有了