帮助中心 广告联系

成都百姓网-人才网,招聘网,二手房网,房产网,租房网,教育网,新闻网,信息网,信息港-成都在线

热门关键词:

摩尔线程推出首个全国产千卡千亿模型训练平台

来源:原创/投稿/转载 发布时间:2023-12-21

  12月19日,摩尔线程推出首个全国产千卡千亿模型训练平台“摩尔线程KUAE智算中心”。另外,其还发布大模型智算加速卡MTT S4000。

  摩尔线月,是一家以GPU(图形处理器)芯片设计为主的集成电路高科技公司,其创始人张建中曾经担任英伟达全球副总裁、中国区总经理。此前,摩尔线程被美国列入AI芯片实体清单。

  据摩尔线采用第三代MUSA(摩尔线程产品系列采用的统一系统架构)内核,单卡支持48GB显存容量和768GB/s的显存带宽,FP16(16位半精度浮点数)算力为100TFLOPS(每秒浮点运算次数)。同时,MTT S4000提供先进的图形渲染能力、视频编解码能力和超高清8K HDR(高动态范围成像)显示能力,助力AI(人工智能)计算、图形渲染、多媒体等综合应用场景的落地。

  借助摩尔线程自研开发工具,MTT S4000计算卡可以充分利用现有CUDA(英伟达推出的通用并行计算架构)软件生态,实现CUDA代码零成本迁移到MUSA平台。

  摩尔线程KUAE智算中心支持千亿参数模型的预训练、微调和推理,其基于MTT S4000进行建设,通过摩尔线程自研技术实现多卡互联,并支持单卡到千卡集群的无缝扩展。未来摩尔线程还将推出更大规模的集群,以满足更大规模的大模型训练需求。

  据悉,目前摩尔线程支持包括LLaMA、GLM、Aquila、Baichuan、GPT、Bloom、玉言等各类主流大模型的训练和微调。基于摩尔线亿)参数的大模型训练,线%,算力利用率基本保持不变。以2000亿训练数据量为例,智源研究院700亿参数Aquila2可在33天完成训练;1300亿参数规模的模型可在56天完成训练。此外,摩尔线程KUAE千卡集群支持长时间连续稳定运行,支持断点续训。

  摩尔线程CEO张建中表示:“摩尔线程KUAE智算中心的正式启用,是公司发展的重要里程碑。摩尔线程构建了从芯片到显卡到集群的智算产品线,依托全功能GPU的多元计算优势,旨在满足不断增长的大模型训练和推理需求,以绿色、安全的智能算力,大力推动AIGC(生成式人工智能)、数字孪生、物理仿真、元宇宙等多模态应用的落地和千行百业的高质量发展。”

责任编辑:admin

本网转载作品的目的在于传递更多信息,并不代表本网赞同其观点或证实其内容的真实性,不承担此类作品侵权行为的直接责任及连带责任。如涉及作品内容、版权等问题,请联系我们进行修改或删除!