欢迎访问财经股市网
首页 > 科技 > 正文

Cerebras 推出第三代晶圆级芯片 WSE-3:台积电 5nm 制程,性能翻倍

科技来源:IT之家2024-03-14 09:46
  3 月 14 日消息,晶圆级芯片创新企业 Cerebras 推出了其第三代芯片 WSE-3,宣称以相同功耗相较上代产品 WSE-2 性能翻倍。

  整理 WSE-3 参数如下:

  台积电 5nm 制程;

  4 万亿个晶体管;

  900000 个 AI 核心;

  44GB 片上 SRAM 缓存;

  可选 1.5TB / 12TB / 1.2PB 三种片外内存容量;

  125 PFLOPS 的峰值 AI 算力。

  Cerebras 宣称基于 WSE-3 的 CS-3 系统凭借其至高 1.2PB 的内存容量,可训练比 GPT-4 和 Gemini 大 10 倍的下一代前沿模型。其可在单个逻辑内存空间中容纳 24000T 参数规模的模型,大大简化了开发人员的工作。

  CS-3 适合超大规模 AI 需求,紧凑的四系统集群可以在一天内微调 70B 模型,而在使用最大规模的 2048 个 CS-3 系统集群时,可以在一天内完成 Llama 70B 模型的训练。

  Cerebras 表示 CS-3 系统具有卓越的易用性,大模型训练中所需代码相较 GPU 减少 97%,仅需 565 行代码就可达成 GPT-3 大小模型的标准实现。

  阿联酋 G42 财团已表示将打造基于 Cerebras CS-3 的 Condor Galaxy 3 超算,包含 64 个系统,可提供 8 exaFLOP 的 AI 算力。

下一篇:最后一页
【版权及免责声明】凡注明"转载来源"的作品,均转载自其它媒体,转载目的在于传递更多的信息,并不代表本网赞同其观点和对其真实性负责。财经股市网倡导尊重与保护知识产权,如发现本站文章存在内容、版权或其它问题,烦请联系。 联系方式:QQ:2261036103,我们将及时沟通与处理。
新闻推荐