搜索
您的当前位置:首页正文

NVIDIA GPU弱爆了!世界第一AI芯片升级4万亿晶体管、90万核心

2024-06-16 来源:柱子科技

Cerebras Systems发布了他们的第三代晶圆级AI加速芯片“WSE-3”(Wafer Scale Engine 3),规格参数更加疯狂,而且在功耗、价格不变的前提下性能翻了一番。

2019年的第一代WSE-1基于台积电16nm工艺,面积46225平方毫米,晶体管1.2万亿个,拥有40万个AI核心、18GB SRAM缓存,支持9PB/s内存带宽、100Pb/s互连带宽,功耗高达15千瓦。

2021年的第二代WSE-2升级台积电7nm工艺,面积不变还是46225平方毫米,晶体管增至2.6万亿个,核心数增至85万个,缓存扩至40GB,内存带宽20PB/s,互连带宽220Pb/s。

如今的第三代WSE-3再次升级为台积电5nm工艺,面积没说但应该差不多,毕竟需要一块晶圆才能造出一颗芯片,不可能再大太多了。

晶体管数量继续增加达到惊人的4万亿个,AI核心数量进一步增加到90万个,缓存容量达到44GB,外部搭配内存容量可选1.5TB、12TB、1200TB。

乍一看,核心数量、缓存容量增加的不多,但性能实现了飞跃,峰值AI算力高达125PFlops,也就是每秒12.5亿亿次浮点计算,堪比顶级超算。

它可以训练相当于GPT-4、Gemini十几倍的下一代AI大模型,能在单一逻辑内存空间内存储24万亿参数,无需分区或者重构。

用它来训练1万亿参数大模型的速度,相当于用GPU训练10亿参数。

四颗并联,它能在一天之内完成700亿参数的调教,而且支持最多2048路互连,一天就可以完成Llama 700亿参数的训练。

WSE-3的具体功耗、价格没公布,根据上代的情况看应该在200多万美元。

声明: ,,我们将第一时间处理! 2.资源所需价格并非资源售卖价格,,并且本站不提供任何免费技术支持 3.所有资源仅限于参考和学习,版权归原作者所有。

柱子科技还为您提供以下相关内容希望对您有帮助:

8年增长1000倍,英伟达带来史上最成功的产品

具有2080亿个晶体管,采用专门定制的双倍光刻极限尺寸4NP TSMC工艺制造,通过10 TB/s的片间互联,将GPU裸片连接成一块统一的GPU。 第二代Transformer引擎。得益于全新微张量缩放支持,以及集成于TensorRT-LLM和NeMo Megatron框架中的英伟达动态范围管理算法,Blackwell将在新型4位浮点AI推理能力下实现算力和模型大小翻倍。 第...

英伟达继续放大招,黄教主带你横扫AI世界

随着ChatGPT引发AI大模型需求热潮,占全球80%以上的GPU服务器市场份额和全球91.4%的企业GPU市场份额的英伟达NVIDIA,近三个月内股价涨幅就达56%,今年以来股价累计涨幅已超过210%,过去7年股价增长超40倍,目前市值冲破1.1万亿美元。演讲中,黄仁勋发布了GH200 Grace Hopper 超级芯片和名为NVIDIA AI Wo...

NVIDIA GPGPU(一)总览

2020年及之后,NVIDIA的GPU技术飞跃发展,引入了第二代NVLink、DLSS、实时光线追踪等,深度学习和图形性能显著提升。而2022年,第三代Nvlink switch和Tensor Core的升级,展示了GPU在AI倾斜和集群计算能力上的增强。每一代NVIDIA架构的迭代,如从Fermi到Hopper,都伴随着纳米制程的进步,带来了性能提升、存...

英伟达的gpu到底是什么水平?

1、A100 系列是计算加速显卡,该系列产品为数据中心的高性能计算机推出,用于人工智能科学产业等运算该系列产品 GPU 芯片代号为 GA100,核心面积 826 平方毫米,具有 540 亿个晶体管,新品最高搭载 80GB 显存,使用 HBM2。2、英伟达的DGX A100单台算力就能够高达5 Peta Flops,拥有超高的计算密度性能和...

超级人工智能派对开始了:黄仁勋奥特曼马斯克现GOAT之争

英伟达的2万亿市值与OpenAI的7万亿元美元融资 Nvidia 在2016 年首度发布了全球首款深度学习超级电脑DGX-1,被黄仁勋称为“装进机箱里的数据中心。”它搭载新一代GPU 加速器,数据处理能力相当于250 部x86 服务器。 数据中心被黄仁勋称为从通用计算向加速计算的持续转变是英伟达成功的关键之一,这是一种全新的计算方式...

英伟达发布史上最强计算平台,黄教主:自动驾驶不再担心算力问题_百度...

这些核心架构的升级正是推动英伟达各类 GPU 产品整体性能提升的关键。针对基于安培架构的首款 GPU A100,黄仁勋细数了它的五大核心特点:集成了超过 540 亿个晶体管,是全球规模最大的 7nm 处理器;引入第三代张量运算指令 Tensor Core 核心,这一代 Tensor Core 更加灵活、速度更快,同时更易于使用;...

英伟达的dgx a系列到底是什么卡?

1、A100 系列是计算加速显卡,该系列产品为数据中心的高性能计算机推出,用于人工智能科学产业等运算该系列产品 GPU 芯片代号为 GA100,核心面积 826 平方毫米,具有 540 亿个晶体管,新品最高搭载 80GB 显存,使用 HBM2。2、英伟达的DGX A100单台算力就能够高达5 Peta Flops,拥有超高的计算密度性能和...

tesla显卡是什么?

1、A100 系列是计算加速显卡,该系列产品为数据中心的高性能计算机推出,用于人工智能科学产业等运算该系列产品 GPU 芯片代号为 GA100,核心面积 826 平方毫米,具有 540 亿个晶体管,新品最高搭载 80GB 显存,使用 HBM2。2、英伟达的DGX A100单台算力就能够高达5 Peta Flops,拥有超高的计算密度性能和...

英伟达A100系列显卡的作用是什么?

1、A100 系列是计算加速显卡,该系列产品为数据中心的高性能计算机推出,用于人工智能科学产业等运算该系列产品 GPU 芯片代号为 GA100,核心面积 826 平方毫米,具有 540 亿个晶体管,新品最高搭载 80GB 显存,使用 HBM2。2、英伟达的DGX A100单台算力就能够高达5 Peta Flops,拥有超高的计算密度性能和...

dgx a1100系列显卡是什么?

1、A100 系列是计算加速显卡,该系列产品为数据中心的高性能计算机推出,用于人工智能科学产业等运算该系列产品 GPU 芯片代号为 GA100,核心面积 826 平方毫米,具有 540 亿个晶体管,新品最高搭载 80GB 显存,使用 HBM2。2、英伟达的DGX A100单台算力就能够高达5 Peta Flops,拥有超高的计算密度性能和...

Top