第202章 千张核弹点击就送（2 / 3）

《重生之AI教父》转载请注明来源：369小说网(369book.cc)

虽然说，他承诺每六个月升级一代，但算力这种东西，难道还等得了？早买早享受啊！

“现在英伟达的麦克斯韦架构，还没法满足我计划中的需求，两位也知道，我不比那些科技公司，家大业大。让我打造一个上千显卡的超算，我肯定还是需要精打细算一下的。”

“你对显卡架构还有了解和研究？”马斯克感觉有些惊奇，硬件方面的东西要比人工智能软件算法来得更加细分，也更加专业多了。

AI的算法思想，可能不同研究相互之间还能触类旁通，硬件架构若是不下苦功研究，肯定是搞不明白人家设计原理的。

“我已经下定决心，在之后的架构设计上，往人工智能和深度学习的方向倾斜，以求更好的支持。”

黄仁勋听到孟繁岐对英伟达的架构有想法，喜出望外。

他此前听马斯克说孟繁岐针对tegra做了算子优化的时候，就想聊这方面的事情了。

但黄仁勋想的是，孟繁岐可以说一说自己在软件方面的理解，比如他认为怎样的算子操作会是今后的主流。

然后自己从中总结归纳，看看能不能找到思路去优化以后的显卡硬件架构。

却没有想到，孟繁岐直接帮他跳过了中间的那么多步骤，直接一步到位，直捣黄龙了。

“你觉得现在麦克斯韦架构，有什么不足之处？”

黄仁勋刚刚才在台上发布了麦克斯韦架构，此时听到有人表示这个架构还有很多不足，他一点也不恼怒，不觉得自己的产品受到了侮辱，反而十分开心。

孟繁岐看到他的反应，也不意外。按孟繁岐对黄仁勋的了解，他可能是硅谷大公司老板里对新技术细节最了解最追求的了，几十年来，仍旧管理第一线的工程师，布置任务并听取汇报。

即便后来如日中天，他也从来没有松懈过，就更不提现在了。

“下一代的新架构，当会加很多的cUdA核心，这种常规的更新不提，我觉得很重要的一点是，良好的Fp16数据处理能力。”

Fp32是单精度浮点数，Fp16指半精度浮点数。

后者相比前者只使用一半的比特去表达浮点数字，因此速度上是Fp32的两倍，显存的需求上也减少了一半。

只不过精度上会略有损失，而根据后来的经验，这种损失是比较小，而且完全可以接受的。

“你是说，今后人工智能的训练和部署，将会很快往Fp16，甚至更小的数字类型上转移？”

黄仁勋品了一下，这是个相当重要的信息，早准备几个月，最后达成的效果可能会天差地别。

“除了Fp16还有另一种数字类型我比较推荐，这个过两天我专门写两页发给你。”

Fp16后来在大模型时代出现了一些比较烦人的数值问题，bF16作为一种新的格式逐渐流行了起来。

它和Fp16的速度和显存占用一致，只是用来表达整数和小数的比特数量不一。

“另一方面，就是多显卡的交互问题。随着单GpU的计算能力越来越难以应对深度学习对算力的需求，人们自然而然会开始用多个GpU去解决问题。”

“从单机多GpU到多机多GpU，这当中对GpU互连的带宽的需求也越来越多。采用Infiniband和100Gb Ethernet去通信，在单机内，特别是从单机单卡到达单机8卡以后，pcIe的带宽往往就成为了瓶颈。”

本章未完，请点击下一页继续阅读！