书香阁 > 科幻灵异 > 首富从AI浪潮开始 > 第二百九十二章 十七个集群,十七倍算力

第二百九十二章 十七个集群,十七倍算力(3 / 4)

的十六个集群都提到跟老集群一样的效率,甚至,还能不能扩大成更大的集群?

以前没有这么多卡,没法试,这次可以试试了。

江松然在机房的控制终端前坐下,开始进行压力测试。

他没一上来就跑五一二卡,而是先从八卡开始。

一般八张显卡会放在一张服务器上,也叫一个节点,这八张卡之间的通信叫做节点内通信,速度更快。

每个机柜会有八台服务器。

五一二卡就是八个机柜。

从节点内通信到节点间通信,再到机柜间通信,每一步都是一个难度升级。

随着测试进入到五一二卡,监控屏幕上的曲线已经不是平滑上涨了,可以见到斜率变缓的趋势。

看了一会监控,江松然更改设置,把两个五一二卡的集群并在了一起。

新任务下发。

这一次,监控屏的曲线发生了明显的变动,延迟迅速上升。

监控屏上出现了一片红色。

“失败了啊——”江松然苦笑了一声。

这其实是预料之中的事情。

大型显卡集群需要从硬件到软件到通信协议各个层级的优化才能实现。

源智的l100集群现在用的是东拼西凑来的各种开源技术,还没来得及进行任何优化。

能达到五一二卡的集群规模已经是谢天谢地了,想要在什么改动都不做的情况下去冲千卡,只能是坠机收尾了。

韩路一收回视界,满眼的红光从视野中消失。

视界定位的结论是:注意力层之后的归约通信,几个任务分片同时撞上了同一批物理链路,触发了跨排链路堵塞。

他正准备开口,江松然先说话了。

“通信模式和物理拓扑对不上。”江松然指着屏幕上的波形说道,“你们看,每次拥塞都在注意力层之后,几个分片同时在跑归约运算,一起发到跨排链路上了,所以每个尖峰都在注意力层后面。”

赵文渊抱着手站在旁边,开口了:“是因为通信协议?”

“是啊,是因为通信协议。”江松然确认道。

然后江松然转向韩路一,语气遗憾:“韩总,现在用的通信模式在五百卡已经是上限了。”

江松然和赵文渊得出了与韩路一一样的结论。

区别是,韩路一是开挂看出来的,视界直接帮他定位到了数据阻塞的地方,也给出了原因。

最新小说: 白粟的位面小店 末日游戏:我开无敌战车卖西瓜 千金换古墨 末世没异能?但有十二个兽人大佬 星际种田,大小姐靠炼药逆袭 重生在电影的世界 快穿:冷冰冰的主神总向我撒娇 快穿:硬核宿主玩转三千世界 废土:恶毒养母带崽吃香喝辣 快穿之信我有糖吃