下午三点。

英伟达园区。

黄任寻安排了一间小会议室。

桌上放着openai经过处理的训练报告。

三点十分。

会议室门被推开。

一个三十左右的华裔青年走了进来。

他穿着格子衬衫，头发有些凌乱，鼻梁上架着一副棕色眼镜。

林启航先朝黄任寻打了声招呼，目光随即落向陈默：“黄总说，openai想找我聊聊？”

“坐下先看。”陈默将报告推至他面前。

林启航翻开第一页，神色尚算平静。

翻到第三页，指尖的碳素笔已在几组通信延迟数据旁划出痕迹。

到了第五页，他的速度明显慢了下来。

“你们把所有参数更新都堆在同一个通信阶段？”

“目前是。”

“难怪会堵。”林启航笑了一声，手里的笔几乎没停，“显存分配逻辑也有问题。

不同长度的序列全按最大空间预留，大部分根本没必要保留，直接重算成本反而更低。”

“单卡训练还能硬撑，放到几百张gpu的集群里，这种愚蠢的浪费会被成倍放大。”

他拿起笔，在空白处画出几个简单方块。

“参数更新可以拆开。”

“这一层计算时，上一层便开始通信。”

“再将数据按照长度重新分组，减少无效填充。”

“如果重新设计几个核心算子，利用率至少能先提高到百分之五十。”

黄任寻端着咖啡坐在一旁，始终没有插话。

在英伟达，林启航是极少数能将cuda底层架构、硬件指令集与分布式编译榨干到最后一滴性能的怪才。

陈默神色从容，只是淡淡抛出一句：“这只是五百一十二张卡。

明年，openai的集群规模是八千张，未来，是数万张，甚至十万张。”

林启航手里的笔锋骤然顿住。

“什么模型，需要这种量级的算力？”

“一个能通晓多任务的通用底座。”陈默揭开随身笔电，屏幕上随即播放起最新的原型演示。

同一个未经微调的模型，行云流水般完成了长文摘要、逻辑推理与跨语种翻译。

林启航的目光被牢牢吸在屏幕上，眉头微蹙：“多模型融合？”

“同一个模型。”陈默报出一串参数规模。

林启航摇头：“按这个规模，底层的泛化与涌现能力不合常理。”

“所以，我们需要更大的尺度。”陈默扣上笔电，“我需要你来做整套计算系统的掌舵人。”

林启航没有立即答应。

“英伟达同样在做深度学习。

我为什么要离开？”

“在英伟达，你可以继续优化世界上最好的gpu。”

陈默看着他的眼睛。
本章未完，请翻下一页继续阅读.........