第一百九十一章 分成两段的人生 (第2/2页)
和他换班。
江松然无聊的刷着新闻，刷到一篇新闻——
《算力国产化，是未来五年最大的变量》。
看到这个标题江松然久违的在心里笑了一下。
这些媒体估计都不知道自己在说什麽。
算力国产化，国家级战略资源，这话当然谁都会说。
但是对於像他这样专门干这一行的人来说，就像是个笑话。
无他，门槛太高了。
这就像是在说我们应该解决气候问题一样，是句正确的废话。具体要做什麽？怎麽做？花多少钱？周期多长？代价是什麽？没人说的出来。
关掉新闻，江松然又在电脑上点开了一个新的页面，arXiv。
这是一个免费发布论文的网站，尤其是在AI和计算机系统这个圈子，几乎所有的新研究都会先往上面发布。不用等期刊评审，不用等会议接收，写完了发上去，当天全世界就都能读到。
圈里人管这叫「挂上去」。
每天早晨刷一遍arXiv，看看自己关注的几个分类底下有没有新东西，是这个圈子里研究人员大部分人的基本习惯。
江松然这个习惯保留了十几年，从上学的时候到谷歌再到创业公司。
回国陪床这两个多月，工作上的事他已经全放掉了，但每天刷刷arXiv的习惯还保留着。
目光快速划过，一篇新发布的论文题目吸引了他的注意力。
《On Adapting Memory-Efficient Attention to Non-CUDA Heterogeneous Accelerators: A Single-Operator Case Study》（非CUDA硬体上的注意力算子适配：一个单算子的案例研究）
作者只有一个名字，Wenyuan Zhao。
江松然在脑子里把这个名字过了一遍，没什麽印象。
他本来想直接划走。
非CUDA适配这种东西arXiv上一搜一大把，大多是国产晶片厂出钱让自家工程师挂名做的样子工程，没什麽真东西。
但他还是点开了。
因为是单作者。
非CUDA适配这种活儿，正常挂名至少四五个：硬体厂的人挂、软体团队挂、算法挂、做评测的挂。
单作者意味着两种可能，要麽是没团队，要麽是作者把所有人都压下去了，只给自己署名。
这两种可能都挺有意思的，值得看看这篇论文。
PDF加载出来。
摘要的第一句话是：
「本文报告了一款国产的非CUDA加速器上内存高效注意力机制的端到端实现：在单节点8卡配置下，吞吐达到对应cuDNN参考实现的83%，数值误差在2.3e-6以内。」
江松然把屏幕字体调大一点，接着往下翻。
背景写得简洁，没注水。
实现那一节贴了具体的优化方法和代码片段，不是泛泛而谈。
评估那一节有完整的对照、不同上下文长度下的吞吐曲线、还把每一项优化的贡献单独拆出来量化。这些是做评估的人最容易偷懒的几个地方，他都没偷懒。
最让江松然多看了两遍的，还是局限性那一节。
作者自己写道：「本工作只完成了单算子（SDPA），没涉及LayerNorm、Softmax、各类Optimizer等数十个其他算子；没涉及多卡通信库；也没涉及训练场景下的反向传播与混合精度，不构成一套可用的训练栈。」
非常诚实，不像是来刷脸的。
他又翻上去，看了一下团队，Source Intelligence AI。
是个没听过的公司。
江松然往後靠在摺叠椅上，把眼睛揉了揉。
国内居然还真有人在做这种事。
这种吃力不讨好的事。
做出来发不了顶会，打不响知名度，也融不到资金，做的时候也没人知道你在做什麽、做的有多难。
最关键是，因为其他的配套都没有，单做一个出来也是真没什麽用。
这种活儿他熟，谷歌TPU团队的前两年就是这麽熬出来的。
只不过谷歌当年有几百个工程师。
8张卡，一个算子。
江松然在心里量了一下，从这里到「能跑一个能用的训练系统」中间还差什麽。
剩下的几十上百个算子，多卡通信库，分布式训练框架，编译器，容错和检查点。
每一项，都是三五十人的工程团队、两到三年的活儿。
他在矽谷那家公司就做这套东西，做了五年。
如果国内真能有几百个团队，都像这一个一样，安静地做这种没人鼓掌的事。
那国产化也未必没有可能。
可惜，没有几百个这样的团队。
正想着，母亲从外面进来了，一进来就开始唠叨。
「松然，累坏了吧，快回去睡会，你在医院陪床的时候也得注意休息，别你爸还没醒过来，自己就先病倒了……」
江松然也确实是累坏了。
他和母亲交代了几句，稍微收拾了一下，拿上电脑，走出了病房。
一路走到住院部一楼，他看到一个瘦高帅气的年轻人站在大门的位置，背着一个双肩包，好像在找人。
江松然正看着，正好那个年轻人也看了过来，好像看到了他，冲他笑着点了下头，向他走来。
那人的眼神亮的惊人。
江松然不确定他是不是冲着自己来的，也回应了一个点头。