NVIDIA Research Panel Takeaway
伯克利周记 · · 阅读 6 分钟 · 思考
NVIDIA 研究环境
Q: 在 NVIDIA 做研究是什么体验？
开放、协作、层级扁平。 不同方向的组经常互相合作，因为底层技术是相通的。比如 Julius 的生成模型组就和天气组合作过。token 和 AI 工具的使用政策很宽松，研究方向也能自己选。NVIDIA 有很多合作公司，研究成果可以直接帮它们改进模型。在这里你常常不是屋里最聪明的人，每个话题都有把它当毕生事业的同事。
Q: 组织文化有什么特别？
“Mission is the boss”。Jiao 入职第一天，Jensen 说公司没有组织架构图；公司很大，却像创业公司一样敏捷；对研究者来说：某个方向失败了，你可以换方向，而且还能继续领先，不会"方向死了人也跟着出局"。
（我很喜欢 Mission 这个说法，伟大的人和伟大的公司总是愿景驱动的，他们总有很崇高的使命感——愿力会推着你向前达到你应在的位置。另外像创业公司一样敏捷也相当重要，这就是我之前提到的“单位时间迭代次数”的指标。）
Q: NVIDIA 为什么在开源模型上下重注？
NVIDIA 不只公开模型权重，还公开数据和训练 recipe（训练方法），让别人能把模型适配到自己的应用上。现在训一个强模型需要巨大资源，世界上能做到、并且还允许完整发表的地方很少。他认为 NVIDIA 可能是唯一一家。
并且 Jiao 也在推动让学生也能利用 NVIDIA 这个平台来做研究。
（确实如此，我这学期在上的 EE194 Scalable AI 就是英伟达赞助的，四个人一小组配套八卡节点做训练。这门课相当的好，把大模型当作端到端的工程学科来教，覆盖从架构、预训练、后训练到高效推理的完整流程，课程网站 https://scalable-ai.eecs.berkeley.edu/F2026/。）
NVIDIA 的科学家们在研究什么方向？
Q: Jiao 在研究什么？
核心问题：硬件该怎么设计，才能跑好未来几年还没出现的软件负载？（这也是他在 EE194 课程讲的。）
具体包括：
- 上下文窗口从 100 万 token 走到 1000 万、1 亿 token 时，需要什么模型架构、什么数据？
- 有人在做"公司级 harness"（编排整个公司员工和 agent 的系统）。它会产生什么样的推理负载？
- 推理已经是数据中心尺度的问题：要同时考虑单芯片、机柜内互联、跨机柜，乃至跨数据中心。
难点在于小规模实验的结论不一定能推到大规模，要尽早发现哪些结论不能外推（这能够节省很多钱和时间）。
（这是一个具体的很大的研究问题：预测未来负载来指导硬件和模型协同设计，以及超长上下文需要什么架构和数据。这是个相当好的方向。）
Q: Jenny 在研究什么？
用 Transformer 在公里级分辨率上模拟大气。难点是多尺度相互作用，从小尺度湍流一直到上千公里的天气系统。和美国国家强风暴实验室（NSSL）合作：把雷达和卫星数据直接输入模型，预测未来约 3 小时，用于强对流风暴预警。在这里分辨率提高不是"加像素"，而是会引入新的物理相互作用。所以这里的 scaling law 同时是物理问题和 AI 问题。
Q: 把 RL 扩展到大规模，最大障碍是什么？（观众提问）
课程里的 RL 一张 GPU 就能跑完。到了集群规模，问题变成：
GPU 挂掉时怎么保持训练稳定；learner、environment、reward 三类 agent 怎么协调，才能互不阻塞；整个系统的吞吐怎么做到最高。
(还是我之前提到的 RL Infra 的问题。Toy Model 的训练和工业级的训练完全是两码事。)
Q: Julius 在研究什么？
目标是把双向视频模型（一次生成 5–15 秒）改造成低延迟、逐帧生成的因果模型，用于生成式游戏和训练 agent 的虚拟环境。目前有三个难题：
- Causalization: 逐帧生成时误差会累积，也就是 exposure bias（暴露偏差）。
- Memory: 视频的 KV cache 比语言模型大得多，很快会爆显存，但又得记住画面才能保持一致。他举的例子：离开房间再回来，桌上的冰淇淋应该已经化了。
- Acceleration: 采样步数要从 50–100 步压到 1–4 步，靠 step distillation。现有方法要么 mode collapse，要么受限于 teacher 模型的质量。
他们组的成果开源在 FastGen 库，已用于 Cosmos、天气、蛋白质生成等方向。
给学生的建议
Q: AI 这么强，还要读 PhD 吗？
Thomas: PhD 的价值不在论文发表，而在验证能力（verification）和韧性。AI 现在确实很强，NVIDIA 的所有人都在用 AI 工作，然而同样的算力、同样用 agent，有人能把事情做成，有人做不成——这就是差距。以及不要被"某某模型今天又杀死了一个领域"吓到，现在媒体都过于浮躁了。
（此前我也问过 Claude 这个问题，AI 时代，什么能力最重要？ta 当时和我讲的也是这个，验证的能力。现在知识/代码的生成相当便宜了，但验证仍需要有极强的专业能力和判断力。）
Q: 各位给的一条建议？（现场基本都是博士生）
- Thomas: 一二年级 PhD，把结果发给导师或师兄师姐之前，一定要先自己验证一遍。
- Julius: 把 LLM 当学习工具，追求"学得更快"，而不是"产出更多但自己看不懂的东西"。
（做研究时，要提升自己“验证能力”的范围，而不是批量产生“验证范围”外似是而非的东西。） - Jenny: 很多好想法来自学术界，学术界的算力也够做。大家要专注于根本性的想法。
- Jiao: 往前看，找那些会变成大事的当前工作。（即找好方向，去做真正有价值的研究。）
我的问题
Q: 如果目标是去业界做 Research Scientist 的话，是否有必要读博？
如果目标是 Research Scientist 则有必要，因为大多数企业此岗位的门槛就是 PhD，但是可以考虑 Research Engineer，这个通常不要求 PhD 学位。现在读博确实是一件需要慎重考虑的事情，领域变化得太快了，而且现在博士也太多了。
Q: 而且我看到一个困境，高校 lab 几乎没有算力资源，算力基本都在业界。
是的，因而 PhD 绝对不能一直待在高校的实验室，一般前两年在高校 lab 想课题做研究，到第三年起一定要去业界了。美国本土有很多业界兼职实习的机会，但是最近 CPT 收紧了，国际留学生身份问题就很尴尬，但仍然可以找业界的合作者，去让他们提供算力资源。
Q: 我现在是本科生，进一步推进自己的课题需要算力，我可以通过什么渠道获取呢？
直接去找你导师聊，让他帮你介绍合作方和提供算力。另外，可以尝试找业界的合作者一起做，也可以去看看国内阿里云、腾讯等等的科研计划，他们有提供一些资助。
( UC Berkeley Sky Computing Lab)