NVIDIA Research Panel Takeaway
伯克利週記 · · 閱讀 6 分鐘 · 思考
NVIDIA 研究環境
Q: 在 NVIDIA 做研究是什麼體驗？
開放、協作、層級扁平。 不同方向的組經常互相合作，因為底層技術是相通的。比如 Julius 的生成模型組就和天氣組合作過。token 和 AI 工具的使用政策很寬鬆，研究方向也能自己選。NVIDIA 有很多合作公司，研究成果可以直接幫它們改進模型。在這裡你常常不是屋裡最聰明的人，每個話題都有把它當畢生事業的同事。
Q: 組織文化有什麼特別？
“Mission is the boss”。Jiao 入職第一天，Jensen 說公司沒有組織架構圖；公司很大，卻像創業公司一樣敏捷；對研究者來說：某個方向失敗了，你可以換方向，而且還能繼續領先，不會"方向死了人也跟著出局"。
（我很喜歡 Mission 這個說法，偉大的人和偉大的公司總是願景驅動的，他們總有很崇高的使命感——願力會推著你向前達到你應在的位置。另外像創業公司一樣敏捷也相當重要，這就是我之前提到的“單位時間迭代次數”的指標。）
Q: NVIDIA 為什麼在開源模型上下重注？
NVIDIA 不只公開模型權重，還公開數據和訓練 recipe（訓練方法），讓別人能把模型適配到自己的應用上。現在訓一個強模型需要巨大資源，世界上能做到、並且還允許完整發表的地方很少。他認為 NVIDIA 可能是唯一一家。
並且 Jiao 也在推動讓學生也能利用 NVIDIA 這個平臺來做研究。
（確實如此，我這學期在上的 EE194 Scalable AI 就是英偉達贊助的，四個人一小組配套八卡節點做訓練。這門課相當的好，把大模型當作端到端的工程學科來教，覆蓋從架構、預訓練、後訓練到高效推理的完整流程，課程網站 https://scalable-ai.eecs.berkeley.edu/F2026/。）
NVIDIA 的科學家們在研究什麼方向？
Q: Jiao 在研究什麼？
核心問題：硬件該怎麼設計，才能跑好未來幾年還沒出現的軟件負載？（這也是他在 EE194 課程講的。）
具體包括：
- 上下文窗口從 100 萬 token 走到 1000 萬、1 億 token 時，需要什麼模型架構、什麼數據？
- 有人在做"公司級 harness"（編排整個公司員工和 agent 的系統）。它會產生什麼樣的推理負載？
- 推理已經是數據中心尺度的問題：要同時考慮單芯片、機櫃內互聯、跨機櫃，乃至跨數據中心。
難點在於小規模實驗的結論不一定能推到大規模，要儘早發現哪些結論不能外推（這能夠節省很多錢和時間）。
（這是一個具體的很大的研究問題：預測未來負載來指導硬件和模型協同設計，以及超長上下文需要什麼架構和數據。這是個相當好的方向。）
Q: Jenny 在研究什麼？
用 Transformer 在公里級分辨率上模擬大氣。難點是多尺度相互作用，從小尺度湍流一直到上千公里的天氣系統。和美國國家強風暴實驗室（NSSL）合作：把雷達和衛星數據直接輸入模型，預測未來約 3 小時，用於強對流風暴預警。在這裡分辨率提高不是"加像素"，而是會引入新的物理相互作用。所以這裡的 scaling law 同時是物理問題和 AI 問題。
Q: 把 RL 擴展到大規模，最大障礙是什麼？（觀眾提問）
課程裡的 RL 一張 GPU 就能跑完。到了集群規模，問題變成：
GPU 掛掉時怎麼保持訓練穩定；learner、environment、reward 三類 agent 怎麼協調，才能互不阻塞；整個系統的吞吐怎麼做到最高。
(還是我之前提到的 RL Infra 的問題。Toy Model 的訓練和工業級的訓練完全是兩碼事。)
Q: Julius 在研究什麼？
目標是把雙向視頻模型（一次生成 5–15 秒）改造成低延遲、逐幀生成的因果模型，用於生成式遊戲和訓練 agent 的虛擬環境。目前有三個難題：
- Causalization: 逐幀生成時誤差會累積，也就是 exposure bias（暴露偏差）。
- Memory: 視頻的 KV cache 比語言模型大得多，很快會爆顯存，但又得記住畫面才能保持一致。他舉的例子：離開房間再回來，桌上的冰淇淋應該已經化了。
- Acceleration: 採樣步數要從 50–100 步壓到 1–4 步，靠 step distillation。現有方法要麼 mode collapse，要麼受限於 teacher 模型的質量。
他們組的成果開源在 FastGen 庫，已用於 Cosmos、天氣、蛋白質生成等方向。
給學生的建議
Q: AI 這麼強，還要讀 PhD 嗎？
Thomas: PhD 的價值不在論文發表，而在驗證能力（verification）和韌性。AI 現在確實很強，NVIDIA 的所有人都在用 AI 工作，然而同樣的算力、同樣用 agent，有人能把事情做成，有人做不成——這就是差距。以及不要被"某某模型今天又殺死了一個領域"嚇到，現在媒體都過於浮躁了。
（此前我也問過 Claude 這個問題，AI 時代，什麼能力最重要？ta 當時和我講的也是這個，驗證的能力。現在知識/代碼的生成相當便宜了，但驗證仍需要有極強的專業能力和判斷力。）
Q: 各位給的一條建議？（現場基本都是博士生）
- Thomas: 一二年級 PhD，把結果發給導師或師兄師姐之前，一定要先自己驗證一遍。
- Julius: 把 LLM 當學習工具，追求"學得更快"，而不是"產出更多但自己看不懂的東西"。
（做研究時，要提升自己“驗證能力”的範圍，而不是批量產生“驗證範圍”外似是而非的東西。） - Jenny: 很多好想法來自學術界，學術界的算力也夠做。大家要專注於根本性的想法。
- Jiao: 往前看，找那些會變成大事的當前工作。（即找好方向，去做真正有價值的研究。）
我的問題
Q: 如果目標是去業界做 Research Scientist 的話，是否有必要讀博？
如果目標是 Research Scientist 則有必要，因為大多數企業此崗位的門檻就是 PhD，但是可以考慮 Research Engineer，這個通常不要求 PhD 學位。現在讀博確實是一件需要慎重考慮的事情，領域變化得太快了，而且現在博士也太多了。
Q: 而且我看到一個困境，高校 lab 幾乎沒有算力資源，算力基本都在業界。
是的，因而 PhD 絕對不能一直待在高校的實驗室，一般前兩年在高校 lab 想課題做研究，到第三年起一定要去業界了。美國本土有很多業界兼職實習的機會，但是最近 CPT 收緊了，國際留學生身份問題就很尷尬，但仍然可以找業界的合作者，去讓他們提供算力資源。
Q: 我現在是本科生，進一步推進自己的課題需要算力，我可以通過什麼渠道獲取呢？
直接去找你導師聊，讓他幫你介紹合作方和提供算力。另外，可以嘗試找業界的合作者一起做，也可以去看看國內阿里雲、騰訊等等的科研計劃，他們有提供一些資助。
( UC Berkeley Sky Computing Lab)