- 階躍星辰姜大昕：Scaling Law仍處于陡峭區間，萬億參數是基本出發點
- 2024年07月07日 來源：北方企業新聞網
提要：近年來，GPT系列模型的演進，客觀上驗證了Scaling Law的有效性。模型參數量決定模型能力的上限。從模型效果看，參數量增大確實帶來了性能上的飛躍。
在2024世界人工智能大會啟明創投·創業與投資論壇上，階躍星辰創始人、CEO姜大昕發表了演講，分享了對于大模型發展現狀與趨勢的觀察與思考。在演講中，姜大昕重點闡述了一個核心觀點：探索AGI路徑，“Scaling Law”和“多模態”是相輔相成、缺一不可的兩個方向。兩者齊頭并進，最終到達AGI。
近年來，GPT系列模型的演進，客觀上驗證了Scaling Law的有效性。模型參數量決定模型能力的上限。從模型效果看，參數量增大確實帶來了性能上的飛躍。雖然業內圍繞“Scaling Law還能走多遠”尚未形成共識，但階躍星辰認為，參數量接下來再提高一個數量級是依然成立的。Scaling Law 目前依然奏效，模型性能仍然在隨著參數量、數據量和計算量的增加呈冪次方增長。在此發展過程中，萬億參數量已經成為一個基本的入門門檻。
正是基于這樣的認知，階躍星辰很早便啟動了萬億參數模型的訓練。從千億到萬億，模型的參數規模提升了一個量級，難度也提升了十倍以上。為此，階躍星辰加大資源投入，尤其在系統和算法上積極探索，最終走通了萬億參數 MoE 大模型訓練的道路。在 WAIC 2024 上，階躍星辰發布了全新的 Step-2 萬億參數語言大模型正式版。根據從邏輯推理、世界知識、數學和編程等多個維度進行的權威測試，Step-2 模型能力都已全面接近國際主流模型，在部分測試集甚至實現了超越。
責任編輯：杜烽
