正在加載數據...
當前位置:北方企業新聞網> 產業經濟>> 科技>正文內容
  • 階躍星辰姜大昕:Scaling Law仍處于陡峭區間,萬億參數是基本出發點
  • 2024年07月07日 來源:北方企業新聞網

提要:近年來,GPT系列模型的演進,客觀上驗證了Scaling Law的有效性。模型參數量決定模型能力的上限。從模型效果看,參數量增大確實帶來了性能上的飛躍。

在2024世界人工智能大會啟明創投·創業與投資論壇上,階躍星辰創始人、CEO姜大昕發表了演講,分享了對于大模型發展現狀與趨勢的觀察與思考。在演講中,姜大昕重點闡述了一個核心觀點:探索AGI路徑,“Scaling Law”和“多模態”是相輔相成、缺一不可的兩個方向。兩者齊頭并進,最終到達AGI。

近年來,GPT系列模型的演進,客觀上驗證了Scaling Law的有效性。模型參數量決定模型能力的上限。從模型效果看,參數量增大確實帶來了性能上的飛躍。雖然業內圍繞“Scaling Law還能走多遠”尚未形成共識,但階躍星辰認為,參數量接下來再提高一個數量級是依然成立的。Scaling Law 目前依然奏效,模型性能仍然在隨著參數量、數據量和計算量的增加呈冪次方增長。在此發展過程中,萬億參數量已經成為一個基本的入門門檻。

正是基于這樣的認知,階躍星辰很早便啟動了萬億參數模型的訓練。從千億到萬億,模型的參數規模提升了一個量級,難度也提升了十倍以上。為此,階躍星辰加大資源投入,尤其在系統和算法上積極探索,最終走通了萬億參數 MoE 大模型訓練的道路。在 WAIC 2024 上,階躍星辰發布了全新的 Step-2 萬億參數語言大模型正式版。根據從邏輯推理、世界知識、數學和編程等多個維度進行的權威測試,Step-2 模型能力都已全面接近國際主流模型,在部分測試集甚至實現了超越。



責任編輯:杜烽
相關新聞
    沒有關鍵字相關信息!
新聞排行
亚洲国产成人一区二区精品区| 在线精品国精品国产尤物| 依依成人精品视频在线观看 | 精品视频国产狼人视频| 亚洲Av无码精品色午夜| 国产成人啪精品午夜在线播放| 久久亚洲精品无码VA大香大香 | 国产精品大白天新婚身材| 国内精品久久久久影院网站 | 国产精品被窝福利一区| 思思久久96热在精品国产| 国产成人精品无码免费看| 无码国产亚洲日韩国精品视频一区二区三区 | 精品人妻伦一二三区久久| 国产99视频精品专区| 99re6这里只有精品| 国内午夜国产精品小视频| 国产91成人精品亚洲精品| 精品影片在线观看的网站| 麻豆aⅴ精品无码一区二区| 久久久91人妻无码精品蜜桃HD| 国产精品无码久久av不卡| 亚洲国产精品人久久电影| 亚洲高清国产拍精品26U| 国产成人99久久亚洲综合精品| 在线精品免费视频| 国产精品视频免费| 精品一区二区三区波多野结衣| 久久青青草原国产精品免费| 久久久久九九精品影院| 高清在线亚洲精品国产二区| 人妻熟妇乱又伦精品视频APP| 91亚洲精品视频| 无码精品国产VA在线观看 | 国产精品成人va在线观看入口 | 国产精品揄拍一区二区久久 | 97视频精品全国在线观看| 热99re久久国超精品首页| 成品人和精品人的区别在哪里| 国产精品H片在线播放| 国产成人精品在线观看|