日前，上海人工智能實(shí)驗(yàn)室宣布，開(kāi)源基于“通專(zhuān)融合”技術(shù)架構(gòu)SAGE打造的萬(wàn)億參數(shù)科學(xué)多模態(tài)大模型Intern（書(shū)生）-S1-Pro，為AI for Science（科學(xué)智能）從“工具革命”的1.0階段邁向以“革命的工具”驅(qū)動(dòng)科學(xué)發(fā)現(xiàn)的2.0時(shí)代，提供了系統(tǒng)性開(kāi)源基座。
上海人工智能實(shí)驗(yàn)室主任、首席科學(xué)家周伯文提出，可深度專(zhuān)業(yè)化通用模型是實(shí)現(xiàn)通用人工智能（AGI）的可行路徑，其關(guān)鍵挑戰(zhàn)在于：專(zhuān)家化模型在訓(xùn)練過(guò)程中需要低成本、能規(guī)?；拿芗答仯荒軌虺掷m(xù)不斷地學(xué)習(xí)與主動(dòng)探索，并具備為同一個(gè)問(wèn)題提供多視角、多種解決方案的能力；并能引入對(duì)物理世界規(guī)律的考量，兼顧多項(xiàng)差異化能力的學(xué)習(xí)效率與性能。
作為全球開(kāi)源社區(qū)中參數(shù)規(guī)模最大的科學(xué)多模態(tài)模型之一，Intern-S1-Pro的性能表現(xiàn)穩(wěn)居全球第一梯隊(duì)。其通過(guò)多項(xiàng)SAGE基礎(chǔ)模型層的技術(shù)創(chuàng)新，拓寬了模型應(yīng)用邊界、提升了超大規(guī)模訓(xùn)練可行性，推進(jìn)了可深度專(zhuān)業(yè)化通用模型的探索。
為構(gòu)建能更深層次理解物理世界規(guī)律的科學(xué)大模型，研究團(tuán)隊(duì)引入了傅里葉位置編碼（FoPE）并重構(gòu)了時(shí)序編碼器。FoPE為AI賦予了雙重視角：既能像看“粒子”一樣捕捉文字之間的相對(duì)距離，又能像分析“波”一樣把握科學(xué)信號(hào)的整體規(guī)律與頻率。科學(xué)數(shù)據(jù)與語(yǔ)言的差異還體現(xiàn)在多尺度上，基于能自動(dòng)適應(yīng)數(shù)據(jù)密度的時(shí)序編碼器，模型首次能統(tǒng)一處理從寥寥數(shù)個(gè)到百萬(wàn)級(jí)采樣的各類(lèi)信號(hào)，支持的分析對(duì)象從天文、地理直接拓展至生理信號(hào)、生物聲學(xué)等領(lǐng)域，從而實(shí)現(xiàn)感知能力的重大躍遷。
為了高效訓(xùn)練承載這些能力的萬(wàn)億參數(shù)超大規(guī)模模型，研究團(tuán)隊(duì)革新了其內(nèi)部的“路由機(jī)制”。傳統(tǒng)方法存在訓(xùn)練低效和算力浪費(fèi)兩大痛點(diǎn)。新技術(shù)通過(guò)“路由稠密估計(jì)”，讓模型在高效運(yùn)行的同時(shí)能進(jìn)行更充分的學(xué)習(xí)，提升了穩(wěn)定性；進(jìn)而通過(guò)“分組路由”策略，像智能交通系統(tǒng)一樣使海量計(jì)算芯片實(shí)現(xiàn)負(fù)載均衡，避免了資源閑置。
通過(guò)算法與系統(tǒng)的協(xié)同創(chuàng)新，Intern-S1-Pro同時(shí)攻克了超大規(guī)模模型訓(xùn)練在“學(xué)習(xí)效率”和“資源調(diào)度”上的核心瓶頸，為高效、穩(wěn)健地訓(xùn)練下一代萬(wàn)億參數(shù)模型提供了關(guān)鍵基礎(chǔ)。通過(guò)上述底層架構(gòu)的創(chuàng)新，Intern-S1-Pro不僅在規(guī)模上刷新了科學(xué)多模態(tài)模型的參數(shù)規(guī)模上限，也為SAGE架構(gòu)所提出的“通用能力與專(zhuān)業(yè)能力協(xié)同演進(jìn)”提供了可落地的實(shí)現(xiàn)路徑。
值得一提的是，Intern-S1-Pro驗(yàn)證了從原創(chuàng)模型架構(gòu)到國(guó)產(chǎn)算力基座自主技術(shù)的完整鏈路。模型從架構(gòu)設(shè)計(jì)之初，就與昇騰計(jì)算生態(tài)確立了聯(lián)合研發(fā)路線(xiàn)，實(shí)現(xiàn)了從最底層的算子、編譯優(yōu)化到上層的訓(xùn)練、推理框架的深度全棧適配。此外，Intern-S1-Pro還與沐曦聯(lián)合研發(fā)利用模型加速算子適配，為開(kāi)放共享、面向未來(lái)的科學(xué)智能基礎(chǔ)設(shè)施奠定了堅(jiān)實(shí)基礎(chǔ)。
