欧美在线大香蕉国产_欧美日韩国产中文_亚洲日韩视频高清在线观看_玉蒲团Ⅱ之性战奶水潘金莲小说_欧美男女操逼视频_国内性爱无码视频_亚洲色无码AV在线精品_顶级毛片日韩AV_最近的最新的中文字幕_日本精品免费在线观看

今天，阿里巴巴達(dá)摩院公布多模態(tài)大模型M6最新進(jìn)展，其參數(shù)已從萬(wàn)億躍遷至10萬(wàn)億，成為全球最大的AI預(yù)訓(xùn)練模型。

M6是達(dá)摩院研發(fā)的通用性人工智能大模型，擁有多模態(tài)、多任務(wù)能力，尤其擅長(zhǎng)設(shè)計(jì)、寫(xiě)作、問(wèn)答，在電商、制造業(yè)、文學(xué)藝術(shù)、科學(xué)研究等領(lǐng)域有廣泛應(yīng)用前景。

與傳統(tǒng)AI相比，大模型擁有成百上千倍“神經(jīng)元”數(shù)量，認(rèn)知和創(chuàng)造能力也更勝一籌，被普遍認(rèn)為是未來(lái)的“基礎(chǔ)模型”。但大模型的算力成本相當(dāng)高昂，訓(xùn)練1750億參數(shù)語(yǔ)言大模型GPT-3所需能耗，相當(dāng)于汽車(chē)行駛地月往返距離。

今年5月，通過(guò)專(zhuān)家并行策略及優(yōu)化技術(shù)，達(dá)摩院M6團(tuán)隊(duì)將萬(wàn)億模型能耗降低超八成、效率提升近11倍。

10月，M6再次突破業(yè)界極限，使用512 GPU在10天內(nèi)即訓(xùn)練出具有可用水平的10萬(wàn)億模型。相比去年發(fā)布的大模型GPT-3，M6實(shí)現(xiàn)同等參數(shù)規(guī)模，能耗僅為其1%。

將10萬(wàn)億參數(shù)放進(jìn)512張GPU

模型擴(kuò)展到千億及以上參數(shù)的超大規(guī)模時(shí)，將很難放在一臺(tái)機(jī)器上。

為了幫助多模態(tài)預(yù)訓(xùn)練模型進(jìn)行快速迭代訓(xùn)練，達(dá)摩院在阿里云PAI自研Whale框架上搭建MoE模型，并通過(guò)更細(xì)粒度的CPU offload技術(shù)，最終實(shí)現(xiàn)將10萬(wàn)億參數(shù)放進(jìn)512張GPU：

自研Whale框架：自研Whale分布式深度學(xué)習(xí)訓(xùn)練框架，針對(duì)數(shù)據(jù)并行、模型并行、流水并行、混合并行等多種并行模型進(jìn)行了統(tǒng)一架構(gòu)設(shè)計(jì)，讓用戶(hù)在僅僅添加幾行API調(diào)用的情況下就可以實(shí)現(xiàn)豐富的分布式并行策略。

MoE專(zhuān)家并行策略：在Whale架構(gòu)中實(shí)現(xiàn)Mixture-of-Experts（MoE）專(zhuān)家并行策略，在擴(kuò)展模型容量、提升模型效果的基礎(chǔ)上，不顯著增加運(yùn)算FLOPs（每秒所執(zhí)行的浮點(diǎn)運(yùn)算次數(shù)），從而實(shí)現(xiàn)高效訓(xùn)練大規(guī)模模型的目的。

CPU offload創(chuàng)新技術(shù)：在自研的分布式框架Whale中通過(guò)更細(xì)粒度的CPU offload，解決了有限資源放下極限規(guī)模的難題，并通過(guò)靈活地選擇offload的模型層，進(jìn)一步地提高GPU利用率。

訓(xùn)練速度大幅度提升

此外，針對(duì)訓(xùn)練效率問(wèn)題，M6團(tuán)隊(duì)設(shè)計(jì)了Pseudo-to-Real（共享解除）機(jī)制，即利用訓(xùn)練好的共享參數(shù)模型初始化大模型，讓收斂效率進(jìn)一步提升7倍，解決大模型訓(xùn)練速度慢的問(wèn)題。

對(duì)比不使用該機(jī)制，預(yù)訓(xùn)練達(dá)到同樣loss用時(shí)僅需6%；和此前萬(wàn)億模型相比，訓(xùn)練樣本量?jī)H需40%。

作為國(guó)內(nèi)首個(gè)商業(yè)化落地的多模態(tài)大模型，M6已在超40個(gè)場(chǎng)景中應(yīng)用，日調(diào)用量上億。

今年，大模型首次支持雙11，應(yīng)用包括但不限于：

M6在犀牛智造為品牌設(shè)計(jì)的服飾已在淘寶上線(xiàn)；

憑借流暢的寫(xiě)作能力，M6正為天貓?zhí)摂M主播創(chuàng)作劇本；

依靠多模態(tài)理解能力，M6正在增進(jìn)淘寶、支付寶等平臺(tái)的搜索及內(nèi)容認(rèn)知精度。

M6設(shè)計(jì)的飛行汽車(chē)

未來(lái)，M6將積極探索與科學(xué)應(yīng)用的結(jié)合，通過(guò)AI for science讓大模型的潛力充分發(fā)揮，并加強(qiáng)M6與國(guó)產(chǎn)芯片的軟硬一體化研究。

達(dá)摩院智能計(jì)算實(shí)驗(yàn)室負(fù)責(zé)人周靖人表示：

“接下來(lái)，我們將深入研究大腦認(rèn)知機(jī)理，致力于將M6的認(rèn)知力提升至接近人類(lèi)的水平；另一方面，還將不斷增強(qiáng)M6在不同場(chǎng)景中的創(chuàng)造力，產(chǎn)生出色的應(yīng)用價(jià)值?！?/span>

目前，達(dá)摩院聯(lián)合阿里云已推出M6服務(wù)化平臺(tái)（https://m6.aliyun.com），為大模型訓(xùn)練及應(yīng)用提供完備工具，首次讓大模型實(shí)現(xiàn)“開(kāi)箱即用”，算法人員及普通用戶(hù)均可方便地使用平臺(tái)。

/ END /