Meta團(tuán)隊(duì)開(kāi)發(fā)了一款名為Megabyte的模型，聲稱(chēng)能夠解決“大模型標(biāo)配”Transformer所存在的問(wèn)題速度比它還快4成!目前，Transformer架構(gòu)比較流行，但是存在兩個(gè)重要的缺陷:一方面，自注意力成本隨著輸入和輸出字節(jié)長(zhǎng)度的增加迅速增加，如音樂(lè)、圖像或視頻文件通常包含數(shù)兆字節(jié)大型解碼器通常只使用幾千個(gè)上下文標(biāo)記;另一方面，前饋網(wǎng)絡(luò)單獨(dú)對(duì)字符組或位置進(jìn)行操作是難以實(shí)現(xiàn)可擴(kuò)展性的，這是由于在每個(gè)位置的基礎(chǔ)上會(huì)帶來(lái)很多計(jì)算開(kāi)銷(xiāo)。Megabyte模型則將輸入和輸出序列分成patch不是單個(gè)的token。Megabyte模型的出現(xiàn)提供了一種新的、高效的方法來(lái)解決AI模型的發(fā)展中出現(xiàn)的一些問(wèn)題。
相關(guān)閱讀20條
增值電信業(yè)務(wù)經(jīng)營(yíng)許可證：蘇B2-20220230 在線數(shù)據(jù)處理與交易許可證：蘇B2-20220230
蘇公網(wǎng)安備 32010502010503號(hào)
Copyright ? 2016-現(xiàn)在 中介網(wǎng) ningtui.com All rights reserved 南京寧推網(wǎng)絡(luò)科技有限公司 版權(quán)所有 蘇ICP備2021053574號(hào)-1
