新聞資訊

自計(jì)算機(jī)時(shí)代來(lái)臨以來(lái)，全世界一直致力于精密計(jì)算機(jī)芯片的研發(fā)。正如我們所知，數(shù)字世界是無(wú)窮無(wú)盡的 1 和 0 的結(jié)果，芯片上處理的常數(shù)和具有明確的答案。但是在精確度不太重要的情況下可以進(jìn)行什么樣的計(jì)算呢？

在計(jì)算中，處理過(guò)程中花費(fèi)的大部分時(shí)間和精力都花在了在設(shè)備的處理器和內(nèi)存之間來(lái)回移動(dòng)電子上。多年來(lái)，IBM 的研究人員一直致力于開發(fā)模擬內(nèi)存計(jì)算機(jī)芯片，計(jì)算是在內(nèi)存本身中進(jìn)行的。這些芯片的目標(biāo)既是為了節(jié)省能源，也是為了構(gòu)建可用于訓(xùn)練和推理人工智能系統(tǒng)的設(shè)備。

我們使用計(jì)算機(jī)計(jì)算的內(nèi)容始終需要精確。

您無(wú)法猜測(cè)火箭的飛行路徑，或者希望您的稅務(wù)軟件能夠計(jì)算出您當(dāng)年應(yīng)該支付的金額。但生活中有些事情并不一定要那么準(zhǔn)確。例如，如果你在一個(gè)國(guó)家學(xué)習(xí)如何開車，你就會(huì)知道即使你從未見過(guò)另一個(gè)國(guó)家，你也很可能能夠弄清楚停車標(biāo)志看起來(lái)像另一個(gè)國(guó)家。

在今年的 IEEE 國(guó)際電子設(shè)備會(huì)議 (IEDM) 上，IBM 研究人員展示了詳細(xì)介紹未來(lái)高效模擬芯片如何用于深度學(xué)習(xí)（用于訓(xùn)練和推理）的工作。

在構(gòu)建 AI 系統(tǒng)時(shí)，您必須根據(jù)數(shù)據(jù)訓(xùn)練模型。首次訓(xùn)練模型時(shí)，模型推斷您想要什么的能力很差，無(wú)論是識(shí)別貓的照片還是尋找新的藥物創(chuàng)意。您可能必須運(yùn)行該模型，根據(jù)您的結(jié)果調(diào)整其權(quán)重，然后再次運(yùn)行該模型，重復(fù)直到它達(dá)到您所追求的準(zhǔn)確度水平。因此，在已經(jīng)訓(xùn)練好的模型上運(yùn)行推理比從頭開始訓(xùn)練模型要容易一些也就不足為奇了。

但這并非沒(méi)有挑戰(zhàn)的任務(wù)。研究員 Julian Buechel 在 IEDM 上發(fā)表了一篇論文，稱 IBM 的一組研究人員一直在研究如何將模型的權(quán)重準(zhǔn)確地映射到模擬存儲(chǔ)芯片上以運(yùn)行推理任務(wù)。

該團(tuán)隊(duì)的工作表明相變存儲(chǔ)器設(shè)備有可能用于將神經(jīng)網(wǎng)絡(luò)的突觸權(quán)重映射到模擬傳導(dǎo)設(shè)備值。這些電導(dǎo)值需要準(zhǔn)確，在過(guò)去，研究人員不得不向設(shè)備的每個(gè)cell發(fā)送電脈沖以弄清楚它是如何加權(quán)的，這可能很耗時(shí)?；刈x時(shí)，每個(gè)電池不會(huì)輸出大量電流，這也意味著在嘗試確定它們的權(quán)重時(shí)出錯(cuò)的可能性很高。

該團(tuán)隊(duì)沒(méi)有讀取每個(gè)cell，而是測(cè)試了是否有可能一次讀取神經(jīng)網(wǎng)絡(luò)一層中的所有細(xì)胞。畢竟，重要的是對(duì)應(yīng)于每一層的矩陣向量乘法運(yùn)算的整體精度，而不是單個(gè)單元格的唯一精度，它可能會(huì)在測(cè)量一個(gè)設(shè)備和下一個(gè)設(shè)備之間的時(shí)間上動(dòng)搖，或者在測(cè)量中有微小的偏差一個(gè)細(xì)胞和下一個(gè)細(xì)胞之間的電阻。通過(guò)該組的方法，模型的每一層都可以并行測(cè)試，他發(fā)現(xiàn)在神經(jīng)網(wǎng)絡(luò)（例如 CIFAR10 上的 ResNet9）的測(cè)試中，模型在模擬硬件上運(yùn)行的準(zhǔn)確率更高，更準(zhǔn)確。比過(guò)去在模擬硬件上的努力更精確。該方法也與技術(shù)無(wú)關(guān)。

雖然這種方法還遠(yuǎn)非完美，但它是使推理精度更接近數(shù)字加速器的關(guān)鍵一步，最終實(shí)現(xiàn)模擬內(nèi)存計(jì)算芯片的商業(yè)化。

創(chuàng)建可以訓(xùn)練 AI 的系統(tǒng)比構(gòu)建可以推斷的系統(tǒng)更具挑戰(zhàn)性。由 Takashi Ando 領(lǐng)導(dǎo)的 IBM 研究人員與位于奧爾巴尼的 AI 硬件中心的合作伙伴公司 Tokyo Electron (TEL) 合作，一直致力于研究如何在模擬硬件上訓(xùn)練 AI。在訓(xùn)練 AI 模型時(shí)，您將數(shù)據(jù)輸入網(wǎng)絡(luò)，對(duì)其進(jìn)行分類，然后通過(guò)網(wǎng)絡(luò)反向傳播誤差以微調(diào)權(quán)重。（推理實(shí)際上是訓(xùn)練的一個(gè)子集，您只需使用訓(xùn)練旅程的分類部分。）

使用傳統(tǒng)算法微調(diào)模型需要一個(gè)具有完美對(duì)稱電導(dǎo)變化的設(shè)備來(lái)準(zhǔn)確更新權(quán)重，但目前還沒(méi)有這樣的設(shè)備。該領(lǐng)域的研究人員傾向于使用現(xiàn)有技術(shù)，例如傳統(tǒng)的 ReRAM 設(shè)備，但 IBM 團(tuán)隊(duì)嘗試了一些不同的方法。該團(tuán)隊(duì)采用全棧方法，協(xié)同優(yōu)化算法和硬件。這是已知的第一個(gè)在最先進(jìn)的 CMOS 技術(shù)上應(yīng)用為 AI 訓(xùn)練定制的算法和硬件的工作。

在使用模擬硬件訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，您需要尋找誤差函數(shù)的梯度；如果它們很陡，則可以大量更新權(quán)重。傳統(tǒng)上，梯度和權(quán)值信息存儲(chǔ)在同一個(gè)模擬設(shè)備中，對(duì)設(shè)備的對(duì)稱性要求很高。該團(tuán)隊(duì)一直在研究一種稱為 Tiki-Taka 的算法（是的，就像不斷來(lái)回傳球的足球風(fēng)格），旨在通過(guò)將梯度和權(quán)重信息分離到兩個(gè)不同的系統(tǒng)中來(lái)放寬對(duì)稱性要求。

對(duì)于實(shí)驗(yàn)，該團(tuán)隊(duì)一直在定制一個(gè)基于 14 納米 CMOS 的 ReRAM 陣列來(lái)測(cè)試他們的想法。

使用基于 ReRAM 陣列統(tǒng)計(jì)數(shù)據(jù)的模擬，研究人員發(fā)現(xiàn)，通過(guò)優(yōu)化 ReRAM 材料，他們可以在 MNIST 數(shù)據(jù)上獲得 97% 的準(zhǔn)確率（浮點(diǎn)準(zhǔn)確率 98.2%）和 Tiki-Taka 算法同時(shí)進(jìn)行。TEL 利用其制造實(shí)力和與位于奧爾巴尼的 IBM Research 的長(zhǎng)期密切合作關(guān)系，正在幫助開發(fā)新型 ReRAM 材料的沉積和蝕刻工藝。需要做更多的工作來(lái)實(shí)現(xiàn)大型 DNN 的浮點(diǎn)精度，但在 IEDM 上介紹這項(xiàng)工作的 Nanbo Gong 表示，該團(tuán)隊(duì)確定了實(shí)現(xiàn)這一目標(biāo)的途徑。

通過(guò)這兩項(xiàng)努力，IBM 研究院離我們可以在節(jié)能模擬硬件上訓(xùn)練和運(yùn)行 AI 系統(tǒng)的未來(lái)越來(lái)越近。

振華航空今日熱賣型號(hào)：

XC6SLX100-2FGG484I

XC6SLX150-2FGG484I

XC6SLX150-3FGG676C

XC6SLX150-3FGG676I

XC6SLX9-2TQG144C

XC6SLX9-2FTG256C

XC6SLX16-2CSG324I

公司：深圳振華航空半導(dǎo)體有限公司

公司熱線：400-8855-170

聯(lián)系方式：18926507567     QQ:549400747

公司網(wǎng)址：m.73122353.cn

公司主營(yíng)FPGA和存儲(chǔ)芯片，誠(chéng)信經(jīng)營(yíng)，大量現(xiàn)貨庫(kù)存，歡迎您隨時(shí)咨詢。