當(dāng)所有人的目光都還聚焦在云端那些巨大的數(shù)據(jù)中心時(shí),一場(chǎng)新的技術(shù)革命正在我們身邊悄然發(fā)生。這就是邊緣計(jì)算與AI的結(jié)合,一個(gè)正在推動(dòng)智能設(shè)備革新的關(guān)鍵力量。在這片蓬勃發(fā)展的新藍(lán)海里,Arm,這家長(zhǎng)期統(tǒng)治我們手機(jī)芯片架構(gòu)的巨頭,扔出了一顆重磅炸彈——Armv9邊緣AI計(jì)算平臺(tái)。
這個(gè)平臺(tái)的核心,是全新的Cortex-A320 CPU和Ethos-U85 NPU,專為物聯(lián)網(wǎng)應(yīng)用而生。聽起來有點(diǎn)技術(shù)宅?說白了,它的目標(biāo)就是讓身邊的各種小設(shè)備,能夠在本地運(yùn)行超過10億個(gè)參數(shù)的AI模型。
真正的AI戰(zhàn)場(chǎng),在你看不見的地方
你可能沒意識(shí)到,邊緣人工智能(Edge AI)這個(gè)市場(chǎng),正在以一種近乎瘋狂的速度增長(zhǎng)。根據(jù)全球市場(chǎng)洞察(Global Market Insights)的一份報(bào)告,2024年全球邊緣AI市場(chǎng)規(guī)模已經(jīng)達(dá)到了125億美元。這還只是個(gè)開始,報(bào)告預(yù)計(jì)在2025到2034年間,這個(gè)數(shù)字的復(fù)合年增長(zhǎng)率將達(dá)到驚人的24.8%,到2034年,市場(chǎng)規(guī)模會(huì)暴漲到1094億美元。
這股熱潮背后,是各行各業(yè)對(duì)邊緣設(shè)備越來越強(qiáng)的依賴,以及對(duì)AI技術(shù)源源不斷的投資。它已經(jīng)不是一個(gè)PPT上的概念,而是滲透到了我們生活的方方面面。醫(yī)療保健行業(yè)是沖在最前面的,2024年,它一家就占了整個(gè)市場(chǎng)收入的43%。這不難理解,無論是實(shí)時(shí)病人監(jiān)控、醫(yī)療影像分析,還是AI輔助診斷,這些場(chǎng)景都要求AI能夠快速?zèng)Q策,幫助醫(yī)生改善治療結(jié)果。除了醫(yī)療,制造業(yè)、金融、零售、物流,幾乎所有行業(yè)都在擁抱邊緣AI。
從技術(shù)上看,這個(gè)市場(chǎng)由軟件、硬件和服務(wù)三部分構(gòu)成。2024年,軟件是絕對(duì)的主角,占了51.7%的收入。畢竟,AI模型優(yōu)化、實(shí)時(shí)數(shù)據(jù)處理、邊緣分析平臺(tái),這些都是軟件的活兒。當(dāng)企業(yè)們爭(zhēng)先恐后地把AI整合進(jìn)業(yè)務(wù),軟件在模型部署、數(shù)據(jù)安全和系統(tǒng)更新中的作用就變得無可替代。
地域上,北美是當(dāng)之無愧的領(lǐng)頭羊,2024年占據(jù)了全球市場(chǎng)30%以上的份額,其中美國(guó)預(yù)計(jì)到2034年將達(dá)到200億美元的規(guī)模。而在歐洲,德國(guó)因?yàn)閲?yán)格的數(shù)據(jù)隱私規(guī)定,也對(duì)邊緣計(jì)算青睞有加。視線轉(zhuǎn)回亞太,中國(guó)在政府AI戰(zhàn)略和5G、智能基礎(chǔ)設(shè)施的大力投資下,市場(chǎng)增長(zhǎng)也異常迅猛。
推動(dòng)這一切的,是幾個(gè)關(guān)鍵的技術(shù)趨勢(shì)。首先是TinyML,也就是在超低功耗的微控制器上跑機(jī)器學(xué)習(xí),讓小小的電池設(shè)備也能在本地運(yùn)行AI,不再依賴云。其次是AI和物聯(lián)網(wǎng)(IoT)的融合,催生了海量的AI驅(qū)動(dòng)的物聯(lián)網(wǎng)設(shè)備。最后,就是邊緣AI硬件本身的飛速發(fā)展,各種新的處理器、AI加速器和神經(jīng)處理單元(NPU)層出不窮,就是為了更高效地處理機(jī)器學(xué)習(xí)任務(wù)。
手機(jī)霸主Arm,轉(zhuǎn)身殺入新戰(zhàn)場(chǎng)
說到Arm,大多數(shù)人想到的可能還是手機(jī)。沒錯(cuò),這家全球半導(dǎo)體IP設(shè)計(jì)的領(lǐng)導(dǎo)者,長(zhǎng)期以來都是移動(dòng)處理器領(lǐng)域的絕對(duì)霸主。全球已經(jīng)有超過1800億顆Arm芯片出貨,這讓它成了移動(dòng)設(shè)備和物聯(lián)網(wǎng)系統(tǒng)里事實(shí)上的標(biāo)準(zhǔn)。但時(shí)代變了,隨著AI和邊緣計(jì)算的需求暴增,Arm正積極地把觸角伸向一個(gè)更廣闊的天地。
Arm公司CEO Rene Haas在財(cái)報(bào)電話會(huì)議上說得非常直白:「從智能家居傳感器和工廠里的智能傳感器,到世界上最先進(jìn)的AI超級(jí)計(jì)算機(jī),AI工作負(fù)載正在各地部署。這正在推動(dòng)對(duì)不僅性能強(qiáng)大而且能源高效的計(jì)算前所未有的需求。」他甚至有點(diǎn)凡爾賽地強(qiáng)調(diào),Arm提供了「唯一的計(jì)算平臺(tái)」,開發(fā)者可以在上面設(shè)計(jì)驅(qū)動(dòng)各種應(yīng)用的芯片。
這話不是吹牛??纯碅rm的收入構(gòu)成,雖然智能手機(jī)處理器依然貢獻(xiàn)了45%的特許權(quán)使用費(fèi),但剩下的37%已經(jīng)來自物聯(lián)網(wǎng)、汽車芯片、云和網(wǎng)絡(luò)等其他領(lǐng)域。和過去一半以上收入都靠手機(jī)業(yè)務(wù)相比,Arm的業(yè)務(wù)多元化已經(jīng)卓有成效。
Arm的這次戰(zhàn)略轉(zhuǎn)型,不是一時(shí)興起,而是對(duì)市場(chǎng)趨勢(shì)的深刻洞察。AI應(yīng)用從云端向邊緣遷移,已經(jīng)是大勢(shì)所趨。好處是顯而易見的:數(shù)據(jù)在本地處理,省電;減少對(duì)網(wǎng)絡(luò)帶寬的依賴;延遲極低,對(duì)于自動(dòng)駕駛、工業(yè)自動(dòng)化這種分秒必爭(zhēng)的應(yīng)用至關(guān)重要;數(shù)據(jù)不出本地,隱私和安全也更有保障。
正是看透了這一切,Arm近些年才在邊緣AI領(lǐng)域瘋狂下注。Arm扔出了他們的「王炸」——全球首個(gè)Armv9邊緣AI計(jì)算平臺(tái)。這不僅是Arm在邊緣AI領(lǐng)域的重要里程碑,更是給整個(gè)行業(yè)劃下的一道分水嶺。這個(gè)平臺(tái)以全新的Arm Cortex-A320 CPU和領(lǐng)先的邊緣AI加速器Arm Ethos-U85 NPU為核心,能支持運(yùn)行超過10億參數(shù)的邊緣AI模型,為邊緣設(shè)備的普及提供了強(qiáng)有力的技術(shù)支撐。
Arm的看家本領(lǐng),到底有多強(qiáng)?
Armv9邊緣AI計(jì)算平臺(tái),這個(gè)聽起來有點(diǎn)拗口的名字,代表了當(dāng)前邊緣AI技術(shù)的頂尖水平。它把全新的超高效率Armv9 CPU——Cortex-A320,和支持Transformer運(yùn)算的Ethos-U85 NPU整合在了一起,打造出全球首個(gè)專門為物聯(lián)網(wǎng)優(yōu)化的Armv9邊緣AI平臺(tái)。
先說Cortex-A320。作為Armv9架構(gòu)的最小實(shí)現(xiàn),它給超高效率的Cortex-A處理器帶來了安全和機(jī)器學(xué)習(xí)的最新創(chuàng)新。和上一代的Cortex-A35 CPU比,它的機(jī)器學(xué)習(xí)性能最高能提升10倍,純粹的標(biāo)量性能也提升了30%。這背后是Armv9.2-A架構(gòu)的功勞,它不僅提供了加速機(jī)器學(xué)習(xí)的SVE2(可擴(kuò)展向量擴(kuò)展2),還內(nèi)置了像PAC、BTI和MTE這些聽起來很酷的先進(jìn)安全功能,就是為了保護(hù)你的數(shù)據(jù)。軟件兼容性也沒得說,它專為L(zhǎng)inux這類富操作系統(tǒng)開發(fā),開發(fā)者可以繼續(xù)用他們熟悉的軟件和工具,大大降低了開發(fā)門檻。
再看Ethos-U85 NPU。這是Arm的第三代NPU,專為邊緣AI推理而生。它的性能可以伸縮,乘加器(MAC)單元可以從128個(gè)擴(kuò)展到2048個(gè),在1GHz頻率下能提供從256 GOP/s到4 TOPs的性能,滿足不同應(yīng)用的需求。能效也比上一代提升了20%,這對(duì)于靠電池供電的邊緣設(shè)備來說簡(jiǎn)直是福音。更重要的是,它原生支持Transformer網(wǎng)絡(luò),這意味著它能高效處理生成式AI模型,讓你的邊緣設(shè)備也能擁有強(qiáng)大的AI能力。
光有硬件還不夠,Arm還端出了一道軟件大餐——KleidiAI。這是一個(gè)高度優(yōu)化的軟件函數(shù)庫,專門在Arm CPU上加速AI功能。它能和Arm架構(gòu)的Neon、SVE2等特性協(xié)同工作。效果怎么樣?在Llama.cpp上跑微軟的Tiny Stories數(shù)據(jù)集時(shí),KleidiAI給新的Cortex-A320帶來了高達(dá)70%的性能提升。它還無縫整合進(jìn)了像Llama.cpp和ExecuTorch這些主流的物聯(lián)網(wǎng)AI框架里,加速了Meta Llama 3和Phi-3這些關(guān)鍵模型的性能,讓開發(fā)者用起來得心應(yīng)手。
強(qiáng)敵環(huán)伺,Arm憑什么這么自信?
在邊緣AI芯片這個(gè)賽道上,Arm并不是唯一的玩家。開源的RISC-V架構(gòu)、傳統(tǒng)的x86架構(gòu),還有各種專有的AI加速器,都在虎視眈眈。但通過對(duì)比,我們能看清Armv9平臺(tái)的底氣在哪。
先看和RISC-V的對(duì)決。RISC-V作為開源的后起之秀,近年來越來越火。但和它相比,Arm的優(yōu)勢(shì)依然明顯。首先是純性能,Arm處理器還是領(lǐng)先的,比如ARM的Cortex-A76在單線程性能上就略勝于SiFive的P670。更別提ARMv9處理器比上一代性能提高了約30%,能效提高了50%。其次是生態(tài)系統(tǒng),Arm經(jīng)營(yíng)多年,擁有一個(gè)成熟且龐大的生態(tài),超過1800億塊的出貨量不是開玩笑的。RISC-V雖然發(fā)展很快,但生態(tài)還比較年輕。最后是能效比,ARM架構(gòu)天生就注重節(jié)能,這是它在移動(dòng)和嵌入式領(lǐng)域的立身之本。當(dāng)然,RISC-V的優(yōu)勢(shì)在于定制化和開放性,對(duì)于某些特殊應(yīng)用場(chǎng)景很有吸引力。
再來看和老牌霸主x86的較量。x86在PC和服務(wù)器市場(chǎng)是絕對(duì)的老大,但到了邊緣AI領(lǐng)域,Arm的優(yōu)勢(shì)就體現(xiàn)出來了。Arm基于RISC(精簡(jiǎn)指令集),天生就比CISC(復(fù)雜指令集)的x86更省電。在邊緣設(shè)備里,功耗往往是決定生死的關(guān)鍵。此外,Arm的產(chǎn)品線非常廣,從微控制器到高性能服務(wù)器,能滿足各種性能需求。最關(guān)鍵的是,Arm這幾年在AI優(yōu)化上投入巨大,專門的Ethos系列NPU和KleidiAI軟件庫,讓它在處理邊緣AI任務(wù)時(shí)更加得心應(yīng)手。
為了看得更清楚,我們把它們放在一張桌子上比一比:
注:數(shù)據(jù)來源于Arm官方發(fā)布及公開技術(shù)文檔
從這張表里不難看出,Armv9邊緣AI計(jì)算平臺(tái)在性能、能效、安全和軟件生態(tài)上,特別是在邊緣AI這個(gè)特定的應(yīng)用場(chǎng)景里,確實(shí)有它的獨(dú)到之處。
不是一個(gè)人在戰(zhàn)斗,Arm的朋友圈有多豪華?
一個(gè)成功的技術(shù)平臺(tái),光靠自己技術(shù)牛是不夠的,還得有一幫兄弟撐腰。Arm深諳此道,在推出Armv9平臺(tái)的同時(shí),也拉起了一個(gè)豪華的邊緣AI生態(tài)朋友圈。
Arm擁有全球最大的開發(fā)者生態(tài)之一,超過2000萬名活躍的Arm開發(fā)者,這是創(chuàng)新的源泉。更重要的是,Armv9平臺(tái)一發(fā)布,就獲得了包括亞馬遜AWS、西門子、瑞薩電子、研華科技和Eurotech在內(nèi)的多家行業(yè)巨頭的力挺。
這些來自不同行業(yè)大佬的站臺(tái),無疑給Arm的邊緣AI戰(zhàn)略注入了一針強(qiáng)心劑。
Armv9平臺(tái)的推出,正在讓AI應(yīng)用的可能性遍地開花。它能支持在各種設(shè)備上運(yùn)行大型語言模型(LLM)和小型語言模型(SLM),讓智慧決策更接近數(shù)據(jù)源頭,不僅延遲更低,隱私也更有保障。
在智能城市里,邊緣AI能實(shí)時(shí)監(jiān)控交通,優(yōu)化信號(hào)燈,還能讓智能相機(jī)及時(shí)發(fā)現(xiàn)安全隱患。在工業(yè)自動(dòng)化領(lǐng)域,它能預(yù)測(cè)設(shè)備故障,進(jìn)行質(zhì)量控制,讓機(jī)器人更聰明。在智能家居里,你的家電會(huì)更懂你,語音助手交互更自然。在醫(yī)療健康領(lǐng)域,它能實(shí)時(shí)監(jiān)測(cè)病人體征,輔助醫(yī)生診斷,甚至加速新藥研發(fā)。
Armv9邊緣AI計(jì)算平臺(tái)的發(fā)布,像是在平靜的湖面上投下了一塊巨石。它不僅是Arm公司戰(zhàn)略轉(zhuǎn)型的重要一步,更是整個(gè)邊緣AI行業(yè)發(fā)展的催化劑。
參考資料:
https://www.gminsights.com/zh/industry-analysis/edge-ai-market
來源:蒜泥