| 在新科技浪潮下，邊緣AI正嶄露頭角。 未來(lái)市場(chǎng)洞察最新報(bào)告顯示，全球邊緣人工智能（AI）市場(chǎng)在2024年達(dá)到89.01億美元，預(yù)計(jì)將在2023年飆升至711.31億美元，年復(fù)合增長(zhǎng)率高達(dá)23.1%。邊緣AI市場(chǎng)的高速增長(zhǎng)也預(yù)示著邊緣AI將成為各個(gè)行業(yè)的關(guān)鍵驅(qū)動(dòng)力。中關(guān)村在線認(rèn)為，邊緣AI既迎來(lái)機(jī)遇又面臨挑戰(zhàn)，包括但不僅限于創(chuàng)新場(chǎng)景應(yīng)用深度廣度不足、服務(wù)穩(wěn)定性和安全性有待加強(qiáng)，以及邊緣系統(tǒng)互聯(lián)互通存在障礙等。 如何應(yīng)對(duì)這些挑戰(zhàn)，成為邊緣計(jì)算的當(dāng)務(wù)之急。近日，Arm發(fā)布全球首個(gè)專為物聯(lián)網(wǎng)優(yōu)化的Armv9邊緣AI計(jì)算平臺(tái)。據(jù)Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健介紹，該平臺(tái)以全新的Arm Cortex-A320 CPU和領(lǐng)先的邊緣AI加速器Arm Ethos-U85 NPU為核心，可支持運(yùn)行超10億參數(shù)的端側(cè)AI模型。在中關(guān)村在線看來(lái)，Armv9邊緣AI計(jì)算平臺(tái)的發(fā)布，不僅標(biāo)志著Arm將推動(dòng)物聯(lián)網(wǎng)實(shí)現(xiàn)性能的躍遷，同時(shí)也將加速邊緣計(jì)算的AI升級(jí)進(jìn)程。
推動(dòng)邊緣AI創(chuàng)新，創(chuàng)新者永不止步 邊緣AI是指將AI算法直接部署于邊緣設(shè)備，實(shí)現(xiàn)數(shù)據(jù)生成源附近的處理與推理，無(wú)需依賴云計(jì)算，具備低延遲、強(qiáng)化數(shù)據(jù)隱私保護(hù)及高效能等優(yōu)勢(shì)。馬健也對(duì)邊緣AI進(jìn)行了通俗的解釋，她認(rèn)為，在百模大戰(zhàn)的背景下，各大企業(yè)關(guān)注的焦點(diǎn)集中于云數(shù)據(jù)中心的集中式訓(xùn)練，而推理環(huán)節(jié)所需的傳感器、攝像頭等采集的數(shù)據(jù)回傳云端既不現(xiàn)實(shí)也不經(jīng)濟(jì)，特別是在對(duì)延遲、隱私保護(hù)及可靠性有嚴(yán)格要求的應(yīng)用場(chǎng)景中，邊緣AI的部署顯得尤為迫切。
特別是在AI大模型應(yīng)用加速的當(dāng)下，推動(dòng)邊緣AI創(chuàng)新的趨勢(shì)也愈發(fā)明顯。此前，Gartner也對(duì)邊緣側(cè)AI應(yīng)用的發(fā)展趨勢(shì)進(jìn)行了預(yù)測(cè)。預(yù)測(cè)數(shù)據(jù)顯示，到2026年，全球80%的企業(yè)將在其業(yè)務(wù)中引入生成式AI，其中邊緣場(chǎng)景下的AI普及率將達(dá)到50%。AI將成為邊緣場(chǎng)景的重要負(fù)載。對(duì)此馬健表示，由于Arm計(jì)算平臺(tái)在邊緣側(cè)的領(lǐng)導(dǎo)地位，在工業(yè)自動(dòng)化、智慧城市、智能家居等領(lǐng)域，OEM廠商、軟件開(kāi)發(fā)者正尋求與Arm聯(lián)手營(yíng)建邊緣AI推理生態(tài)系統(tǒng)，釋放AI價(jià)值。 洞察邊緣計(jì)算發(fā)展契機(jī)的Arm，從AI發(fā)展初期開(kāi)始，便致力于推動(dòng)邊緣智能創(chuàng)新的發(fā)展。在此前，Arm推出的適用于Armv8-M架構(gòu)的Cortex-M向量擴(kuò)展技術(shù)Helium、Arm Ethos-U AI加速器等已在物聯(lián)網(wǎng)領(lǐng)域?qū)崿F(xiàn)廣泛應(yīng)用，為數(shù)十億臺(tái)邊緣設(shè)備帶來(lái)強(qiáng)大的AI與機(jī)器學(xué)習(xí)能力。“新發(fā)布的以Arm Cortex-A320 CPU和邊緣AI加速器Arm Ethos-U85 NPU為核心的Armv9邊緣AI計(jì)算平臺(tái)，使CPU與NPU實(shí)現(xiàn)了深度配合，讓IoT設(shè)備能夠在正確的時(shí)間、合適的地方運(yùn)行最適合的工作負(fù)載，進(jìn)一步推動(dòng)邊緣AI領(lǐng)域持續(xù)發(fā)展?！瘪R健如是說(shuō)。 此外，Arm還公布關(guān)于邊緣AI計(jì)算平臺(tái)幾組數(shù)據(jù)，比如，相較于去年推出的基于Cortex-M85搭配 Ethos-U85 的平臺(tái)，新的邊緣AI計(jì)算平臺(tái)的機(jī)器學(xué)習(xí)(ML)性能提高了八倍；又比如，能夠支持運(yùn)行超10億參數(shù)的端側(cè)AI模型；再比如，該平臺(tái)受到了包括亞馬遜云科技（AWS）、西門子、瑞薩電子、研華科技和Eurotech在內(nèi)的多家業(yè)界領(lǐng)先合作伙伴的支持。 進(jìn)擊的Cortex-A320，賦能IoT及邊緣AI創(chuàng)新 在持續(xù)演進(jìn)的物聯(lián)網(wǎng)環(huán)境中，邊緣設(shè)備迎來(lái)哪些挑戰(zhàn)？Arm物聯(lián)網(wǎng)事業(yè)部高級(jí)產(chǎn)品經(jīng)理Dimosthenis Rossidis在題為《詳解Arm Cortex-A320，針對(duì)物聯(lián)網(wǎng)優(yōu)化的超高能效Armv9 CPU》的文章中指出，邊緣AI需要更卓越的計(jì)算性能、更強(qiáng)大的安全性，以及更出色的軟件靈活性，全新發(fā)布的Cortex-A320 CPU為快速增長(zhǎng)的高度多樣化物聯(lián)網(wǎng)市場(chǎng)提供了性能強(qiáng)勁且可擴(kuò)展的解決方案，使其成為邊緣AI應(yīng)用的理想之選。
馬健表示，作為Arm首個(gè)基于Armv9架構(gòu)設(shè)計(jì)的超高能效CPU，全新的Cortex-A320 CPU專門為物聯(lián)網(wǎng)應(yīng)用優(yōu)化，它不僅構(gòu)成了Arm最新邊緣AI計(jì)算平臺(tái)的核心組件，還有力推動(dòng)了邊緣AI領(lǐng)域?qū)崿F(xiàn)變革。相較于前代產(chǎn)品Cortex-A35，Cortex-A320的ML性能提升了十倍，標(biāo)量性能提升了30%。能效也相較于Cortex-A520提升50%。 不僅如此，Cortex-A320最高可支持四核共享集群，可根據(jù)不同需求靈活擴(kuò)展，滿足各種應(yīng)用場(chǎng)景的需求。此外，Cortex-A320充分利用了Armv9增強(qiáng)的安全性和AI計(jì)算特性。在安全方面，Cortex-A320引入Secure EL2，指針驗(yàn)證/分支目標(biāo)識(shí)別（PACBTI）和內(nèi)存標(biāo)記擴(kuò)展（MTE）等安全特性，進(jìn)一步提升邊緣設(shè)備在暴露環(huán)境中運(yùn)行并處理敏感數(shù)據(jù)的安全性。 同樣重要的還有AI計(jì)算能力的增強(qiáng)。Cortex-A320 CPU融合了增強(qiáng)的Neon與可伸縮向量擴(kuò)展（SVE2）技術(shù)，顯著提升了ML的計(jì)算能力。其還支持新型數(shù)據(jù)類型如BFloat16，從而在確保AI計(jì)算高精度的同時(shí)提高了能效。此外，Cortex-A320還新增了矩陣乘法指令，優(yōu)化了AI與ML的計(jì)算性能，為神經(jīng)網(wǎng)絡(luò)推理和訓(xùn)練任務(wù)帶來(lái)了更快的處理速度。 “這些改進(jìn)使Cortex-A320成為物聯(lián)網(wǎng)設(shè)備的理想AI計(jì)算平臺(tái)，能夠高效執(zhí)行復(fù)雜的邊緣AI任務(wù)，同時(shí)保證系統(tǒng)的安全性、可靠性和數(shù)據(jù)完整性。”馬健強(qiáng)調(diào)，“Arm正在為智能物聯(lián)領(lǐng)域提供全方位的最先進(jìn)的基于Armv9架構(gòu)的Cortex處理器系列，從超高性能的Cortex-X925到超高能效的Cortex-A320，無(wú)論物聯(lián)網(wǎng)設(shè)備的具體應(yīng)用需求如何多變，都能找到最合適的Armv9處理器解決方案” 擴(kuò)展到物聯(lián)網(wǎng)的Arm Kleidi能做什么？ 邊緣AI普及面臨的最主要障礙之一是軟件開(kāi)發(fā)和部署的復(fù)雜性，這正是Armv9邊緣AI計(jì)算平臺(tái)軟件生態(tài)系統(tǒng)發(fā)揮優(yōu)勢(shì)的關(guān)鍵所在。馬健表示：“真正的邊緣AI計(jì)算平臺(tái)需要足夠的靈活性，使工作負(fù)載既可以運(yùn)行在CPU，又能運(yùn)行在AI加速器，例如，在連續(xù)圖像檢測(cè)任務(wù)中，通常會(huì)優(yōu)先在 AI 加速器上運(yùn)行，以提高能效。然而，對(duì)于單張圖像的處理，在 CPU 上執(zhí)行可能更高效。對(duì)于在 CPU 上運(yùn)行的 AI 任務(wù)，我們希望能夠獲得最優(yōu)的性能，這正是 Arm Kleidi 發(fā)揮作用的地方?！?br>
據(jù)介紹，去年Arm推出了Kleidi軟件庫(kù)，并將其引入了智能手機(jī)和服務(wù)器市場(chǎng)，它包含優(yōu)化AI負(fù)載在Arm CPU上執(zhí)行的KleidiAI和加速機(jī)器視覺(jué)的KleidiCV。如今，Arm Kleidi也被擴(kuò)展到了物聯(lián)網(wǎng)領(lǐng)域。KleidiAI是一套專為AI框架開(kāi)發(fā)者設(shè)計(jì)的計(jì)算內(nèi)核，讓開(kāi)發(fā)者可以無(wú)縫地在Arm CPU上獲取最佳性能，適用于各類設(shè)備。馬健介紹，KleidiAI支持如Neon和SVE2等Armv9架構(gòu)的關(guān)鍵特性，大幅提升了AI的計(jì)算效率。此外，KleidiAI已經(jīng)集成到多個(gè)主流AI框架，包括Llama.cpp、ExecuTorch和LiteRT，可以加速M(fèi)eta Llama 3和Phi-3等主流AI大模型，進(jìn)一步釋放AI計(jì)算性能。數(shù)據(jù)顯示，在Llama.cpp上運(yùn)行微軟的Tiny Stories數(shù)據(jù)集時(shí)，KleidiAI為新的Cortex-A320帶來(lái)了高達(dá)70%的性能提升。 事實(shí)上，這些提升至關(guān)重要，因?yàn)樵诋?dāng)今快節(jié)奏的技術(shù)環(huán)境中，產(chǎn)品的上市速度往往決定其成敗。新的邊緣AI計(jì)算平臺(tái)確保了與更高性能Cortex-A處理器在軟件層面的無(wú)縫兼容。這種可擴(kuò)展性使開(kāi)發(fā)者能夠打造可隨需求變化而靈活調(diào)整的解決方案。 借助龐大的Armv9生態(tài)系統(tǒng)，以及與Linux等功能豐富的操作系統(tǒng)和Zephyr等實(shí)時(shí)操作系統(tǒng)的兼容性，開(kāi)發(fā)者擁有了前所未有的靈活性。他們可以充分利用現(xiàn)有的工具和知識(shí)，以及軟件復(fù)用的優(yōu)勢(shì)，從而加快產(chǎn)品上市時(shí)間，并降低總體擁有成本。全球范圍內(nèi)有2,000多萬(wàn)活躍的Arm開(kāi)發(fā)者，這為未來(lái)的技術(shù)創(chuàng)新提供了巨大潛力。 寫在最后 隨著DeepSeek、豆包等熱門AI大模型的興起，大模型正加速向行業(yè)應(yīng)用滲透，驅(qū)動(dòng)計(jì)算產(chǎn)業(yè)持續(xù)進(jìn)步。一方面，大模型訓(xùn)練促使算力向集群化演進(jìn)，顯著提升了訓(xùn)練速度與效率。另一方面，在大模型推理的應(yīng)用層面，企業(yè)對(duì)本地化、私有化及混合部署的需求激增，加速了邊緣AI算力的發(fā)展，使其成為邊緣場(chǎng)景的關(guān)鍵支撐。 更為關(guān)鍵的是邊緣AI市場(chǎng)日益升溫，吸引了硬件制造商、整體方案提供商及云服務(wù)商等積極入局，不僅催生了眾多邊緣AI應(yīng)用，也為各行各業(yè)的智慧化轉(zhuǎn)型提供了強(qiáng)大動(dòng)力。邊緣AI作為算力市場(chǎng)的新焦點(diǎn)，正在成為新的競(jìng)爭(zhēng)藍(lán)海。在此背景下，新發(fā)布的Armv9邊緣AI計(jì)算平臺(tái)，將憑借其特性、先進(jìn)的AI功能和全面軟件支持的結(jié)合，為OEM廠商和開(kāi)發(fā)者創(chuàng)造了新的可能性。 在邊緣AI高速發(fā)展的當(dāng)下，Armv9邊緣AI計(jì)算平臺(tái)將大有可為。Arm高級(jí)副總裁兼物聯(lián)網(wǎng)事業(yè)部總經(jīng)理Paul Williamson表示，“AI的革新已不再局限于云端。隨著世界的互聯(lián)和智能化水平的日益提升，從智慧城市到工業(yè)自動(dòng)化，在邊緣側(cè)處理AI工作負(fù)載不僅帶來(lái)顯著的優(yōu)勢(shì)，其必要性更是不可或缺。專為物聯(lián)網(wǎng)打造的Armv9邊緣AI計(jì)算平臺(tái)的推出，標(biāo)志著這一發(fā)展趨勢(shì)邁入了重要的里程碑?！?br> (9564470) |
了解東遠(yuǎn)
東遠(yuǎn)簡(jiǎn)介 產(chǎn)品中心 技術(shù)方案 科研中心 聯(lián)系我們活動(dòng)及狀態(tài)
最新消息 新品推薦 招標(biāo)中心 線上直銷 ChatGPT常見(jiàn)問(wèn)題
購(gòu)買渠道 項(xiàng)目合作 開(kāi)票資料 支付方式 法律聲明關(guān)注我們：東遠(yuǎn)物聯(lián)
抖音
微信咨詢
咨詢電話：
199-2833-9866D-Think | 廣州東遠(yuǎn)智能科技有限公司
地址：廣州市白云區(qū)北太路1633號(hào)廣州民營(yíng)科技園科創(chuàng)中心2棟16樓
電話：+86 020-87227952 Email：[email protected]
Copyright ©2020 東遠(yuǎn)科技 粵ICP備2024254589號(hào)
免責(zé)申明：部分圖文表述來(lái)自于網(wǎng)絡(luò)，如有侵權(quán)請(qǐng)聯(lián)系作者刪除！
D-Think_ZT01加強(qiáng)型芯片注射器，PIT連續(xù)注
D-Think_ZT01-14T 1.4*8mm FDX-B植入式生物