隨著AI從生成內容邁向自主執行，智能體AI正在帶來新的計算需求，也讓業界重新思考如何衡量智能體AI時代的CPU性能。針對這一趨勢，Arm近期發布了《智能體AI時代如何定義CPU與軟件棧性能》的白皮書。

　　Arm雲AI解決方案架構總監Ravi Malhotra表示，在智能體AI出現之前，AI領域主要以Token(詞元)生成來衡量性能，即每秒Token數、每瓦Token數和每美元Token數。智能體AI改變了這一點，它要求生成的Token能夠在真實世界中得到切實應用。這意味著，我們不僅要從Token的角度評估性能，還要從智能體及其所執行任務的角度來評估性能。

　　據介紹，智能體任務可以分為兩部分。第一部分是token生成，稱之為推理與規劃。這類工作通常運行在AI機架上，重點是大規模生成token，並為智能體所需的上下文和數據解讀提供足夠的內存與存儲空間。第二種是基於這些 token 采取行動，稱之為工具調用與編排，通常運行在純CPU服務器上，相關服務器和機架仍需滿足規模化部署與穩定運行的基礎設施要求。關鍵問題在於，什麼樣的CPU纔能更好地承載這類工作負載。

　　“就軟件開發來說，編譯和測試代碼等動作耗時較長，並且會消耗大量CPU周期，因此單個智能體的性能就顯得非常重要。”Ravi Malhotra稱，相比之下，個人助理或企業運營場景中的單次操作往往持續時間較短，例如訪問網頁或數據庫，或執行少量操作，對單個智能體的性能要求沒有那麼高。不過，由於這些應用需要執行的操作數量龐大，反而對吞吐量和運行效率提出了更高的要求。

　　對此，Arm開發了一套針對智能體AI的全新CPU性能測評方法。該框架基於三個原則：具有代表性的智能體應用場景；可重復的CPU性能測試方法；端到端的結果驗證。組件級測試有助於排除模型推理和網絡等變量的乾擾，從而得以單獨評估CPU性能；而端到端評估則可用於判斷這些改進能否轉化為更好的任務完成效果。

　　基於上述方法論，Signal65對Arm AGI CPU與AMD EPYC Turin在工具調用、編排、推理與規劃等工作負載中的表現進行了獨立驗證。兩個平臺均采用相同的基准測試腳本，並基於實測的服務器級性能數據, 構建清晰的機架級性能模型。

　　初步測試結果顯示，單機架可承載近兩倍工作負載。在七項工作負載測試中，得益於更高的計算密度和更優的能效表現，相較AMD EPYC(霄龍)9755，Arm AGI CPU平均實現1.99倍的機架級性能。

　　同時，Arm AGI CPU在多個關鍵智能體應用場景中的機架級性能均優於對比平臺。其中，工具調用場景平均達到對比平臺的1.7倍，智能體工作流和任務編排場景達到2倍，推理與規劃場景達到2.2倍，展現出其滿足智能體AI多樣化計算需求的能力。

　　相較AMD EPYC(霄龍)9965，Arm AGI CPU 最多可將沙箱創建時延降低45%，幫助智能體更快啟動隔離執行環境，降低智能體執行過程中的系統開銷。

　　據了解，Arm正以不同的產品形態將Arm AGI CPU 的這些能力推向市場。Arm設計了兩款服務器參考設計，Arm AGI CPU 1OU雙節點服務器參考設計和Arm AGI CPU 2U2P服務器參考設計。

　　在機架層面，Arm同樣有不同的解決方案，包括風冷方案，以及今年展示過的由Supermicro打造的液冷方案，涵蓋19英寸和Open Rack雙寬兩種規格。

　　Ravi Malhotra強調，“沒有兩個智能體AI應用是完全相同的。為每個用例選擇不同的CPU並不是一種可擴展的模式，尤其是在用例不斷演進的情況下。對於大部分市場來說，需要的是一個均衡的選擇，一款能夠在性能、可擴展性和效率之間取得平衡的 CPU，而這正是Arm AGI CPU所帶來的優勢。”