11月5日，華為數據存儲宣布，針對AI推理加速的關鍵技術——UCM推理記憶數據管理正式開源。華為介紹，UCM目前具備稀疏注意力、前綴緩存、預填充卸載、異構PD解耦四大能力。該技術能實現首Token時延最高降低90%，系統吞吐最大提升22倍，還可達到10倍級上下文窗口擴展。