久久久91-久久久91精品国产一区二区-久久久91精品国产一区二区三区-久久久999国产精品-久久久999久久久精品

隨著國家“人工智能+”行動深入推進，大模型正從技術突破期進入產業(yè)深耕期。在實際應用中，海量用戶請求訪問大模型，不可避免地會遇到請求失敗、調用超時、結果無法返回等穩(wěn)定性問題。基于此類問題解決方案，中國信通院探索編制《邊緣大模型網關技術能力要求》標準，并依托此標準開展評估工作，火山引擎首批圓滿通過此評估。

當前，業(yè)界針對調用大模型反應時延高、超時等常見問題，提出了多種類解決方案，其中，利用邊緣節(jié)點實現(xiàn)就近接入、調用，提升響應速度起到有效積極作用。中國信通院聚焦此方向，規(guī)范相關產品服務的功能、性能及安全性，為產品質量與適用性提供規(guī)范化參考。

邊緣大模型網關技術能力要求評估簡介

《邊緣大模型網關技術能力要求》是由中國信通院牽頭，聯(lián)合產業(yè)內多家企業(yè)、專家共同研討制定的標準，規(guī)定了邊緣大模型網關提供服務時，在邊緣接入、模型和智能體調用支持、AI服務調用配置、密鑰管理、運維與監(jiān)控、技術支持等方面應具備的能力要求，適用于邊緣計算服務商在提供邊緣大模型網關服務和解決方案時的能力匹配。

中國信通院依托此標準開展首批邊緣大模型網關能力評估工作，聚焦面向大模型網關的功能和性能多個維度。火山引擎深入參與了標準內容制定，并圓滿完成首批評估工作。

全維度能力合格，火山引擎邊緣大模型網關能力獲認可

本次評估圓滿完成，標志著火山引擎邊緣大模型網關在邊緣接入、模型和智能體支持、調用配置、密鑰管理、運維與監(jiān)控、技術支持等方面全維度符合能力標準。

火山引擎邊緣大模型網關支持通過一個 API 接口訪問多家大模型提供商的模型與智能體，在端側基于遍布全球的邊緣計算節(jié)點就近調用。利用邊緣云基礎架構優(yōu)勢，提高模型訪問速度，為終端用戶提供更快速、可靠的 AI 服務體驗。

·  邊緣接入：邊緣大模型網關提供標準化接口，網關訪問密鑰與 OpenAI 的 API 和 SDK 完全兼容，面對多樣化的端側調用場景，方便集成，降低適配成本。同時，邊緣大模型網關利用緩存機制對請求就近存儲，并在相同請求發(fā)出時就近調用，減少模型調用請求的回源次數(shù)，降低成本，為終端用戶提供更快速、更可靠的 AI 服務體驗。

·  模型和智能體支持：邊緣大模型網關支持調用國內主要的模型提供商與多種大模型、智能體。面向多樣化的終端調用場景，支持多模態(tài)與大語言模型，滿足調用多模型和多智能體的智能需求。同時，通過預置多領域 AI 智能體，涵蓋語音對話、文字識別、目標檢測、工業(yè)質檢等 AI 能力，支持一鍵調用，助力快速構建場景化解決方案，

·  調用配置：邊緣大模型網關具備配置調用順序、調用次數(shù)、超時時長等策略的能力，通過配置調用順序、自動重試、請求超時等能力，實現(xiàn)模型調用失敗自動請求備用模型、單次請求失敗自動重試、單次調用響應超時配置。

·  密鑰管理：邊緣大模型網關具備管理訪問密鑰的能力，可直接使用平臺預置模型并對其創(chuàng)建網關訪問密鑰，也可以將第三方模型平臺的密鑰納管至邊緣大模型網關，通過邊緣大模型網關簽發(fā)的網關訪問密鑰，進行對應模型的訪問與調用。

·  運維與監(jiān)控：邊緣大模型網關具備統(tǒng)一監(jiān)控和基礎運維能力，邊緣大模型網關可根據(jù)您通過網關向模型發(fā)出的請求以及模型的響應來統(tǒng)計您的用量。不同模型提供商對模型用量的計量方式有所不同，根據(jù)模型調用計量方式，您的調用詳情可以在用量統(tǒng)計中進行查看。同時，通過云監(jiān)控-大模型網關模塊，可以查詢以網關訪問密鑰為維度的總用量（已消耗的 tokens 總量）與用量速率（每秒消耗的 tokens 額度）。

·  技術支持：邊緣大模型網關具備全局技術支持，支持提供故障的處理時間、及時響應率、及時解決率；支持提供異常事件的解決時間、及時響應率、及時解決率以及事件的報告機制；支持提供變更的受理時間、變更的通知機制以及重大變更的監(jiān)管報送機制。

火山引擎邊緣大模型網關緊跟模型迭代，全面支持豆包 1.5?深度思考模型、接入主流 DeepSeek 模型提供商，同時發(fā)布端智能實例以及助力自部署模型公網調用與全鏈路管控，滿足了多模型和多智能體調用的設備智能需求，并在 AI 芯片、智能玩具、具身智能等多個行業(yè)場景落地。

中國信通院正持續(xù)開展開展邊緣計算、邊緣AI系列評估工作，歡迎業(yè)界參與!

聯(lián)系人：

王蘊婷 18612060302 wangyunting1@caict.ac.cn

李　昂 13651208710 liang3@caict.ac.cn

來源：CAICT可信數(shù)字化