今日頭條
官方微信
官方抖音
資訊頻道Mistral AI 最近推出了兩款新的 AI 模型，Ministral 3B 和 Ministral 8B。這些模型專為邊緣設(shè)備和本地計算設(shè)計，適合在智能手機(jī)、平板電腦和物聯(lián)網(wǎng)設(shè)備上使用，目標(biāo)是實現(xiàn)低延遲和高效的 AI 推理。
1.設(shè)計與應(yīng)用
這兩款模型被稱為 "les Ministraux"，由于它們體積小，非常適合本地部署，可以滿足對隱私保護(hù)的需求。例如，用戶可以在設(shè)備上進(jìn)行翻譯，使用無需網(wǎng)絡(luò)的智能助手，或者進(jìn)行本地的數(shù)據(jù)分析。Ministral 3B 和 8B 都支持長達(dá) 128,000 個 token 的上下文長度，其中 Ministral 8B 還加入了特殊的滑動窗口注意力機(jī)制，進(jìn)一步提升了速度和內(nèi)存效率。
2.模型特點
高效的邊緣計算：Ministral 3B 和 8B 針對低功耗和高效率進(jìn)行了優(yōu)化，特別適合在邊緣設(shè)備上進(jìn)行推理，如智能手機(jī)和物聯(lián)網(wǎng)設(shè)備。
功能調(diào)用能力：這兩款模型都具備強(qiáng)大的功能調(diào)用能力，能夠在多步驟任務(wù)中充當(dāng)代理，幫助管理任務(wù)分配和處理輸入，從而降低整體計算成本。
Ministral 8B 的增強(qiáng)功能：Ministral 8B 具備“交錯滑動窗口注意力機(jī)制”，顯著提升了推理速度和內(nèi)存利用效率，使其在處理大量上下文任務(wù)時更加高效。
可調(diào)量化支持：模型支持無損量化，可以根據(jù)具體使用場景進(jìn)行優(yōu)化，以確保在性能和效率之間實現(xiàn)平衡。
3.模型性能
在多任務(wù)語言理解評估中，Ministral 3B 和 8B 的表現(xiàn)超過了其他同類模型，如 Google 的 Gemma 2 和 Meta 的 Llama 3.2。它們的發(fā)布為那些需要本地推理和高效計算的用戶提供了新的選擇，尤其適合在移動和邊緣設(shè)備上的應(yīng)用場景。
來源：AI數(shù)智圈
北京市公安局海淀分局備案號：11010802023656號