久久久91-久久久91精品国产一区二区-久久久91精品国产一区二区三区-久久久999国产精品-久久久999久久久精品

國(guó)際機(jī)器學(xué)習(xí)大會(huì)（International Conference on Machine Learning，簡(jiǎn)稱ICML）是機(jī)器學(xué)習(xí)領(lǐng)域的頂級(jí)會(huì)議。ICML 2025計(jì)劃于2025年7月13日-7月19日在加拿大溫哥華召開。自動(dòng)化所多篇研究論文被本屆會(huì)議錄用，本文將對(duì)相關(guān)成果進(jìn)行介紹，歡迎交流討論。

1.大模型繼續(xù)預(yù)訓(xùn)練中的學(xué)習(xí)動(dòng)態(tài)??★Spotlight

英文標(biāo)題：Learning Dynamics in Continual Pre-Training for Large Language Models

論文作者：王星錦，Howe Tissue，王露，李林靜，曾大軍

繼續(xù)預(yù)訓(xùn)練（CPT）是將基礎(chǔ)大模型應(yīng)用于特定下游任務(wù)的有效方法。在這項(xiàng)工作中，我們探索了大語(yǔ)言模型在整個(gè)CPT過(guò)程中的學(xué)習(xí)動(dòng)態(tài)。我們關(guān)注在CPT過(guò)程中每個(gè)訓(xùn)練步驟下通用領(lǐng)域和下游領(lǐng)域模型性能的動(dòng)態(tài)，并通過(guò)相應(yīng)的測(cè)試集損失來(lái)衡量性能變化。我們觀察到CPT損失曲線是從一條隱藏的預(yù)訓(xùn)練曲線到另一條隱藏預(yù)訓(xùn)練曲線的轉(zhuǎn)變，并且可以通過(guò)解耦數(shù)據(jù)分布轉(zhuǎn)移和學(xué)習(xí)率退火的影響來(lái)描述CPT曲線。我們提出了結(jié)合這兩個(gè)因素的CPT Scaling Law 可以預(yù)測(cè)CPT中任何訓(xùn)練步驟和學(xué)習(xí)率調(diào)度的測(cè)試集損失。我們的公式展示了對(duì)CPT中幾個(gè)關(guān)鍵因素的全面理解，包括Loss Potential、最大學(xué)習(xí)率、訓(xùn)練量和預(yù)訓(xùn)練數(shù)據(jù)混合比。此外，我們的方法可以為不同的CPT目標(biāo)定制訓(xùn)練超參數(shù)來(lái)平衡通用領(lǐng)域和下游領(lǐng)域的性能。

圖1.繼續(xù)預(yù)訓(xùn)練過(guò)程中的損失曲面和兩個(gè)方向的側(cè)視圖。前進(jìn)方向會(huì)導(dǎo)致通用領(lǐng)域測(cè)試集損失上升和下游領(lǐng)域測(cè)試集損失下降，而學(xué)習(xí)率退火的方向會(huì)導(dǎo)致各個(gè)測(cè)試集損失的快速下降。

圖2.利用我們提出的CPT Scaling Law對(duì)各種學(xué)習(xí)率調(diào)度的預(yù)訓(xùn)練和繼續(xù)預(yù)訓(xùn)練階段的損失曲線進(jìn)行預(yù)測(cè)。

2.基于樹搜索的重排序推理上下文策略以增強(qiáng)大型視覺(jué)-語(yǔ)言模型性能???★Spotlight

Re-ranking Reasoning Context with Tree Search Makes Large Vision-Language Models Stronger

論文作者：楊奇，張承灝，樊魯斌，丁昆，葉杰平，向世明

近年來(lái)，大型視覺(jué)語(yǔ)言模型（LVLMs）結(jié)合檢索增強(qiáng)生成（RAG）技術(shù)在視覺(jué)問(wèn)答（VQA）任務(wù)中展現(xiàn)出卓越的性能。然而，現(xiàn)有方法仍面臨兩個(gè)關(guān)鍵挑戰(zhàn)：一是檢索樣本缺乏包含推理過(guò)程的知識(shí)，二是檢索到的知識(shí)可能和用戶問(wèn)題不一致導(dǎo)致回答出錯(cuò)。為解決這些問(wèn)題，本文提出了一種基于推理上下文與樹搜索的多模態(tài)檢索增強(qiáng)生成框架。

該框架主要包括兩個(gè)核心模塊：推理上下文豐富的知識(shí)庫(kù)構(gòu)建和基于啟發(fā)式獎(jiǎng)勵(lì)的樹搜索重排序機(jī)制。首先，通過(guò)自洽評(píng)估機(jī)制，自動(dòng)為問(wèn)答對(duì)生成推理上下文，從而豐富知識(shí)庫(kù)中的邏輯推理模式；其次，采用蒙特卡洛樹搜索（MCTS）結(jié)合啟發(fā)式獎(jiǎng)勵(lì)策略，對(duì)檢索結(jié)果進(jìn)行重排序，優(yōu)先選擇最相關(guān)的樣例作為上下文輸入。這一方法有效提升了LVLMs在生成答案時(shí)的一致性與準(zhǔn)確性。

圖1.推理上下文生成的示意圖。該生成方法包含兩個(gè)步驟：(a) 利用知識(shí)庫(kù)中的問(wèn)題-答案對(duì)來(lái)生成內(nèi)容自洽的推理上下文。(b) 通過(guò)定量評(píng)估對(duì)預(yù)測(cè)答案進(jìn)行驗(yàn)證，以選擇最優(yōu)的推理上下文。

圖2.基于啟發(fā)式獎(jiǎng)勵(lì)的蒙特卡洛樹搜索（MCTS-HR）示意圖。為了解決用戶的問(wèn)題，本文首先檢索出Top-N個(gè)候選樣本作為候選動(dòng)作，隨后通過(guò)MCTS-HR方法對(duì)這些候選樣本進(jìn)行重新排序與選擇。此外，本文還提出了一種啟發(fā)式獎(jiǎng)勵(lì)策略，該策略包含兩個(gè)關(guān)鍵組成部分：自洽性啟發(fā)式獎(jiǎng)勵(lì)和互惠啟發(fā)式獎(jiǎng)勵(lì)，旨在優(yōu)化MCTS框架中的獎(jiǎng)勵(lì)函數(shù)。

3.AffectGPT：借助多模態(tài)大模型的描述性情感理解：數(shù)據(jù)集、模型、基線??★Spotlight

AffectGPT: A New Dataset, Model, and Benchmark for Emotion Understanding with Multimodal Large Language Models

論文作者：連政、陳皓宇、陳嵐、孫海洋、孫立才、任勇、程澤浜、劉斌、劉瑞、彭小江、易江燕、陶建華

情感蘊(yùn)含著意圖信息，準(zhǔn)確識(shí)別情感狀態(tài)對(duì)于提升人機(jī)交互體驗(yàn)至關(guān)重要。傳統(tǒng)方法主要依賴于判別式框架，將人類情感映射到預(yù)定義情感分類體系中最可能的類別。然而，這種分類框架在模擬人類情感狀態(tài)時(shí)存在一定局限性。隨著多模態(tài)大模型（MLLMs）的快速發(fā)展，使得情感理解得以突破傳統(tǒng)判別式框架的局限，轉(zhuǎn)向更具表達(dá)力的生成式框架。這一轉(zhuǎn)變使模型能夠通過(guò)自然語(yǔ)言描述復(fù)雜且共存的情感狀態(tài)。憑借大規(guī)模詞表，MLLMs 能夠生成超越基礎(chǔ)情感的多樣化、細(xì)粒度情感類別，為準(zhǔn)確的情感理解開辟了新的可能性。然而，最新研究表明，MLLMs 在情感理解方面仍存在諸多局限性：1）缺乏包含描述性情感標(biāo)注的大規(guī)模數(shù)據(jù)集； 2）缺乏以多模態(tài)為核心的框架來(lái)最大化MLLMs的情感理解潛力。針對(duì)這些問(wèn)題，我們構(gòu)建了一個(gè)面向生成式情感理解框架的數(shù)據(jù)集（MER-Caption）和模型架構(gòu)（AffectGPT）。借助人類先驗(yàn)知識(shí)引導(dǎo)自動(dòng)化標(biāo)注流程，我們構(gòu)建了迄今為止規(guī)模最大的描述性情感數(shù)據(jù)集，包含超過(guò)2K個(gè)細(xì)粒度情感類別和115K個(gè)樣本。同時(shí)，我們提出了AffectGPT框架，該模型采用預(yù)融合操作來(lái)增強(qiáng)多模態(tài)信息的整合能力。此外，我們還推出了MER-UniBench，一個(gè)統(tǒng)一的評(píng)測(cè)基準(zhǔn)，專門針對(duì)典型MER任務(wù)和MLLMs的自由形式自然語(yǔ)言輸出特點(diǎn)進(jìn)行設(shè)計(jì)。大量實(shí)驗(yàn)結(jié)果表明，AffectGPT在各類MER任務(wù)中均展現(xiàn)出強(qiáng)大的性能。

4.Agent Reviewers：具有共享記憶的多模態(tài)領(lǐng)域特定智能體論文評(píng)審系統(tǒng)

Agent Reviewers: Domain-speciffc Multimodal Agents?with Shared Memory for Paper Review

論文作者：盧凱，許世雄，李金秋，丁昆，孟高峰

同行評(píng)審的反饋對(duì)于提升科學(xué)文章的質(zhì)量至關(guān)重要。然而，目前許多稿件在提交之前或提交過(guò)程中并未獲得足夠的外部反饋來(lái)進(jìn)行完善。因此，一個(gè)能夠提供詳細(xì)且專業(yè)反饋的系統(tǒng)對(duì)于提高研究效率來(lái)說(shuō)至關(guān)重要。在本文中，我們通過(guò)收集歷史上的開放獲取論文及其相應(yīng)的評(píng)審意見，并使用大語(yǔ)言模型（LLM）對(duì)其進(jìn)行標(biāo)準(zhǔn)化處理，得到了目前最大的論文評(píng)審數(shù)據(jù)集。隨后，我們基于大語(yǔ)言模型開發(fā)了一個(gè)多智能體系統(tǒng)，該系統(tǒng)模擬了真實(shí)的人類評(píng)審過(guò)程。這個(gè)名為 “Agent Reviewers”的系統(tǒng)創(chuàng)新性地引入了多模態(tài)評(píng)審員，用于對(duì)論文的視覺(jué)元素提供反饋。此外，還保留了一個(gè)共享記憶池，其中存儲(chǔ)了歷史論文的元數(shù)據(jù)，為評(píng)審智能體提供了來(lái)自不同領(lǐng)域的背景知識(shí)。我們使用 2024 年國(guó)際學(xué)習(xí)表征會(huì)議（ICLR）的論文對(duì)該系統(tǒng)進(jìn)行了評(píng)估，結(jié)果顯示其性能優(yōu)于現(xiàn)有的基于人工智能的評(píng)審系統(tǒng)。全面的消融研究進(jìn)一步證明了該系統(tǒng)中每個(gè)模塊和智能體的有效性。

“Agent Reviewers”系統(tǒng)概述。在第一階段，元審稿人從論文文本中提取關(guān)鍵詞，并從共享內(nèi)存池（SMP）中檢索記憶信息，用于初始化特定領(lǐng)域評(píng)審員。在第二階段，多模態(tài)審稿人提供論文視覺(jué)方面的評(píng)論，領(lǐng)域特定審稿人將這些視覺(jué)評(píng)論與論文文本相結(jié)合進(jìn)行初步評(píng)審，并進(jìn)行討論以修訂意見。最后，領(lǐng)域主席（AC）整合所有經(jīng)過(guò)修訂的評(píng)審意見，給出最終評(píng)論并做出接收決定，并用論文信息和審稿意見更新共享內(nèi)存池（SMP）。

5.受限可利用度下降：一種求解混合策略納什均衡的離線強(qiáng)化學(xué)習(xí)方法

Constrained Exploitability Descent: An Offline Reinforcement Learning Method for Finding Mixed-Strategy Nash Equilibrium

論文作者：陸潤(rùn)宇，朱圓恒，趙冬斌

本文提出了受限可利用度下降（CED）,一種求解對(duì)抗馬爾可夫博弈的無(wú)模型離線強(qiáng)化學(xué)習(xí)算法，將可利用度下降（ED）這種博弈論方法與離線強(qiáng)化學(xué)習(xí)中的策略約束方法相結(jié)合。策略約束在單智能體場(chǎng)景下會(huì)擾動(dòng)最優(yōu)的純策略解，然而這種擾動(dòng)對(duì)于求解對(duì)抗博弈中的混合策略納什均衡未必是有害的。本文理論證明了當(dāng)數(shù)據(jù)集滿足完全覆蓋條件時(shí)，CED能在確定性兩人零和馬爾可夫博弈中收斂到穩(wěn)定點(diǎn)。進(jìn)一步，本文證明了在穩(wěn)定點(diǎn)處的最小玩家策略具有混合策略納什均衡的不可利用性質(zhì)。相比基于模型且優(yōu)化最大玩家的ED算法，本文提出的CED方法在限制分布偏移的同時(shí)不再依賴于廣義梯度。通過(guò)矩陣博弈、樹狀博弈和無(wú)限時(shí)間的足球游戲?qū)嶒?yàn)驗(yàn)證了CED能夠在完全覆蓋的數(shù)據(jù)集下求解均衡策略，納什誤差顯著低于博弈領(lǐng)域已有的VI-LCB-Game算法。在非完全覆蓋下，CED則能逐漸降低行為克隆（BC）得到的行為策略的可利用度，在大規(guī)模的兩隊(duì)3v3機(jī)器人對(duì)抗博弈中展現(xiàn)出優(yōu)于離線自我博弈（OSP）算法的性能。

圖1.兩人足球游戲（完全覆蓋數(shù)據(jù)集）下對(duì)比基線算法的納什誤差曲線

圖2.兩隊(duì)3v3機(jī)器人對(duì)抗博弈（非完全覆蓋數(shù)據(jù)集）下對(duì)戰(zhàn)行為策略的勝率曲線

6.DipLLM：面向強(qiáng)權(quán)外交游戲戰(zhàn)略決策的微調(diào)大語(yǔ)言模型

DipLLM: Fine-Tuning LLM for Strategic Decision-making in Diplomacy

論文作者：徐凱旋，柴嘉駿，李思成，傅宇千，朱圓恒，趙冬斌

強(qiáng)權(quán)外交（Diplomacy）是一款高度復(fù)雜的多人博弈游戲，融合了合作與競(jìng)爭(zhēng)機(jī)制，對(duì)人工智能系統(tǒng)提出了嚴(yán)峻挑戰(zhàn)。傳統(tǒng)方法通常依賴均衡搜索生成大規(guī)模博弈數(shù)據(jù)以訓(xùn)練模型，但該過(guò)程計(jì)算成本極高。大語(yǔ)言模型（LLMs）提供了一種具有前景的替代方案，能夠借助預(yù)訓(xùn)練知識(shí)，在僅需少量微調(diào)數(shù)據(jù)的前提下實(shí)現(xiàn)強(qiáng)大的決策能力。然而，將LLMs應(yīng)用于強(qiáng)權(quán)外交仍面臨諸多挑戰(zhàn)，包括指數(shù)級(jí)增長(zhǎng)的動(dòng)作空間和玩家間高度復(fù)雜的戰(zhàn)略互動(dòng)。為此，本文提出DipLLM，一種基于LLM微調(diào)的智能體，旨在高效學(xué)習(xí)該游戲中的均衡策略。DipLLM 構(gòu)建于自回歸分解框架之上，將多單位指令決策建模為按單位逐步生成的序列任務(wù)，并以理論定義的均衡策略為訓(xùn)練目標(biāo)。實(shí)驗(yàn)結(jié)果表明，DipLLM 僅使用Cicero（Science，2022）所需數(shù)據(jù)量的1.5%進(jìn)行微調(diào)，便實(shí)現(xiàn)了2.2%的性能提升，驗(yàn)證了微調(diào)后的LLMs在復(fù)雜多人博弈中的戰(zhàn)略決策潛力。

圖1.基于大語(yǔ)言模型的自回歸分解智能體的推理流程圖

圖2.基于大語(yǔ)言模型的自回歸分解智能體的微調(diào)流程圖

7.重新思考聯(lián)邦異質(zhì)蒸餾的溫度

Rethinking the Temperature for Federated Heterogeneous Distillation

論文作者：亓帆，史大旭，徐踔錕，李帥，徐常勝

聯(lián)邦異質(zhì)蒸餾是應(yīng)對(duì)聯(lián)邦學(xué)習(xí)中模型與數(shù)據(jù)異構(gòu)性挑戰(zhàn)的一種有效的優(yōu)化框架。然而，雖然近期的研究提出了一些額外的知識(shí)載體來(lái)進(jìn)一步緩解模型異構(gòu)問(wèn)題，但是都不可避免地引入了安全風(fēng)險(xiǎn)和顯著的計(jì)算與通信開銷。因此僅使用最小知識(shí)載體——logits，在無(wú)需公共數(shù)據(jù)集或額外信息的前提下，能否有效應(yīng)對(duì)聯(lián)邦學(xué)習(xí)中的異構(gòu)問(wèn)題成為了亟待探索的關(guān)鍵問(wèn)題。

我們提出了ReT-FHD框架，從理論與實(shí)證的角度重新審視蒸餾溫度問(wèn)題。該框架引入多層彈性溫度機(jī)制，實(shí)現(xiàn)模型各層間蒸餾強(qiáng)度的動(dòng)態(tài)調(diào)節(jié)，同時(shí)采用類別感知全局溫度縮放策略，根據(jù)本地各類別的性能差異為每個(gè)類別自適應(yīng)分配溫度，實(shí)現(xiàn)更加個(gè)性化的知識(shí)蒸餾。此外，該框架還集成了Z-Score驗(yàn)證機(jī)制，降低標(biāo)簽翻轉(zhuǎn)和模型投毒攻擊帶來(lái)的性能下降風(fēng)險(xiǎn)。

實(shí)驗(yàn)表明，ReT-FHD在無(wú)需依賴額外信息的情況下，能夠在中心化、去中心化及基于區(qū)塊鏈的聯(lián)邦學(xué)習(xí)場(chǎng)景中有效提升模型性能，同時(shí)規(guī)避安全風(fēng)險(xiǎn)，并顯著降低計(jì)算與通信開銷。

圖1.算法偽代碼

圖2.在TinyImageNet（上）、Flower102（下）上測(cè)試的Dir（0.1）分布的準(zhǔn)確率曲線。

8.基于保局馬爾可夫狀態(tài)轉(zhuǎn)移的實(shí)例檢索

Locality Preserving Markovian Transition for Instance Retrieval

論文作者：駱霽飛，吳汶政，姚涵濤，余璐，徐常勝

實(shí)例檢索（Instance Retrieval）是計(jì)算機(jī)視覺(jué)領(lǐng)域的一項(xiàng)核心任務(wù)，其旨在從大規(guī)模圖像數(shù)據(jù)庫(kù)中快速準(zhǔn)確地找到與給定查詢圖像相似的所有圖像。為了進(jìn)一步提升檢索精度，尤其是彌補(bǔ)初步檢索可能存在的誤差，重排序（Re-ranking）技術(shù)應(yīng)運(yùn)而生，它通常通過(guò)分析初步檢索結(jié)果中圖像間的關(guān)系來(lái)優(yōu)化排序結(jié)果。

其中，基于擴(kuò)散的重排序方法因其能夠有效地利用數(shù)據(jù)樣本間的相似性關(guān)系，通過(guò)在近鄰圖上進(jìn)行信息傳播，從而更好地建模數(shù)據(jù)流形（data manifolds）結(jié)構(gòu)，展現(xiàn)出良好的性能。然而，這類方法存在一個(gè)關(guān)鍵問(wèn)題：當(dāng)相似度信號(hào)在圖上進(jìn)行多步傳播時(shí)，距離源點(diǎn)較遠(yuǎn)的樣本其信號(hào)會(huì)迅速衰減。這意味著傳統(tǒng)擴(kuò)散方法難以有效地捕捉和利用全局范圍內(nèi)的相似性信息，尤其是在局部區(qū)域之外，判別能力會(huì)顯著下降，限制了其在大規(guī)模檢索中的表現(xiàn)。

為了克服這一局限性，我們提出了一個(gè)全新的保局馬爾可夫轉(zhuǎn)移（Locality Preserving Markovian Transition, LPMT）框架，該框架借助一個(gè)具有多個(gè)狀態(tài)的長(zhǎng)程熱力學(xué)轉(zhuǎn)移過(guò)程，實(shí)現(xiàn)了更精確的流形距離測(cè)量。具體來(lái)說(shuō)， LPMT首先利用雙向協(xié)作擴(kuò)散（Bidirectional Collaborative Diffusion, BCD）整合不同圖上的擴(kuò)散過(guò)程，以此更好地估計(jì)相似度關(guān)系。隨后，局部狀態(tài)嵌入（Locality State Embedding, LSE）將每個(gè)實(shí)例編碼為一個(gè)分布，以增強(qiáng)局部一致性。這些分布通過(guò)熱力學(xué)馬爾可夫轉(zhuǎn)移（Thermodynamic Markovian Transition, TMT）過(guò)程相互連接，從而在保持局部有效性的同時(shí)，實(shí)現(xiàn)高效的全局檢索。

圖1.保局馬爾可夫狀態(tài)轉(zhuǎn)移過(guò)程示意圖

9.時(shí)相關(guān)性對(duì)齊

Test-time Correlation Alignment

論文作者：游琳敬，祿家寶，黃夏淵

深度神經(jīng)網(wǎng)絡(luò)常因訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)間的分布偏移而出現(xiàn)顯著的性能下降。盡管領(lǐng)域自適應(yīng)（Domain Adaptation）能在一定程度上解決該問(wèn)題，但現(xiàn)實(shí)場(chǎng)景中的隱私問(wèn)題往往限制了其對(duì)訓(xùn)練數(shù)據(jù)的訪問(wèn)。這一限制催生了測(cè)試時(shí)自適應(yīng)（Test-Time Adaptation, TTA）的研究，TTA僅需利用未標(biāo)注的測(cè)試數(shù)據(jù)來(lái)調(diào)整預(yù)訓(xùn)練模型。然而現(xiàn)有TTA研究仍面臨三大挑戰(zhàn)：（1）主要關(guān)注實(shí)例級(jí)對(duì)齊，因缺失源域相關(guān)性而忽視了相關(guān)性對(duì)齊（CORrelation ALignment， CORAL）；（2）依賴復(fù)雜的反向傳播機(jī)制更新模型，計(jì)算開銷過(guò)大；（3）存在域遺忘問(wèn)題。

為應(yīng)對(duì)這些挑戰(zhàn)，本文首先通過(guò)理論分析驗(yàn)證了測(cè)試時(shí)相關(guān)性對(duì)齊（Test-time Correlation Alignment, TCA）的可行性，證明高置信度樣本與測(cè)試樣本間的相關(guān)性對(duì)齊可有效提升模型性能。基于此，本文提出兩種簡(jiǎn)潔且高效的算法：LinearTCA與LinearTCA+。前者通過(guò)簡(jiǎn)單線性變換同時(shí)實(shí)現(xiàn)實(shí)例對(duì)齊與相關(guān)性對(duì)齊，無(wú)需額外模型更新；后者作為即插即用模塊，可輕松增強(qiáng)現(xiàn)有TTA方法。大量實(shí)驗(yàn)證明了我們的理論和算法的有效性，實(shí)驗(yàn)結(jié)果表明TCA在各類任務(wù)、數(shù)據(jù)集和骨干網(wǎng)絡(luò)中均顯著優(yōu)于基線。

圖1.模型框架。LinearTCA算法的具體流程如下：在測(cè)試階段，首先通源模型獲取目標(biāo)數(shù)據(jù)的原始嵌入特征和預(yù)測(cè)結(jié)果。根據(jù)原始預(yù)測(cè)結(jié)果篩選高置信度嵌入特征，構(gòu)建"偽源域"。隨后施加線性變換，將原始嵌入特征的相關(guān)性與偽源域進(jìn)行對(duì)齊，最終輸出LinearTCA的預(yù)測(cè)結(jié)果。值得注意的是，該過(guò)程無(wú)需更新原始模型的任何參數(shù)。

圖2.實(shí)驗(yàn)結(jié)果。TCA方法在多種數(shù)據(jù)集、多種網(wǎng)絡(luò)架構(gòu)下模型預(yù)測(cè)準(zhǔn)確率、運(yùn)行時(shí)間、最大GPU內(nèi)存占用的具體性能表現(xiàn)結(jié)果。

10.基于擴(kuò)散策略的最大熵強(qiáng)化學(xué)習(xí)算法

Maximum Entropy Reinforcement Learning with Diffusion Policy

論文作者：董曉藝，程健，張希

最大熵強(qiáng)化學(xué)習(xí)將策略熵加入強(qiáng)化學(xué)習(xí)的目標(biāo)函數(shù)中，來(lái)提高智能體的探索能力并增強(qiáng)所學(xué)策略的魯棒性。目前，使用高斯策略的Soft Actor-Critic（SAC）算法已成為實(shí)現(xiàn)最大熵強(qiáng)化學(xué)習(xí)目標(biāo)的主流算法。盡管高斯策略在簡(jiǎn)單任務(wù)中表現(xiàn)良好，但在復(fù)雜的多目標(biāo)強(qiáng)化學(xué)習(xí)環(huán)境中，其固有的單峰性會(huì)限制SAC算法的探索能力和潛在性能。由于擴(kuò)散模型能夠擬合復(fù)雜的多峰分布，因此本文在SAC算法中引入擴(kuò)散模型作為策略表示，提出了一種基于擴(kuò)散策略的最大熵強(qiáng)化學(xué)習(xí)算法MaxEntDP，可以實(shí)現(xiàn)高效探索，并使策略更接近最大熵強(qiáng)化學(xué)習(xí)目標(biāo)下的最優(yōu)策略。MaxEntDP算法的訓(xùn)練過(guò)程涉及兩個(gè)關(guān)鍵步驟：擬合Q函數(shù)的指數(shù)分布以及計(jì)算擴(kuò)散策略的對(duì)數(shù)概率，這對(duì)于擴(kuò)散模型而言并非易事。為了解決這兩個(gè)挑戰(zhàn)，我們提出了一種Q加權(quán)噪聲估計(jì)（Q-weighted Noise Estimation）方法來(lái)訓(xùn)練擴(kuò)散策略，同時(shí)引入一種數(shù)值積分方法來(lái)近似計(jì)算擴(kuò)散模型的對(duì)數(shù)概率。在Mujoco基準(zhǔn)測(cè)試上的實(shí)驗(yàn)結(jié)果表明，MaxEntDP在最大熵強(qiáng)化學(xué)習(xí)框架下優(yōu)于高斯策略和其他生成模型，并且性能與現(xiàn)有基于擴(kuò)散模型的在線強(qiáng)化學(xué)習(xí)算法相當(dāng)。

11.離線對(duì)手建模算法改進(jìn)框架：截?cái)郠驅(qū)動(dòng)的即時(shí)策略精煉

Offline Opponent Modeling with Truncated Q-driven Instant Policy Refinement

論文作者：景煜恒，李凱，劉秉運(yùn)，張紫聞，傅浩波，付強(qiáng)，興軍亮，程健

離線對(duì)手建模（OOM）旨在使用來(lái)自多智能體博弈的離線數(shù)據(jù)集，學(xué)習(xí)一種能夠動(dòng)態(tài)適應(yīng)對(duì)手的自適應(yīng)自主智能體策略。先前的工作假設(shè)數(shù)據(jù)集是最優(yōu)的。然而，這個(gè)假設(shè)在現(xiàn)實(shí)世界中難以滿足。當(dāng)數(shù)據(jù)集是次優(yōu)的時(shí)，現(xiàn)有方法難以有效工作。為了解決這個(gè)問(wèn)題，我們提出了一個(gè)簡(jiǎn)單且通用的算法改進(jìn)框架，即由截?cái)郠驅(qū)動(dòng)的即時(shí)策略精煉（TIPR），以處理由數(shù)據(jù)集引發(fā)的OOM算法的次優(yōu)性問(wèn)題。TIPR框架本質(zhì)上是即插即用的。與原始的OOM算法相比，它僅需要兩個(gè)額外的步驟：（1）使用離線數(shù)據(jù)集學(xué)習(xí)一個(gè)時(shí)域截?cái)嗟摹⒒谏舷挛牡膭?dòng)作價(jià)值函數(shù)，即截?cái)郠（Truncated Q）。截?cái)郠估計(jì)在一個(gè)固定的、截?cái)嗟臅r(shí)域內(nèi)的期望回報(bào)，并且以對(duì)手信息為條件。（2）在測(cè)試期間，使用學(xué)習(xí)到的截?cái)郠來(lái)即時(shí)決定是否執(zhí)行策略精煉，并在精煉后生成策略。理論上，我們從無(wú)最大化偏差概率的角度分析了截?cái)郠的原理。實(shí)驗(yàn)上，我們?cè)谒膫€(gè)代表性的競(jìng)爭(zhēng)環(huán)境中進(jìn)行了廣泛的比較實(shí)驗(yàn)和消融實(shí)驗(yàn)。TIPR有效地改進(jìn)了多種使用次優(yōu)數(shù)據(jù)集預(yù)訓(xùn)練的OOM算法。

12.基于目標(biāo)導(dǎo)向技能抽象的離線多任務(wù)強(qiáng)化學(xué)習(xí)

Goal-Oriented Skill Abstraction for Offline Multi-Task Reinforcement Learning

論文作者：何金珉，李凱，臧一凡，傅浩波，付強(qiáng)，興軍亮，程健

離線多任務(wù)強(qiáng)化學(xué)習(xí)旨在利用預(yù)先收集的數(shù)據(jù)集學(xué)習(xí)一個(gè)統(tǒng)一的策略，以在無(wú)需與環(huán)境進(jìn)行任何在線交互的情況下解決多個(gè)任務(wù)。然而，該領(lǐng)域在跨任務(wù)有效共享知識(shí)方面面臨巨大挑戰(zhàn)。受人類學(xué)習(xí)中高效知識(shí)抽象機(jī)制的啟發(fā)，我們提出了一種新方法——面向目標(biāo)的技能抽象GO-Skill，旨在提取和利用可復(fù)用技能，以提升離線多任務(wù)強(qiáng)化學(xué)習(xí)中的知識(shí)遷移能力和任務(wù)表現(xiàn)。我們的方法通過(guò)目標(biāo)導(dǎo)向的技能提取過(guò)程挖掘可復(fù)用技能，并利用向量量化構(gòu)建離散技能庫(kù)。為緩解廣泛適用技能與任務(wù)特定技能之間的類別不平衡問(wèn)題，我們引入了一個(gè)技能增強(qiáng)階段，對(duì)提取出的技能進(jìn)行優(yōu)化。此外，我們通過(guò)分層策略學(xué)習(xí)將這些技能整合起來(lái)，從而構(gòu)建出一個(gè)高層策略，能夠動(dòng)態(tài)組合離散技能以完成特定任務(wù)。在MetaWorld基準(zhǔn)平臺(tái)的多種機(jī)器人操作任務(wù)中進(jìn)行的大量實(shí)驗(yàn)表明，GO-Skill在有效性和通用性方面都具有顯著優(yōu)勢(shì)。

圖1.?GO-Skill目標(biāo)導(dǎo)向的技能模型

圖2.GO-Skill基于技能的策略模型?

13.CSTrack: 通過(guò)緊湊時(shí)空建模來(lái)增強(qiáng)RGB-X跟蹤

CSTrack: Enhancing RGB-X Tracking via Compact Spatiotemporal Features

論文作者：豐效坤，張岱凌，胡世宇，李旭晨，武美奇，張靖，陳曉棠，黃凱奇

有效建模和利用來(lái)自RGB及其他模態(tài)（例如，深度、熱成像和事件數(shù)據(jù)，簡(jiǎn)稱為X）的時(shí)空特征是RGB-X追蹤器設(shè)計(jì)的核心。現(xiàn)有方法通常采用兩個(gè)平行分支分別處理RGB和X輸入流，這要求模型同時(shí)處理兩個(gè)分散的特征空間，復(fù)雜化了模型結(jié)構(gòu)和計(jì)算過(guò)程。更為關(guān)鍵的是，每個(gè)分散空間內(nèi)模態(tài)內(nèi)的空間建模會(huì)產(chǎn)生較大的計(jì)算開銷，限制了用于模態(tài)間空間建模和時(shí)間建模的資源。為了解決這一問(wèn)題，我們提出了一種新的追蹤器，CSTrack，其重點(diǎn)是建模緊湊的時(shí)空特征，以實(shí)現(xiàn)簡(jiǎn)單而有效的追蹤。具體來(lái)說(shuō)，我們首先引入了一個(gè)創(chuàng)新的空間緊湊模塊，將RGB-X雙輸入流整合為緊湊的空間特征，從而實(shí)現(xiàn)徹底的模態(tài)內(nèi)和模態(tài)間空間建模。此外，我們?cè)O(shè)計(jì)了一個(gè)高效的時(shí)序緊湊模塊，通過(guò)構(gòu)建優(yōu)化的目標(biāo)分布熱圖緊湊地表示時(shí)間特征。廣泛的實(shí)驗(yàn)驗(yàn)證了我們緊湊時(shí)空建模方法的有效性，CSTrack在7個(gè)主流RGB-X基準(zhǔn)上取得了新的SOTA結(jié)果。

CSTrack的模型框架。對(duì)于時(shí)間t時(shí)刻的RGB和X（例如熱成像數(shù)據(jù)）輸入流，通用的嵌入模塊最初將它們轉(zhuǎn)換為token序列。然后，空間緊湊模塊將它們整合為一個(gè)緊湊的特征空間，該特征空間隨即被輸入到單流骨干網(wǎng)絡(luò)中進(jìn)行全面的空間建模。接下來(lái)，時(shí)間指導(dǎo)模塊利用之前存儲(chǔ)的時(shí)間特征進(jìn)行追蹤指導(dǎo)，隨后跟蹤頭生成最終的追蹤結(jié)果。之后，時(shí)間緊湊模塊為當(dāng)前時(shí)間步構(gòu)建緊湊的時(shí)間特征，這些特征被存儲(chǔ)以便在下一時(shí)間步t + 1進(jìn)行追蹤引導(dǎo)。

14.基于雙層優(yōu)化的大語(yǔ)言模型數(shù)據(jù)選擇與利用

LLM Data Selection and Utilization via Dynamic Bi-level Optimization

論文作者：于楊，韓凱，周航，唐業(yè)輝，黃凱奇，王云鶴，陶大程

盡管大規(guī)模訓(xùn)練數(shù)據(jù)是構(gòu)建高性能大型語(yǔ)言模型（LLM）的基礎(chǔ)，但如何戰(zhàn)略性地篩選高質(zhì)量數(shù)據(jù)，已成為提升訓(xùn)練效率與降低計(jì)算成本的關(guān)鍵途徑。現(xiàn)有數(shù)據(jù)選擇方法主要依賴靜態(tài)、與訓(xùn)練過(guò)程無(wú)關(guān)的標(biāo)準(zhǔn)，難以反映模型在訓(xùn)練過(guò)程中對(duì)數(shù)據(jù)的動(dòng)態(tài)需求。為此，本文提出一種新的數(shù)據(jù)加權(quán)模型（DWM），用于動(dòng)態(tài)調(diào)整每一批次訓(xùn)練數(shù)據(jù)的權(quán)重，從而實(shí)現(xiàn)訓(xùn)練過(guò)程中更有效的數(shù)據(jù)利用。為更精準(zhǔn)地捕捉模型的動(dòng)態(tài)數(shù)據(jù)偏好，DWM采用雙層優(yōu)化框架進(jìn)行更新。實(shí)驗(yàn)結(jié)果表明，DWM不僅提升了相較于隨機(jī)數(shù)據(jù)選擇所訓(xùn)練模型的性能，且其所學(xué)習(xí)的加權(quán)策略具有良好的遷移能力，可推廣至其他數(shù)據(jù)選擇方法及不同規(guī)模模型中。進(jìn)一步分析還揭示了模型在訓(xùn)練過(guò)程中數(shù)據(jù)偏好的演化規(guī)律，為理解LLM的數(shù)據(jù)利用機(jī)制提供了新的視角。

基于DWM的雙層優(yōu)化框架，其中LLM模型和加權(quán)模型交替訓(xùn)練

15.從概率神經(jīng)-行為表征對(duì)齊中涌現(xiàn)的神經(jīng)表征一致性

Neural Representational Consistency Emerges from Probabilistic Neural-Behavioral Representation Alignment

論文作者：朱宇，宋純鋒，歐陽(yáng)萬(wàn)里，余山，黃鐵軍

大腦在不同個(gè)體間存在顯著的結(jié)構(gòu)和生理差異，卻能產(chǎn)生高度一致的功能特性，這一悖論在神經(jīng)科學(xué)領(lǐng)域尚未得到充分探索。雖然近期研究已通過(guò)手動(dòng)對(duì)齊方法觀察到運(yùn)動(dòng)皮層中跨個(gè)體的神經(jīng)表征保留現(xiàn)象，但對(duì)這種保留特性的零樣本驗(yàn)證及其在多種皮層區(qū)域中的普適性仍有待深入研究。本研究提出了概率神經(jīng)-行為表示對(duì)齊（PNBA）框架，該框架采用概率模型處理不同試驗(yàn)、實(shí)驗(yàn)時(shí)段和個(gè)體間的層次性差異，并通過(guò)生成性約束防止表示退化。PNBA通過(guò)建立穩(wěn)健的跨模態(tài)表示對(duì)齊，成功地通過(guò)零樣本驗(yàn)證揭示了猴子初級(jí)運(yùn)動(dòng)皮層（M1）和背側(cè)預(yù)運(yùn)動(dòng)皮層（PMd）中穩(wěn)定保留的神經(jīng)表示模式。我們還將研究擴(kuò)展至小鼠初級(jí)視覺(jué)皮層（V1），證實(shí)了類似的表征保留現(xiàn)象，表明這可能是一種普遍的神經(jīng)組織原則。這些發(fā)現(xiàn)通過(guò)建立零樣本預(yù)測(cè)范式有效解決了神經(jīng)異質(zhì)性悖論，實(shí)現(xiàn)了跨腦區(qū)和跨物種的神經(jīng)表征遷移，不僅深化了對(duì)神經(jīng)編碼機(jī)制的理解，還為零樣本行為解碼提供了新的方法論基礎(chǔ)。

PNBA方法及其在不同物種皮層中揭示的保留神經(jīng)表征。左上：PNBA方法框架。(a) 通過(guò)概率匹配策略對(duì)神經(jīng)活動(dòng)與行為表征進(jìn)行對(duì)齊，有效處理不同個(gè)體間的神經(jīng)異質(zhì)性。(b) 生成性約束建模確保表征穩(wěn)定性，防止退化現(xiàn)象。左下：猴子運(yùn)動(dòng)皮層(M1)中跨尺度的保留神經(jīng)表征。(a) 神經(jīng)元活動(dòng)模式在不同個(gè)體間存在共性特征。(b-c) 零樣本驗(yàn)證結(jié)果表明，盡管存在神經(jīng)異質(zhì)性，單一共享網(wǎng)絡(luò)仍能在新個(gè)體上準(zhǔn)確預(yù)測(cè)行為，證實(shí)了M1中神經(jīng)編碼的跨個(gè)體保留特性。右側(cè)：小鼠初級(jí)視覺(jué)皮層(V1)中發(fā)現(xiàn)的保留神經(jīng)表征。(a) V1中神經(jīng)活動(dòng)序列的跨個(gè)體共性特征。(b) 不同視覺(jué)刺激誘發(fā)的神經(jīng)響應(yīng)保留模式。(c) 零樣本遷移結(jié)果顯示V1表征在不同個(gè)體間的一致性，支持神經(jīng)編碼保留現(xiàn)象的普適性。

16.MM-RLHF：多模態(tài)大模型對(duì)齊的新里程碑

MM-RLHF: The Next Step Forward in Multimodal LLM Alignment

論文作者：張一帆，于濤，田浩辰，傅超友，李沛言，曾建樹，謝武林，史陽(yáng)，張桓瑜，吳俊康，王雪，胡一博，文彬，楊帆，張彰，高婷婷，張迪，王亮，金榕，譚鐵牛

盡管多模態(tài)大語(yǔ)言模型（MLLMs）取得了顯著的進(jìn)展，但現(xiàn)有的先進(jìn)模型仍然缺乏與人類偏好的充分對(duì)齊。這一差距的存在主要是因?yàn)楝F(xiàn)有的對(duì)齊研究多集中于某些特定領(lǐng)域（例如減少幻覺(jué)問(wèn)題），是否與人類偏好對(duì)齊可以全面提升MLLM的各種能力仍是一個(gè)未知數(shù)。

本文從三個(gè)層面入手推動(dòng)MLLM alignment的發(fā)展，包括數(shù)據(jù)集，獎(jiǎng)勵(lì)模型以及訓(xùn)練算法，最終的alignment pipeline使得不同基礎(chǔ)模型在10個(gè)評(píng)估維度，27個(gè)benchmark上都取得了一致的性能增益，比較突出的是，基于本文提出的數(shù)據(jù)集和對(duì)齊算法對(duì)LLaVA-ov-7B模型進(jìn)行微調(diào)后， conversational 能力平均提升了 19.5%，安全性平均提升了 60%， 而且沒(méi)有觀察到安全性和基礎(chǔ)性能之間的tradeoff。

17.自適應(yīng)中值平滑：在推理階段對(duì)遺忘后文生圖擴(kuò)散模型的對(duì)抗防御

Adaptive Median Smoothing: Adversarial Defense for Unlearned Text-to-Image Diffusion Models at Inference Time

論文作者：韓曉軒，楊嵩林，王偉，李洋，董晶

文生圖擴(kuò)散模型引發(fā)了關(guān)于生成不當(dāng)內(nèi)容（如色情暴力）的擔(dān)憂，盡管已有工作嘗試通過(guò)機(jī)器遺忘技術(shù)來(lái)擦除模型中的不良概念，這些遺忘后模型仍然容易受到對(duì)抗性輸入的攻擊，進(jìn)而重新生成不良內(nèi)容。為保護(hù)遺忘后模型，我們提出了一種新穎的推理階段防御策略，用以緩解對(duì)抗性輸入的影響。具體而言，我們首先將確保遺忘后擴(kuò)散模型魯棒性的挑戰(zhàn)建模為一個(gè)魯棒回歸問(wèn)題。在原始的中值平滑方法基礎(chǔ)上，我們提出了使用各向異性噪聲的廣義中值平滑框架，為模型的對(duì)抗魯棒性提供了理論保證。基于該框架，我們引入了一種基于詞元自適應(yīng)調(diào)整的中值平滑方法，能夠根據(jù)每個(gè)詞元與不良概念的相關(guān)程度動(dòng)態(tài)調(diào)整噪聲強(qiáng)度。此外，為提升推理效率，我們?cè)谖谋揪幋a階段實(shí)現(xiàn)了該自適應(yīng)方法。實(shí)驗(yàn)表明，我們的方法有效提升了遺忘后模型的對(duì)抗魯棒性，同時(shí)保持了模型效用和推理效率。

自適應(yīng)中值平滑流程圖

18.基于少樣本學(xué)習(xí)實(shí)現(xiàn)AI生成圖像跨域檢測(cè)泛化

Few-Shot Learner Generalizes Across AI-Generated Image Detection

論文作者：吳詩(shī)雨，劉靜，李晶，王業(yè)全

圖像生成模型的快速發(fā)展使得AI合成圖像達(dá)到前所未有的逼真程度。盡管這項(xiàng)技術(shù)為創(chuàng)作者提供了便利，但其濫用已嚴(yán)重威脅數(shù)字內(nèi)容的可信性。當(dāng)前檢測(cè)方法面臨兩大核心挑戰(zhàn)：一是檢測(cè)器對(duì)未知生成模型圖像的泛化能力不足，難以適應(yīng)持續(xù)迭代的生成技術(shù)發(fā)展。二是閉源模型訓(xùn)練數(shù)據(jù)的獲取存在顯著成本壁壘。多數(shù)方案依賴大規(guī)模訓(xùn)練數(shù)據(jù)的支持，在少樣本應(yīng)用場(chǎng)景中易出現(xiàn)過(guò)擬合現(xiàn)象，難以滿足實(shí)際應(yīng)用中快速響應(yīng)新型生成模型的技術(shù)需求。

針對(duì)上述挑戰(zhàn)，本文首次將AI生成圖像檢測(cè)重構(gòu)為小樣本分類任務(wù)。論文提出基于原型網(wǎng)絡(luò)構(gòu)建度量空間，利用給定的少量樣本計(jì)算合成圖像的原型表征，通過(guò)與待測(cè)圖片表征差異的比較，實(shí)現(xiàn)合成圖像檢測(cè)的跨域泛化。實(shí)驗(yàn)表明，論文提出的圖像檢測(cè)框架具有良好的泛化性和適應(yīng)性，在主流基準(zhǔn)測(cè)試上取得了新的突破。該方法通過(guò)構(gòu)建動(dòng)態(tài)適配機(jī)制，可快速兼容新興生成模型，為應(yīng)對(duì)持續(xù)演進(jìn)的圖像深度偽造技術(shù)提供有效解決方案。

基于原型網(wǎng)絡(luò)的AI合成圖片檢測(cè)框架

19.EmoGrowth：基于可增廣情緒關(guān)系圖的多標(biāo)簽類增量情緒解碼

EmoGrowth: Incremental Multi-label Emotion Decoding with Augmented Emotional Relation Graph

論文作者：付鎧城，杜長(zhǎng)德，彭杰，王坤鵬，趙雙辰，陳曉宇，何暉光

情緒解碼算法在人機(jī)交互系統(tǒng)中扮演著重要角色。然而，現(xiàn)有的情緒解碼算法忽略了現(xiàn)實(shí)世界中的動(dòng)態(tài)場(chǎng)景，即人類感受到的復(fù)雜多樣的情緒需要增量地整合到模型中，產(chǎn)生了多標(biāo)簽類增量情緒解碼問(wèn)題。已有的模型受限于由過(guò)去和未來(lái)部分標(biāo)簽缺失造成的災(zāi)難性遺忘以及未充分挖掘標(biāo)簽的語(yǔ)義信息，難以解決多標(biāo)簽類增量學(xué)習(xí)問(wèn)題。由此，本文提出一個(gè)可增廣的情緒語(yǔ)義學(xué)習(xí)框架。具體地，設(shè)計(jì)了一個(gè)帶有標(biāo)簽消歧的可增廣情緒關(guān)系圖模塊，用于處理過(guò)去部分標(biāo)簽缺失問(wèn)題。接著，利用來(lái)自情感維度空間的領(lǐng)域知識(shí)，通過(guò)基于樣本關(guān)系的知識(shí)蒸餾緩解未來(lái)部分標(biāo)簽缺失問(wèn)題。此外，研究中設(shè)計(jì)了一個(gè)由圖自編碼器構(gòu)成的情緒語(yǔ)義學(xué)習(xí)模塊，用于獲取情緒語(yǔ)義標(biāo)簽嵌入，并用于指導(dǎo)語(yǔ)義特定的特征解耦，用以更好地進(jìn)行多標(biāo)簽學(xué)習(xí)。

20.OV-MER:開放詞匯多模態(tài)情感識(shí)別

OV-MER: Towards Open-Vocabulary Multimodal Emotion Recognition

論文作者：連政、孫海洋、孫立才、陳皓宇、陳嵐、顧浩、溫卓凡、陳順、張思源、姚海亮、劉斌、劉瑞、梁山、李雅、易江燕、陶建華

多模態(tài)情感理解（MER）是一個(gè)重要的研究方向，旨在從多模態(tài)數(shù)據(jù)中解碼出人類情感狀態(tài)，能夠應(yīng)用于人機(jī)交互、智慧健康、智能教育等場(chǎng)景。然而，現(xiàn)有機(jī)器學(xué)習(xí)方法大多依賴于預(yù)設(shè)的情感分類體系，這些體系往往將人類復(fù)雜細(xì)微的情感狀態(tài)映射到固定且有限的情感類別，無(wú)法捕捉心理學(xué)和認(rèn)知科學(xué)研究中所揭示的人類情感所固有的復(fù)雜性、微妙性、多維性。為突破這一限制，我們主張將“開放詞匯”概念引入MER領(lǐng)域，這一范式轉(zhuǎn)變旨在使模型能夠預(yù)測(cè)任意情感類別，從而更準(zhǔn)確地刻畫人物情感狀態(tài)。我們將該任務(wù)稱為開放詞匯多模態(tài)情感識(shí)別（OV-MER），使情感預(yù)測(cè)不再受限于預(yù)定義標(biāo)簽空間。然而，這種MER范式的轉(zhuǎn)變使得傳統(tǒng)判別式方法不再適用于新的任務(wù)。針對(duì)這一問(wèn)題，我們提出了相應(yīng)的解決方案，包括新的數(shù)據(jù)集構(gòu)建策略、新的評(píng)估指標(biāo)、以及新的解決方案。通過(guò)將MER從基本情感識(shí)別推進(jìn)到細(xì)粒度情感識(shí)別，我們希望這項(xiàng)工作能夠啟發(fā)下一代MER技術(shù)發(fā)展，增強(qiáng)其在現(xiàn)實(shí)場(chǎng)景中的應(yīng)用。

來(lái)源：中國(guó)科學(xué)院自動(dòng)化研究所