近日，上海對外經貿大學統(tǒng)計與信息學院2021級應用統(tǒng)計專業(yè)研究生臧健翔同學和導師劉慧副教授的合作論文《Modeling Selective Feature Attention for Lightweight Text Matching》在第33屆國際人工智能聯(lián)合會議（IJCAI 2024）發(fā)表，兩人赴韓國參加會議報告論文。這是我校師生首次在計算機領域頂級會議發(fā)表學術論文。
臧健翔在會議上作學術報告，與會人員圍繞特征注意力問題進行了熱烈交流。
International Joint Conference of Artificial Intelligence (簡稱IJCAI)系列會議自1969年起開始舉辦，是人工智能領域歷史最悠久的學術會議，也是國際公認的人工智能領域的兩大頂級綜合會議之一。IJCAI會議是中國計算機學會（CCF）推薦的A類國際學術會議，列為我校的國際二類期刊。IJCAI一直是錄用率最低的計算機頂級會議，本年度論文錄用率僅為14%。
統(tǒng)計與信息學院高度重視和支持師生的科研能力培養(yǎng)和國際學術交流，參加本次會議促進了與計算機領域學者的學術交流，加強了學院與國內外高校、研究機構的聯(lián)系，開闊了學院師生的學術視野，也為學院專業(yè)建設和人才培養(yǎng)發(fā)揮了重要作用。
內容簡介：
基于表征的孿生網絡因其低部署和推理成本而在輕量級文本匹配領域備受青睞。大量基于孿生網絡的匹配工作引入了豐富詞級別注意力機制以提高下游交互，本工作進一步提出了一種創(chuàng)新的下游模塊——特征注意力（FA），首次在文本匹配領域建模了詞嵌入特征之間依賴。通過采用“擠壓-激勵”技術，FA模塊動態(tài)調整特征級別的聚焦，使網絡能夠更多地關注對最終分類貢獻顯著的特征。在此基礎上，本工作引入了一種動態(tài)“選擇”機制，形成選擇性特征注意力（SFA）。SFA模塊利用了堆疊的雙向GRU Inception結構，通過遍歷不同的堆疊雙向GRU層實現(xiàn)多尺度語義提取，鼓勵網絡自適應選擇性地關注不同抽象層次的語義信息和嵌入特征。FA和SFA模塊均可與各種孿生文本網絡無縫集成，具有即插即用的特點。本工作在不同文本匹配基線模型和基準上對建模FA和SFA進行評估，大量結果展現(xiàn)了特征注意力建模的必要性以及“選擇”機制的優(yōu)越性。
文章鏈接：https://www.ijcai.org/proceedings/2024/732
項目代碼：https://github.com/hggzjx/SFA
作者簡介：
臧健翔，統(tǒng)計與信息學院2021級應用統(tǒng)計專業(yè)碩士研究生，主要研究領域為文本表示學習、LLM對齊。在學期間發(fā)表CCF-A類論文1篇，CCF-B類論文1篇，CCF-C類論文2篇。獲校優(yōu)秀學位論文獎。
劉慧，統(tǒng)計與信息學院計算機與人工智能系副教授。主要研究領域為自然語言處理。主持完成教育部人文社會科學項目1項，在IEEE TSMCB、IJCAI、ECAI等國內外重要學術刊物和會議上發(fā)表論文40余篇。
