近日,上海交通大學(xué)密西根學(xué)院副教授朱怡飛團(tuán)隊發(fā)表的題為《LLMSched:Uncertainty-Aware Workload Scheduling for Compound LLM Applications》的研究論文被2025年IEEE 國際分布式計算系統(tǒng)大會(IEEE International Conference on Distributed Computing Systems)接收。該論文為團(tuán)隊暨IEEE/ACM IWQoS 2024發(fā)表的論文《Towards Efficient Compound Large Language Model System Serving in the Wild》(最佳海報獎)后,在復(fù)合大語言模型系統(tǒng)領(lǐng)域做出的又一重要突破。論文作者為學(xué)院22級博士研究生朱博韜,上海交通大學(xué)約翰·霍普克羅夫特計算機(jī)科學(xué)中心陳晨教授,江行智能科技有限公司樊小毅博士和密西根學(xué)院副教授朱怡飛博士。
近年來,以O(shè)penAI ChatGPT和Google Gemini為代表的大語言模型(LLM)在自然語言處理任務(wù)中展現(xiàn)出卓越性能。然而,單一模型在垂直領(lǐng)域應(yīng)用中仍存在局限性。為此,業(yè)界正轉(zhuǎn)向構(gòu)建復(fù)合型大語言模型系統(tǒng),通過整合外部模型、工具、API及其他LLM,形成協(xié)同處理能力,以滿足專業(yè)化場景需求。因此,復(fù)合LLM應(yīng)用應(yīng)運(yùn)而生。復(fù)合型LLM應(yīng)用是指一種大語言模型與其他外部工具、API或其他大語言模型協(xié)作從而共同完成復(fù)雜智能服務(wù)的應(yīng)用。相比于單一的LLM調(diào)用,復(fù)合型LLM應(yīng)用能夠通過模塊化架構(gòu)實(shí)現(xiàn)功能增強(qiáng),顯著提升在垂直領(lǐng)域的專業(yè)性和可靠性。
該論文提出 LLMSched,一個為服務(wù)復(fù)合型 LLM 應(yīng)用不確定性感知調(diào)度框架??蚣艿慕Y(jié)構(gòu)如圖所示。針對復(fù)合型 LLM 應(yīng)用固有的結(jié)構(gòu)與時長不確定性,論文首先設(shè)計了一種基于有向無環(huán)圖(DAG)的建模方法,用以描述具有不確定性的復(fù)合型 LLM 應(yīng)用;論文繼而采用貝葉斯網(wǎng)絡(luò)對應(yīng)用進(jìn)行全方位建模,識別能夠降低不確定性的關(guān)鍵階段,并通過基于信息熵的量化機(jī)制評估其不確定性削減效果。論文通過融合不確定性削減策略與作業(yè)完成時間(JCT)優(yōu)化方案,論文進(jìn)一步提出高效調(diào)度算法以縮短平均作業(yè)完成時間。實(shí)驗(yàn)表明,LLMSched 可將平均 JCT 降低 14%~79%,顯著優(yōu)于現(xiàn)有方案。
該工作為 LLM 服務(wù)優(yōu)化開辟了新方向,尤其對多模塊協(xié)作的 Agent 系統(tǒng)、LLM 推理集群資源調(diào)度具有重要參考價值。其不確定性量化框架可擴(kuò)展至其他動態(tài)任務(wù)場景,推動智能調(diào)度理論與實(shí)際系統(tǒng)的深度融合。該項(xiàng)研究在國家自然科學(xué)基金項(xiàng)目資助下完成。
背景介紹:
IEEE 國際分布式計算系統(tǒng)大會(IEEE International Conference on Distributed Computing Systems)是IEEE主辦的計算機(jī)系統(tǒng)領(lǐng)域歷史最悠久的國際著名學(xué)術(shù)會議。自1979年創(chuàng)辦以來,ICDCS就一直作為分享分布式計算系統(tǒng)相關(guān)前沿工作的學(xué)術(shù)平臺,備受海內(nèi)外學(xué)者的關(guān)注,在國內(nèi)外享有較高的聲譽(yù)和廣泛的影響力?,F(xiàn)為中國計算機(jī)學(xué)會推薦B類會議。今年是大會舉辦的第45屆,吸引了包括ACM Fellow、IEEE Fellow等諸多業(yè)界和學(xué)術(shù)界專家學(xué)者參會和分享最新的進(jìn)展,大會共收到投稿529篇,總共錄用104篇。會程共4天,包括5個主題演講以及32個專題討論會。
學(xué)院作者簡介:
朱博韜是上海交通大學(xué)2022級信息與通信工程專業(yè)在讀博士生。他目前的研究方向包括云計算、邊緣計算與機(jī)器學(xué)習(xí)系統(tǒng)等。
朱怡飛為上海交通大學(xué)密西根學(xué)院副教授、上海交通大學(xué)電子系雙聘助理教授、博士生導(dǎo)師。上海市高層次引進(jìn)人才(海外)。2020年獲得加拿大Simon Fraser University計算機(jī)科學(xué)博士學(xué)位,2015年獲得香港科技大學(xué)碩士學(xué)位,2012年獲得西安交通大學(xué)學(xué)士學(xué)位。朱怡飛博士研究領(lǐng)域?yàn)橛嬎銠C(jī)網(wǎng)絡(luò)與系統(tǒng),目前專注于邊緣計算、多媒體網(wǎng)絡(luò)與系統(tǒng),分布式機(jī)器學(xué)習(xí)系統(tǒng)等方向。他在 ACM SIGCOMM,IEEE INFOCOM,ACM Multimedia等多個國際一流期刊及會議發(fā)表高水平論文60余篇,其中中國計算機(jī)學(xué)會推薦A類論文24篇。相關(guān)研究工作獲得加拿大Telus-Juniper軟件定義網(wǎng)絡(luò)比賽一等獎,2個IEEE會議最佳論文獎。此外,朱怡飛博士還擔(dān)任IEEE Internet of Things Journal編輯、ACM Multimedia領(lǐng)域主席、IEEE Network客座編輯,以及多個國際會議技術(shù)程序委員會成員。中國計算機(jī)學(xué)會互聯(lián)網(wǎng)專委會、分布式計算專委會執(zhí)行委員。研究成果受科技部重點(diǎn)研發(fā)青年科學(xué)家項(xiàng)目、中國自然科學(xué)基金委、華為等政府和企業(yè)項(xiàng)目支持。
友情鏈接: 政府 高新園區(qū)合作媒體
Copyright 1999-2025 中國高新網(wǎng)chinahightech.com All Rights Reserved.京ICP備14033264號-5
電信與信息服務(wù)業(yè)務(wù)經(jīng)營許可證060344號主辦單位:《中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報》社有限責(zé)任公司