隨著人工智能技術(shù)的快速發(fā)展，大語言模型(Large Language Models，LLMs)成為科研領(lǐng)域的熱點話題。上海科技大學(xué)信息科學(xué)與技術(shù)學(xué)院系統(tǒng)與安全中心(Systems and Security Center，以下簡稱SSC)在這一領(lǐng)域持續(xù)發(fā)力，課題組各有側(cè)重，為推動大語言模型的應(yīng)用和部署發(fā)揮積極作用。近日，中心多個課題組在相關(guān)方面取得了一系列進展。
 

　　陳宇奇課題組題為“DistillSeq: A Framework for Safety Alignment Testing in Large Language Models using Knowledge Distillation”的論文在第33屆ACM國際軟件測試與分析大會(The 33rd ACM SIGSOFT International Symposium on Software Testing and Analysis，ISSTA 2024)發(fā)表，上?？萍即髮W(xué)為論文第一完成單位。該工作提出了一種名為DistillSeq的框架，旨在利用知識蒸餾技術(shù)，針對大型語言模型展開高效且全面的安全對齊測試。鑒于LLMs可能生成有害內(nèi)容，對其安全性進行全面評估至關(guān)重要。然而，傳統(tǒng)的測試方法需要大量的計算資源，成本高昂。DistillSeq 框架通過知識蒸餾顯著減少了測試 LLMs 所需的資源和時間，同時提高了測試的有效性。圖1展示了DistillSeq的工作流程。陳宇奇團隊今后將繼續(xù)深入研究，進一步優(yōu)化蒸餾模型性能，以應(yīng)對更復(fù)雜的測試場景。
 

圖1 DistillSeq的基于知識蒸餾的測試過程示意
 

　　陳宇奇課題組另一篇題為“Efficient Detection of Toxic Prompts in Large Language Models”的論文在第39屆IEEE/ACM國際自動化軟件工程大會(The 39th IEEE/ACM International Conference on Automated Software Engineering, ASE 2024)發(fā)表，上?？萍即髮W(xué)為論文第一完成單位。值得一提的是，該論文的共同第一作者是上科大信息學(xué)院2021級本科生郁鈞哲。陳宇奇、郁鈞哲和新加坡南洋理工大學(xué)的研究者合作提出了一種名為 ToxicDetector 的輕量級灰盒方法，旨在高效檢測大型語言模型中的毒性提示，開發(fā)一種兼具高效性、可擴展性和魯棒性的解決方案。圖2展示了ToxicDetector的工作原理。在多個數(shù)據(jù)集上，ToxicDetector 的平均 F1 分?jǐn)?shù)分別為 96.35% 和 96.28%，均優(yōu)于基線方法。即使在提示被偽裝或篡改的情況下，ToxicDetector 仍能有效檢測毒性提示。
 

圖2 ToxicDetector工作原理示意
 

　　何靜竹課題組研究成果“Artemis: Toward Accurate Detection of Server-Side Request Forgeries through LLM-Assisted Inter-procedural Path-Sensitive Taint Analysis”近日被ACM面向?qū)ο缶幊滔到y(tǒng)、語言和應(yīng)用大會(ACM International Conference on Object Oriented Programming Systems Languages and Applications，OOPSLA 2025)錄用，第一作者為2022級碩士研究生季宇辰，何靜竹教授為通訊作者，上?？萍即髮W(xué)為論文第一完成單位。當(dāng)前，服務(wù)器端請求偽造(SSRF)漏洞在PHP Web應(yīng)用程序中是不可避免的?，F(xiàn)有的靜態(tài)分析工具在檢測相關(guān)程序漏洞時，存在兩方面問題：一是缺乏與SSRF有關(guān)的功能來提高檢測準(zhǔn)確性，二是沒有充分考慮PHP的動態(tài)類型特性。該研究提出了名為Artemis的靜態(tài)污點分析工具(圖3)，其中使用了大語言模型作為輔助方法。在 250個PHP Web應(yīng)用程序上進行了評估，Artemis報告了207條真實漏洞路徑(其中106條為真實SSRF)，僅產(chǎn)生了15個誤報。在檢測到的106個SSRF漏洞中，35個是首次發(fā)現(xiàn)。這些結(jié)果彰顯了Artemis的優(yōu)秀效力。
 

圖3 Artemis系統(tǒng)架構(gòu)示意
 

　　張良峰課題組關(guān)于評估ChatGPT生成代碼質(zhì)量的研究發(fā)表于國際期刊IEEE Transactions on Software Engineering (IEEE TSE)。使用大語言模型自動生成代碼能夠提高開發(fā)效率，減少開發(fā)時間，使開發(fā)者能夠?qū)Ｗ⒂诟邔哟蔚倪壿嫼腿蝿?wù)。但使用LLMs生成的代碼在功能性、復(fù)雜性和安全性方面的質(zhì)量仍需評估。圖4展示了與ChatGPT的交互生成代碼的流程。該工作通過系統(tǒng)性實證評估，揭示了ChatGPT在代碼生成方面的潛力與局限性。結(jié)果顯示，未來研究可以探索更高效的提示設(shè)計方法，結(jié)合更多的代碼質(zhì)量和安全性評估工具，以優(yōu)化LLMs在代碼生成任務(wù)中的應(yīng)用。該論文題為“No Need to Lift a Finger Anymore? Assessing the Quality of Code Generation by ChatGPT”，第一作者是碩士研究生劉志杰，論文由張良峰教授與英國、中國香港的合作者等聯(lián)合指導(dǎo)，上海科技大學(xué)為論文第一完成單位。
 

圖4與ChatGPT交互生成代碼的過程示意
 

　　殷樹課題組在大規(guī)模人工智能網(wǎng)絡(luò)(例如大語言模型)的檢查點(checkpoint)方法方面，提出了Portus算法。該算法通過優(yōu)化的數(shù)據(jù)傳輸路徑和索引結(jié)構(gòu)，顯著提升了DNN檢查點的效率，支持更細(xì)粒度的檢查點機制，并為大規(guī)模模型訓(xùn)練提供了高效的容錯解決方案。該成果以“Portus: Efficient DNN Checkpointing to Persistent Memory with Zero-Copy”為題發(fā)表在IEEE第44屆國際分布式計算系統(tǒng)大會(IEEE 44th International Conference on Distributed Computing Systems ，ICDCS 2024)。
 

　　王春東課題組就加速圖神經(jīng)網(wǎng)絡(luò)(GNN)訓(xùn)練等做了系統(tǒng)性優(yōu)化，提出了GNNDrive算法。該算法旨在減少內(nèi)存競爭、緩解I/O擁塞和優(yōu)化數(shù)據(jù)準(zhǔn)備等，以實現(xiàn)在普通經(jīng)濟型硬件上處理大規(guī)模數(shù)據(jù)的目標(biāo)，具有一定的實用價值。該論文以“GNNDrive: Reducing Memory Contention and I/O Congestion for Disk-based GNN Training”為題發(fā)表在第53屆國際并行處理大會上(53rd International Conference on Parallel Processing，ICPP 2024)。