近年來，深度學習網(wǎng)絡（Deep?Neural?Network，DNN）憑借其卓越的能力在各個領域取得了顯著成就，但訓練出高質(zhì)量的?DNN仍然面臨諸多挑戰(zhàn)。盡管可視化方法為DNN訓練提供了有力輔助，然而當前主流的事后分析（post-hoc?analysis）策略在實際應用中卻暴露出許多問題，例如數(shù)據(jù)量龐大導致存儲困難、I/O?開銷過高，以及無法實現(xiàn)實時干預等等?。特別是DNN?訓練過程中產(chǎn)生的海量時間序列數(shù)據(jù)，現(xiàn)有工具卻難以從中提取出詳細的訓練過程信息，給模型優(yōu)化帶來了阻礙。

我中心先進交互式應用與發(fā)展部團隊創(chuàng)新性地提出了一個針對深度學習模型訓練數(shù)據(jù)的原位可視分析框架，并形成了原位特征提取和神經(jīng)元學習模式抽象兩大核心算法。原位特征提取算法在模型運行時復用內(nèi)存數(shù)據(jù)，實時分析動態(tài)數(shù)據(jù)，有效解決了傳統(tǒng)事后分析的數(shù)據(jù)存儲和 I/O 瓶頸問題；而神經(jīng)元學習模式抽象算法則基于原位特征數(shù)據(jù)，抽象出神經(jīng)元的三種學習模式，為可視分析提供了有力支持。

該框架在性能方面表現(xiàn)良好，對千萬參數(shù)深度神經(jīng)網(wǎng)絡模型的時序訓練數(shù)據(jù)壓縮率可達 1% ，不僅能夠支撐訓練全過程的問題可視分析與回溯，還能實現(xiàn) batch level 神經(jīng)元信息可視化，為深度學習模型優(yōu)化提供全新視角和有力支持。該成果被可視化領域期刊IEEE?Transactions?on?Visualization?and?Computer?Graphics（IEEE?TVCG，CCF-A類期刊）錄用，第一作者為我中心李觀副研究員，通信作者為我中心單桂華研究員。

該研究得到中國科學院先導專項和國家自然科學青年科學基金的資助。

深度學習模型原位分析流程

深度學習模型原位可視分析系統(tǒng)

相關成果

Li Guan,Junpeng Wang,Yang Wang,Guihua Shan*,Ying Zhao. An In-Situ Visual Analytics Framework for Deep Neural Networks,IEEE Transactions on Visualization and Computer Graphics,6770-6786,Oct. 2024.

責任編輯：郎楊琴