科研進(jìn)展
水生所聯(lián)合德國KIT研發(fā)基于大數(shù)據(jù)挖掘和深度學(xué)習(xí)的有害藻類水華預(yù)警系統(tǒng)
近日,中國科學(xué)院水生生物研究所畢永紅團(tuán)隊(duì)聯(lián)合德國卡爾斯魯厄工學(xué)院(KIT)研發(fā)出基于大數(shù)據(jù)挖掘和深度學(xué)習(xí)的有害藻類水華預(yù)警系統(tǒng)。相關(guān)論文以封面文章形式發(fā)表在環(huán)境科學(xué)領(lǐng)域權(quán)威期刊Environmental Science & Technology。
該研究致力于創(chuàng)建高時(shí)間分辨率的水柱垂向維度有害藻華(HABs)早期預(yù)警系統(tǒng),內(nèi)容包括創(chuàng)建大數(shù)據(jù)平臺(tái)、采集高時(shí)空分辨率的水生態(tài)環(huán)境大數(shù)據(jù)、開發(fā)自主學(xué)習(xí)并能跨時(shí)間點(diǎn)聚類捕獲Chl a動(dòng)態(tài)的先進(jìn)聚類算法、設(shè)計(jì)專門處理復(fù)雜多變量時(shí)間序列的預(yù)測(cè)模型等。具體工作以太湖為研究水域,構(gòu)建高頻垂直剖面監(jiān)測(cè)系統(tǒng)(VAMS)進(jìn)行水生態(tài)大數(shù)據(jù)采集,基于大數(shù)據(jù)開發(fā)了具有深度學(xué)習(xí)功能的Bloomformer-2模型,通過“DeepDPM-光譜聚類”和Bloomformer-2模型優(yōu)化建模策略,智能識(shí)別水柱分層并進(jìn)行不同水深藻類生物量的精確預(yù)測(cè),將預(yù)測(cè)結(jié)果與世界衛(wèi)生組織的“警戒級(jí)別框架”有機(jī)結(jié)合,構(gòu)建了有害藻類水華的預(yù)警系統(tǒng)。該系統(tǒng)不僅能及時(shí)預(yù)測(cè)有害藻華的發(fā)生,還能識(shí)別出藻華的主要驅(qū)動(dòng)因子,提高了藻華的預(yù)測(cè)能力以及預(yù)測(cè)模型的環(huán)境適應(yīng)性,為藻華預(yù)警及其防控提供了新的解決方案。
所開發(fā)的Bloomformer-2具有時(shí)空多頭自注意力(MHSA)機(jī)制,該機(jī)制使用了時(shí)間和空間自注意力層的“查詢”(query)、“關(guān)鍵詞”(key)和“值”(value)輸出,有效綜合了時(shí)間和空間維度;通過優(yōu)化該機(jī)制,可更好進(jìn)行多變量時(shí)間序列預(yù)測(cè)(TSF)中的上下文學(xué)習(xí)。通過這種時(shí)空多頭自注意力機(jī)制,充分識(shí)別和提取各種水生態(tài)環(huán)境參數(shù)間的時(shí)空相互關(guān)系,用于Chl a的精確預(yù)測(cè)。
不同于傳統(tǒng)方法,該模型為特定時(shí)間框架內(nèi)的每個(gè)變量設(shè)置了獨(dú)特的上下文優(yōu)先級(jí);利用基于Transformer的編碼器-解碼器架構(gòu),處理由歷史和目標(biāo)數(shù)據(jù)生成的雙時(shí)空序列,整個(gè)過程包括并行雙序列輸入、時(shí)空嵌入、時(shí)空注意力和效率優(yōu)化。為了闡明Bloomformer-2性能穩(wěn)健性,本研究使用了LSTM(long short-term memory)作為比較模型。為了幫助識(shí)別和優(yōu)化模型,使其在短期和長期預(yù)測(cè)中都能提供準(zhǔn)確預(yù)測(cè)結(jié)果,本研究進(jìn)行了單步預(yù)測(cè)和多步預(yù)測(cè),從而更全面地評(píng)估模型在不同時(shí)間尺度上的表現(xiàn)和適用性,為不同預(yù)測(cè)需求提供支持。
該研究證明了預(yù)測(cè)模型在單步和多步預(yù)測(cè)中的優(yōu)越性,能準(zhǔn)確識(shí)別藻華動(dòng)態(tài)的主要驅(qū)動(dòng)因素,為提前采取預(yù)防措施提供了依據(jù)。此外,該系統(tǒng)利用大數(shù)據(jù)的5Vs特性,顯著提高了數(shù)據(jù)采集的體積、速度、多樣性以及分析數(shù)據(jù)的價(jià)值,大幅增強(qiáng)了早期預(yù)警系統(tǒng)的性能可靠性。未來,將通過擴(kuò)大VAMS監(jiān)測(cè)網(wǎng)絡(luò)和增加傳感器進(jìn)一步提升系統(tǒng)的大數(shù)據(jù)容量和應(yīng)用范圍,使其更廣泛地應(yīng)用于HABs監(jiān)測(cè)和預(yù)警中。
圖 ?Bloomformer-2模型的單步預(yù)測(cè)(A)和多步預(yù)測(cè)(B)結(jié)果及其與LSTM預(yù)測(cè)結(jié)果的比較
德國KIT與水生所聯(lián)合培養(yǎng)博士生錢儆為論文第一作者,論文通訊作者為水生所畢永紅。
論文連接:https://doi.org/10.1021/acs.est.3c03906