基于FHTW-Net的水稻葉片病害圖文檢索精確框架助力水稻葉片病害防治
對水稻葉片病害進行跨模態檢索對于水稻預防防治至關重要，為農業專家提供基于數據的決策支持，以應對疾病威脅，保障水稻生產刻不容緩。但當前水稻葉片病害跨模態檢索過程中存在幾個問題：（1）：復雜的背景和模糊的主體邊界在圖像處理領域中一直備受關注。這些因素往往會導致圖像的主體檢索變得模糊和困難。具體而言，復雜的背景可能包含大量干擾信息，使得從中準確提取出主體變得極具挑戰性。同時，模糊的主體邊界也會導致特征提取變得困難，甚至可能會導致錯誤的檢索結果；（2）：如何提升模型對于多樣文本的理解和關聯性建模成為了當前研究的關鍵問題之一。在圖像與文本的匹配過程中，一個顯著的挑戰在于文本語句的多樣性和種類的繁多性。這使得圖像與文本之間的關聯性變得相對較弱。換言之，由于文本的表達形式千差萬別，模型需要具備強大的語義理解能力以準確地將圖像與相應的文本進行匹配；（3）：學習率的優化策略和訓練過程的監控也是需要認真考慮和設計的關鍵因素。一個合適的學習率策略能夠有效地引導模型收斂于全局最優解，從而提升訓練的效率與性能。另外，在訓練檢索模型時，我們也必須關注其訓練的收斂速度以及達到的精度水平。這直接關系到模型在實際應用中的可用性與性能表現。
2024年4月，Plant Phenomics在線發表了中南林業科技大學周國雄教授團隊題為A precise framework for rice leaf disease image-text retrieval using FHTW-Net 的研究論文。
圖1不同水稻葉片病害類別中圖文檢索問題的示例
為克服當前水稻葉片病害檢索框架的局限性和相關問題，我們專注于四種常見的水稻葉片病害，并建立了第一個跨模態水稻葉片病害檢索數據集（CRLDRD）。我們將跨模態檢索引入水稻葉片病害檢索領域，并提出了FHTW-Net，這是一個用于水稻葉片病害圖文檢索的框架。為了解決檢索過程中匹配不同圖像類別和復雜文本描述的挑戰，我們最初采用了ViT和BERT來提取富含上下文信息的細粒度圖像和文本特征序列。隨后，我們提出雙向混合自注意力（TMS）來增強圖像和文本特征序列，旨在揭示兩種模態中的重要語義信息。其次，我們提出假陰性消除-硬負樣本最小化（FNE-HNM）策略，以促進對不同模態之間的語義連接進行深入探索。這一策略有助于選擇具有挑戰性的負樣本進行消除，以約束模型在三元損失函數內。最后，我們提出預熱蝙蝠優化算法（WBA）進行學習率優化，從而提高了模型的收斂速度和準確性。
圖2 提出的FHTW-Net模型及其基準模型FNE的網絡結構圖
本文創新點如下：
（1）為了減輕水稻病害對農業生產的嚴重影響，我們針對四種常見且高致病性的水稻葉片病害，利用圖像和文字描述進行研究。我們創建了第一個CRLDRD數據集，并將跨模態檢索引入水稻葉片病害檢索領域，提出了名為FHTW-Net的框架。
（2）目標圖像中背景復雜或主體邊界不清晰可能導致圖文檢索中的歧義和檢索錯誤。為了進一步利用圖像和文本中的重要語義信息，我們提出TMS自注意力來增強圖像和文本中的細粒度特征序列，從而提高了模型的檢索準確性。
（3）檢索過程中的多樣性涉及到不同的文本句子和圖像形態，這給圖文間的跨模態檢索帶來了挑戰。我們深入研究了不同模態之間的語義關系，并提出了FNE-HNM策略，應用于三元損失函數中，以增強模型的檢索魯棒性和泛化能力。
（4）在模型訓練過程中，學習率優化不足可能導致最終檢索階段的準確性降低和收斂速度緩慢。為了解決這一挑戰，我們提出WBA算法來優化學習率，加快了模型的訓練收斂速度，提高了檢索準確性。
該研究由中南林業科技大學、國防科技大學、愛達荷大學、湖南省植物保護研究所合作完成。中南林業科技大學周宏亮為該文第一作者，周國雄教授為該文通訊作者。相關工作得到長沙市自然科學基金、國家自然科學基金等資助。
論文鏈接：
https://doi.org/10.34133/plantphenomics.0168
——推薦閱讀——
Dynamic UAV Phenotyping for Rice Disease Resistance Analysis Based on Multisource Data
https://doi.org/10.34133/plantphenomics.0019
Plant Phenomics | 基于多源數據的水稻抗病性動態無人機表型分析
https://doi.org/10.34133/plantphenomics.0054
Plant Phenomics | 貴州大學提出PDDD-PreTrain：一系列常用的預訓練模型支持基于圖像的植物病害診斷
加入作者交流群
掃碼添加小編微信，拉您進入《植物表型組學》作者交流群，群內不定期開展作者分享會、�？l布會等高質量活動。
添加小編微信，備注姓名+單位+PP，加入作者交流群
About Plant Phenomics
《植物表型組學》（Plant Phenomics）是由南京農業大學和美國科學促進會（AAAS）合作創辦的英文學術期刊，于2019年1月正式上線發行。采用開放獲取形式，刊載植物表型組學交叉學科熱點領域具有突破性科研進展的原創性研究論文、綜述、數據集和觀點。具體范圍涵蓋高通量表型分析的最新技術，基于圖像分析和機器學習的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農業實踐中的表型組學新應用，與植物表型相結合的分子生物學、植物生理學、統計學、作物模型和其他組學研究，表型組學相關的植物生物學等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數據庫收錄�？祁Ｎò睯CR2022影響因子為6.5，位于農藝學、植物科學、遙感一區。2023年中科院期刊分區位于農林科學大類一區。2020年入選中國科技期刊卓越行動計劃高起點新刊項目。
說明：本文由《植物表型組學》編輯部負責組稿。
中文內容僅供參考，一切內容以英文原版為準。
特邀作者：周國雄
排版：趙慶澤（南京農業大學）
審核：孔敏、王平
