基于生成式深度學習網絡的柑橘表皮顏色可視化預測研究
Plant Phenomics | 基于生成式深度學習網絡的柑橘表皮顏色可視化預測研究
柑橘是全球價值最高的水果之一，其果皮顏色對果實的生長和成熟具有重要的指示作用。預測和監測柑橘顏色轉變可以輔助農作物管理和收獲安排的決策。目前，柑橘顏色預測方法存在準確性不高且依賴人力資源的問題。為了解決這個問題，研究者們開始探索計算機視覺技術在柑橘顏色預測中的應用，以實現非破壞性和客觀的預測方法。然而，現有方法受限于光照條件和視角的影響，難以實現準確的柑橘顏色預測。
2023年5月，Plant Phenomics在線發表了華中農業大學題為Predicting and Visualizing Citrus Colour Transformation Using a Deep Mask-Guided Generative Network 的研究論文。
本研究旨在提出一個框架，用于預測和可視化果園中柑橘類水果的顏色轉變。研究者們開發了一種基于深度神經網絡的新框架，包括分割網絡、掩模引導生成網絡和感知損失網絡。該框架能夠在不同時間間隔內準確預測柑橘果皮的顏色。研究團隊還開發了一款基于安卓平臺的應用程序，方便在實際場景中的應用。
本文核心內容為提出的網絡框架如圖1所示，由三個模塊組成，一個分割網絡、一個生成網絡和一個損失網絡。為了定位視野中的柑橘類水果，我們采用了U-Net編碼器-解碼器的結構作為分割網絡，因為它簡單、高效，而且在數據量有限的情況下具有一定的魯棒性和泛化性。利用分割的結果，生成網絡可以保留背景的同時在圖中柑橘所在的位置生成其未來的顏色。與分割網絡類似，提出的生成網絡也采用了編碼器-解碼器結構。我們使用Resize Convolution的方法代替Transposed Convolution的方法，這有助于獲得更高質量的圖像，因為后者可能導致棋盤效應。此外，設計了兩個可訓練的嵌入層（Embedding Layers），將輸入的時間間隔編碼為向量，分別與編碼器和解碼器中得到的特征圖進行融合。通過我們的設計，生成的圖像由輸入圖像和時間間隔共同決定。損失網絡用于度量預測顏色和真實顏色之間的差異并作為損失函數對生成網絡的參數進行更新。該網絡基于在ImageNet 數據集上進行訓練的VGG19 模型。我們將生成網絡的輸入圖像，輸出圖像以及真實圖像標簽輸入到損失網絡中提取各層次的特征，構造了由內容損失和風格損失組成的感知損失。其中風格損失的計算利用了特征圖的Gram矩陣和分割網絡得到的柑橘語義掩碼，消除了生成圖像和真實標簽中柑橘的大小、所在位置以及背景信息的影響。
圖1 The architecture of the proposed deep mask-guided generative network.
研究結果表明，對于柑橘圖像分割任務，測試集上的 MIoU達到了96% 以上。如圖2所示，即使遇到強光或不規則光光照時分割的性能仍然令人滿意。對于柑橘顏色預測任務，在測試集上獲得的PSNR （峰值信道噪聲比）為 30.01，表明生成的圖像質量良好， MLSL （平均風格損失）達到2.710并且CCI（柑橘顏色指標）誤差僅有0.841，表明生成的圖像與真實圖像中的柑橘具有很高的相似性。
圖2The training process and results of the semantic segmentation task.
圖3分別展示了輸入同一柑橘圖像不同時間間隔和輸入不同柑橘圖像同一時間間隔的預測結果。第一種情形中隨著時間間隔的增加，果皮的顏色逐漸從黃綠色變為橙色，與實際場景中的觀察結果相符。此外，生成的圖像還保留了果皮不同區域的亮度、紋理特征和顏色變化，與輸入圖像相一致。這些豐富的特征體現了本模型在自然光條件下的魯棒性。第二種情形中對于相同的輸入時間，生成的圖像仍然能夠準確地根據不同的輸入圖像預測其顏色變換。需要注意的是，輸入圖像中存在著不均勻的著色，例如黃色條紋和局部綠色斑點，這些特征也能夠在生成的圖像中得以保留使得圖像更加逼真。
圖3 The results generated from the same input image on the test set. N represents the input time interval. The results generated from different input images on the test set.
為了方便在現實場景中的應用，研究團隊將該模型移植到了安卓設備APP上，通過手機相機拍攝柑橘圖像并輸入感興趣的時間間隔即可完成預測，如圖4所示。
圖4 The testing of the Android-based application.
華中農業大學信息學院碩士研究生鮑澤韓（主要研究方向為深度學習以及計算機視覺技術在植物表型分析上的應用）和李偉夫副教授（主要研究方向為深度學習的理論、算法及其應用）和為本文共同第一作者，華中農業大學工學院陳耀暉副研究員（主要研究方向為智慧園藝技術與裝備體系的構建）和海南大學生物醫學工程學院肖馳副教授（主要研究方向為基于深度學習的生物醫學圖像處理、海量大腦三維顯微成像數據的處理與分析等）為通訊作者。
論文鏈接：
https://spj.science.org/doi/10.34133/plantphenomics.0057
——推薦閱讀——
Phenotypic Analysis of Diseased Plant Leaves Using Supervised and Weakly Supervised Deep Learning
https://doi/10.34133/plantphenomics.0022
Plant Phenomics | 基于全監督和弱監督深度學習的病損葉片表型分析研究
From Prototype to Inference: A Pipeline to Apply Deep Learning in Sorghum Panicle Detection
https://doi.org/10.34133/plantphenomics.0017
Plant Phenomics | 從原型到推理：深度學習在高粱穗部檢測中的應用
加入作者交流群
掃碼添加小編微信，拉您進入《植物表型組學》作者交流群，群內不定期開展作者分享會、專刊發布會等高質量活動。
添加小編微信，備注姓名+單位+PP，加入作者交流群
About Plant Phenomics
《植物表型組學》（Plant Phenomics）是由南京農業大學和美國科學促進會（AAAS）合作創辦的英文學術期刊，于2019年1月正式上線發行。采用開放獲取形式，刊載植物表型組學交叉學科熱點領域具有突破性科研進展的原創性研究論文、綜述、數據集和觀點。具體范圍涵蓋高通量表型分析的最新技術，基于圖像分析和機器學習的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農業實踐中的表型組學新應用，與植物表型相結合的分子生物學、植物生理學、統計學、作物模型和其他組學研究，表型組學相關的植物生物學等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數據庫收錄。科睿唯安JCR2022影響因子為6.5，位于農藝學、植物科學、遙感一區。中科院農藝學、植物科學一區，遙感二區，生物大類一區（TOP期刊）。2020年入選中國科技期刊卓越行動計劃高起點新刊項目。
說明：本文由《植物表型組學》編輯部負責組稿。
中文內容僅供參考，一切內容以英文原版為準。
特邀作者：鮑澤韓
排版：李芯蕊（南京農業大學）
審核：孔敏、王平
