Plant Phenomics | 密集模式下圖像語義分割的半自監督學習

深度學習在具有大規模注釋數據集的領域顯示出了潛力。深度學習模型在各種計算機視覺任務中顯示出了很好的結果，包括物體識別，物體檢測，實例分割和語義分割。深度學習有可能應用于作物圖像，為植物育種和精準農業提供信息，以提高作物生產的質量和數量。基于圖像的幾種重要植物性狀，如器官大小、器官健康以及對生物和非生物脅迫的響應，都需要對植物器官進行細粒度語義分割。與一般物體分割不同，植物表型分析任務涉及到密集的、重疊的且高度自相似的實例分割。在這種應用中，圖像通常包含許多重復的不規則模式，例如植物的頂端、水果、花或葉子（圖1）。因此，作物圖像中的語義分割仍然是一個巨大的挑戰。手動注釋昂貴、耗時且繁瑣，對于對象實例密集不規則模式的圖像，像素級注釋的語義分割成本特別高。
 

圖1植物表型任務涉及分割高度自相似的密集包裝和重疊實例

2023年1月，Plant Phenomics在線發表了加拿大University of Saskatchewan聯合University of Calgary等單位題為Semi-Self-Supervised Learning for Semantic Segmentation in Images with Dense Patterns 的研究論文。

本文提出了一種圖像合成和模型訓練流程，利用少量手動標注數據來開發高性能的語義分割深度學習模型。該方法利用一段麥田的短視頻剪輯、幾個有注釋的圖像和幾個沒有小麥的背景場景的短視頻剪輯來合成大規模的計算機注釋數據集。這些圖像用于以下兩個步驟合成計算機注釋的數據集（圖2）。步驟一：選擇兩個不同的麥田圖像wt和wv，分別合成訓練集和驗證集。步驟二：合成注釋數據集St和Sv。
 

圖2 注釋圖像合成注釋數據集

然后，使用合成的圖像訓練定制的U-Net模型用于小麥穗部分割，使用定制的U-Net模型架構，并在ImageNet數據集上預訓練了EfficientNet B4編碼器。最后，當模型應用于分布與其開發所使用的數據分布不同的數據集時，模型的性能會下降。這種數據分布的變化被稱為分布偏移或域偏移。由于合成數據集St和Sv中的圖像與真實圖像存在域偏移，因此需要進行域自適應來提高模型性能。在本研究中，采用三個域自適應步驟逐步微調模型，每個步驟都會生成一個新模型，分別標記為D，P和G（圖3）。
 

圖3模型開發過程的總結（定制的U-Net模型架構，所有實驗都使用了EfficientNet B4編碼器）

在本研究中，僅使用兩張帶注釋的圖像，在內部測試集中獲得了0.89的Dice分數。在從五個國家的18個不同領域收集的不同外部數據集上進行進一步評估時，該模型的Dice得分為0.73。為了將模型暴露在不同生長階段和環境條件下的圖像中，從18個域中每個域合并了兩張注釋圖像，以進一步微調模型。這將Dice分數提高到0.91。結果強調了在沒有大型注釋數據集的情況下所提出的方法的實用性。

本研究通過合成一個大規模計算注釋數據集，并應用三個域適應步驟來解決與域轉移相關的挑戰，為麥穗語義分割任務引入了半自監督方法。該方法利用麥田和背景植被的短視頻片段，便于模型建立的數據收集。此外，由于所提出的模型只使用少量手動注釋的圖像，因此避免了對大型數據集的手動注釋，使得模型的開發速度更快，成本更低。雖然，本研究展示了所提出的麥穗分割方法的實用性，但它也可以應用于具有類似密集重復對象模式的其他應用，例如分割其他作物物種的植物器官，或分割顯微鏡圖像中的分子成分。這種方法也可以擴展到不可計數的模式，如估計葉面積或冠層覆蓋度。

數據和圖像合成代碼鏈接：

https://www.cs.usask.ca/ftp/pub/whs/
https://github.com/KeyhanNajafian/ImageSimulatorPipeline

論文鏈接：
https://doi.org/10.34133/plantphenomics.0025

——推薦閱讀——
From Prototype to Inference: A Pipeline to Apply Deep Learning in Sorghum Panicle Detection
https://doi.org/10.34133/plantphenomics.0017
Plant Phenomics | 從原型到推理：深度學習在高粱穗部檢測中的應用
Global Wheat Head Detection 2021: An Improved Dataset for Benchmarking Wheat Head Detection
ethodshttps://doi.org/10.34133/2021/9846158
Plant Phenomics | GWHD_2021：改進后的全球麥穗檢測數據集

加入作者交流群

掃碼添加小編微信，拉您進入《植物表型組學》作者交流群，群內不定期開展作者分享會、專刊發布會等高質量活動。

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics

《植物表型組學》（Plant Phenomics）是由南京農業大學和美國科學促進會（AAAS）合作創辦的英文學術期刊，于2019年1月正式上線發行。采用開放獲取形式，刊載植物表型組學交叉學科熱點領域具有突破性科研進展的原創性研究論文、綜述、數據集和觀點。具體范圍涵蓋高通量表型分析的最新技術，基于圖像分析和機器學習的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農業實踐中的表型組學新應用，與植物表型相結合的分子生物學、植物生理學、統計學、作物模型和其他組學研究，表型組學相關的植物生物學等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數據庫收錄。科睿唯安JCR2021影響因子為6.961，位于農藝學、植物科學、遙感一區。中科院農藝學、植物科學一區、遙感二區、生物大類一區（TOP期刊）。2020年入選中國科技期刊卓越行動計劃高起點新刊項目。

說明：本文由《植物表型組學》編輯部負責組稿。
中文內容僅供參考，一切內容以英文原版為準。
排版：張婕（南京農業大學）
審核：孔敏、王平