Plant Phenomics | 基于AS-SwinT疏果前單串葡萄果粒的實例分割與計數

疏果是鮮食葡萄生產管理中提高產量和質量的重要生產環節。隨著人口老齡化的嚴重，大型葡萄園疏果亟需設計一種疏果機械代替人工實現重復而繁瑣的疏果。作為葡萄疏果機械中的重要組成部分，機器視覺系統能夠統計單串葡萄果粒數量并定位需要去除的果粒。隨著深度學習的發展，基于深度學習的葡萄果粒檢測為葡萄疏果提供了技術支撐。但由于疏果期的葡萄果粒目標較小，相互之間存在密集遮擋，極大地限制了單串葡萄果粒的計數。為了應對單串葡萄果粒計數面臨地挑戰，為葡萄疏果檢測提供決策依據，該研究基于AS-SwinT模型（圖1）對單串葡萄果粒實例分割，并采用線性回歸模型建立實際果粒與預測果粒之間的關系，進一步提高單串葡萄果粒計數精度。

2023年8月，Plant Phenomics在線發表了山東農業大學劉平教授團隊題為Instance Segmentation and Berry Counting of Table Grape before Thinning Based on AS-SwinT 的研究論文。

AS-SwinT以Swin Transformer做為骨干網絡，提取葡萄果粒的豐富特征。在頸部網絡中引入自適應特征融合ASFF，以充分保留底層特征，提高小果粒的檢測能力。統計分析每個果粒的大小，優化錨框尺寸以提高葡萄果粒的定位精度，使用Soft-NMS過濾候選框，減少密集遮擋果粒的漏檢，進而提高葡萄串中葡萄果粒的檢測精度。
 

圖1  AS-SwinT網絡結構。

該研究分析了不同模塊對AS-SwinT的分割精度與檢測精度的影響，研究了不同骨干網絡對該模型的實例分割效果的影響，確定了最佳檢測模型。對比了4種實例分割模型（AS-SwinT、Mask R-CNN、Mask Scoring R-CNN和Cascade Mask R-CNN）在兩種數據集（自然背景數據集與人工背景數據集）下的檢測與分割精度，顯示了該模型的優勢。并將在人工數據集下訓練的權重作為自然數據集訓練權重進行遷移學習，實驗可知，AS-SwinT在遷移學習下可以達到65.7APᵇᵒᕽ，95.0AP₀.₅ᵇᵒᕽ，57.0APₛᵇᵒᕽ，62.8APᵐᵃˢᵏ，94.3AP₀.₅ᵐᵃˢᵏ，48APₛᵐᵃˢᵏ，明顯優于Mask R-CNN、Mask Scoring R-CNN和Cascade Mask R-CNN。在該模型的果粒計數與真實計數的誤差方面（圖2），該模型的RMSE和R2分別為7.13和0.95，其線性回歸結果與人工背景下的模型訓練數據集的結果相當。因此，該模型對自然環境中的單串葡萄果粒的實例分割具有較強的魯棒性。
 

圖2 自然背景下不同模型的線性回歸對比。（A）Mask R-CNN （B）Mask Scoring R-CNN （C）Cascade Mask R-CNN （D）AS-SwinT

山東農業大學劉平教授為通訊作者，研究方向為作物表型解析和智慧農機裝備關鍵技術。山東農業大學博士研究生杜文圣為第一作者，該論文獲得山東省重點研發計劃項目的資助。

論文鏈接：

https://spj.science.org/doi/10.34133/plantphenomics.0‍085

——推薦閱讀——

Prediction of the Maturity of Greenhouse Grapes Based on Imaging Technology

https://doi.org/10.34133/2022/9753427

Plant Phenomics | 基于表型圖像信息與反向神經網絡預測溫室葡萄成熟度

Global Wheat Head Detection Challenges: Winning Models and Application for Head Counting

https://doi.org/10.34133/plantphenomics.0059

Plant Phenomics | 全球小麥穗檢測挑戰:獲勝模型及其在穗計數中的應用

加入作者交流群

掃碼添加小編微信，拉您進入《植物表型組學》作者交流群，群內不定期開展作者分享會、專刊發布會等高質量活動。

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics

《植物表型組學》（Plant Phenomics）是由南京農業大學和美國科學促進會（AAAS）合作創辦的英文學術期刊，于2019年1月正式上線發行。采用開放獲取形式，刊載植物表型組學交叉學科熱點領域具有突破性科研進展的原創性研究論文、綜述、數據集和觀點。具體范圍涵蓋高通量表型分析的最新技術，基于圖像分析和機器學習的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農業實踐中的表型組學新應用，與植物表型相結合的分子生物學、植物生理學、統計學、作物模型和其他組學研究，表型組學相關的植物生物學等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數據庫收錄。科睿唯安JCR2022影響因子為6.5，位于農藝學、植物科學、遙感一區。中科院農藝學、植物科學一區，遙感二區，生物大類一區（TOP期刊）。2020年入選中國科技期刊卓越行動計劃高起點新刊項目。

說明：本文由《植物表型組學》編輯部負責組稿。

中文內容僅供參考，一切內容以英文原版為準。

撰稿：杜文圣（山東農業大學）

排版：趙倩瑩（南京農業大學）

審核：孔敏、王平