Plant Phenomics | FCOS-LSC: 針對復雜果園中綠色果實的檢測模型

實現自然場景下果實的快速識別和精準定位，可為果實采摘機器人的機器視覺系統提供關鍵的技術支持。然而，自然環境下的果實生長呈現不同的形態，其果實、枝干樹葉表現多為隨機分布、相互遮擋的特點，果實圖像也因光照變化、拍攝角度距離的不同而動態變化。在這種非結構化果園環境下，目標視覺信息的獲取已成為農業智能設備在生產應用中的重大挑戰。

2023年6月，Plant Phenomics在線發表了山東師范大學、卡迪夫大學、山東理工大學與機械工業設施農業測控技術與裝備重點實驗室合作的題為FCOS-LSC: A Novel Model for Green Fruit Detection in a Complex Orchard Environment的研究論文。

本研究以綠色蘋果、柿子為研究對象，提出一種有效且準確的果實檢測模型（圖1），能夠實現對出現重疊遮擋、或受光照條件影響下綠色果實圖像的高識別和定位。創新的果實檢測模型具體做出如下貢獻：（1）骨干網絡引入形變卷積，更好地適應模型檢測時出現的不同果實形狀特征；（2）在頸部網絡中，LSC注意力嵌入到特征圖的尺度、空間、通道三個維度上，抑制特征圖中的噪聲干擾，使模型更加關注有效的像素信息；（3）在檢測頭中，設計一種新的正負樣本分配方法，提高模型對監督信號的鑒別能力；（4）FCOS-LSC在準確性和魯棒性方面優于其它先進的模型，更適用于復雜果園中對綠色果實的檢測任務。
 

圖1 果實檢測模型FCOS-LSC的整體架構

實驗結果表明：提出的FCOS-LSC在Apple和Persimmon數據集上能夠提升果實檢測精度，預測結果展示見圖2和圖3。FCOS-LSC的檢測效果優于Faster R-CNN、Mask R-CNN、RetinaNet與FoveaBox等當前流行的深度學習網絡。研究發現，FCOS-LSC能夠實現較高的檢測精度，存在極少的遺漏和誤檢果實，能夠應對多重因素干擾的果實圖像并輸出檢測結果。該方法以較少的模型參數和計算復雜度實現了高效的同色系果實檢測任務，同時表現出的高精度和魯棒性為其在果園中智能農業設備部署提供了進一步的可能。該模型在不同閾值下蘋果精確度-召回率曲線如圖4所示。
 

圖2 Apple dataset
 

圖3 Persimmon dataset
 

圖4 不同閾值下蘋果精確度與召回率的性能評估

作者介紹
趙瑞娜，山東師范大學計算機技術專業碩士生，研究方向為深度學習、智慧農業。
賈偉寬，山東師范大學副教授，碩士生導師，主要從事人工智能、智慧農業、農業信息技術與裝備等方向研究，近五年主持省部級以上科研項目4項，以第一作者或通訊作者在Plant Phenomics、Computers and Electronics in Agriculture、Precision Agriculture、IEEE Transactions on Industrial Informatics等期刊上發表論文30余篇。

論文鏈接：

https://doi.org/10.34133/plantphenomics.0069

——推薦閱讀——

Prediction of the Maturity of Greenhouse Grapes Based on Imaging Technology

https://doi.org/10.34133/2022/9753427

Plant Phenomics | 基于表型圖像信息與反向神經網絡預測溫室葡萄成熟度

Wheat Ear Segmentation Based on a Multisensor System and Suerpixel Classification

https://doi.org/10.34133/2022/9841985

Plant Phenomics | 基于多傳感器系統和超像素分類的麥穗圖像分割

加入作者交流群

掃碼添加小編微信，拉您進入《植物表型組學》作者交流群，群內不定期開展作者分享會、專刊發布會等高質量活動。

添加小編微信，備注姓名+單位+PP，加入作者交流群

《植物表型組學》（Plant Phenomics）是由南京農業大學和美國科學促進會（AAAS）合作創辦的英文學術期刊，于2019年1月正式上線發行。采用開放獲取形式，刊載植物表型組學交叉學科熱點領域具有突破性科研進展的原創性研究論文、綜述、數據集和觀點。具體范圍涵蓋高通量表型分析的最新技術，基于圖像分析和機器學習的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農業實踐中的表型組學新應用，與植物表型相結合的分子生物學、植物生理學、統計學、作物模型和其他組學研究，表型組學相關的植物生物學等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數據庫收錄。科睿唯安JCR2021影響因子為6.961，位于農藝學、植物科學，遙感一區。中科院農藝學、植物科學一區，遙感二區，生物大類一區（TOP期刊）。2020年入選中國科技期刊卓越行動計劃高起點新刊項目。

說明：本文由《植物表型組學》編輯部負責組稿。
中文內容僅供參考，一切內容以英文原版為準。
特邀作者：趙瑞娜、賈偉寬
編輯：蔡婧柳（實習）
審核：孔敏、王平