Plant Phenomics | Eff-3DPSeg：使用高效標注的深度學習方法進行植物器官級分割

可靠且自動化的三維植物分割是在器官水平上提取植物表型性狀的核心前提。深度學習和點云的結合可以提供有效的解決方案來應對這一挑戰。然而，完全監督的深度學習方法要求數據集按點標注，耗時又費力。
 

2023年11月，Plant Phenomics 在線發表了加拿大McGill University等單位題為Eff-3DPSeg: 3D Organ-Level Plant Shoot Segmentation Using Annotation-Efficient Deep Learning 的研究論文。
 

本研究提出了一個新的弱監督框架Eff-3DPSeg（圖1），用于三維植物分割。首先，利用低成本的攝影測量系統重建大豆的高分辨率點云（圖2），并基于Meshlab開發了植物點云標注工具 Plant Annotator。其次，提出了一種用于植物器官分割的弱監督深度學習方法（圖4）該方法包括：(1)利用視點瓶頸（Viewpoint Bottleneck）損失對自監督網絡進行預訓練，如圖5圖6，從原始點云中學習有意義的內在結構表示；(2)對預訓練模型進行微調，只標注0.5%左右的點，實現植物器官分割（圖7）。之后提取了3個表型性狀(莖粗、葉寬和葉長)。為了測試所提方法的通用性，本研究還包括了了公共數據集Pheno4D。實驗結果顯示，與完全監督設置相比，本研究提出的弱監督網絡獲得了類似的分割性能，為研究植物三維表型結構提供了一種有效的方法，可以在https://github.com/jieyi-one/EFF-3DPSEG獲取到本研究中訓練好的深度學習網絡模型。
 

圖1提出的Eff-3DSeg框架的整體工作流程。(A)利用Multi-view Stereo Pheno平臺重構植物點云，利用基于meshlab的plant Annotator對點云進行標注。(B)提出的弱監督植物器官分割網絡用于植物莖葉分割和葉實例分割。(C) 利用植物器官分割的結果提取三種植物表型莖粗、葉寬和葉長等性狀。

圖22022年5月6日至27日拍攝的大豆點云。
 

圖4所提出的弱監督植物器官分割框架。(A)使用視點瓶頸（Viewpoint Bottleneck）損失函數，用自監督表示學習方法預訓練骨干網。(B)利用弱標注點云對預訓練的植物莖葉分割模型和葉片實例分割模型進行了修改和微調。
 

圖5自我監督預訓練方法的說明:視點瓶頸。X為三維坐標和顏色拼接表示的植物點云(M×6, M為點數)。經過兩次隨機幾何變換，我們得到了它的兩個增廣Xp和Xq。將它們輸入到共享的稀疏ConvUnet fθ中，得到兩個高維表示集Zp和Zq (M× D, D為表示維數)。應用了最遠點采樣，以得到下采樣表示ZP'和Zq' (H×D)， H是下采樣表示的點號。最后，對ZP'和Zq'之間的互相關矩陣施加視點瓶頸，記為Z。

圖7 植物器官分割示意圖。首先，將一個植物點云X(坐標:M×3，顏色:M×3)輸入稀疏ConvUnet，以提取點未來F (M×K)。M是點的個數，K是未來點的維度。第二(莖葉分割):莖葉分支用F生成莖葉語義評分(M×n)，其中n為類數。一個點的預測莖葉標簽S (M×1)是得分最高的類(Argmax)。第三(Leaf實例分割):偏移模塊產生偏移向量O (M×3)。然后，采用聚類方法在原始坐標坐標和移位坐標上將點分組為葉簇，分別生成Cc和Cs。最后，我們將Cc和Cs的并集表示為最終的聚類結果C。
 

圖11 弱監督番茄葉實例分割的定性可視化。所選的番茄樣本具有不同的生長階段。番茄葉實例分割的真實實況和不同監督設置的結果顯示在不同的行中。

本研究提出了一種新的標注高效的用于3D植物器官分割的深度學習框架：Eff-3DPSeg。采用低成本的多視圖成像數據采集平臺（MVSP2）和新創建的點云標注工具（MPA）來構建大豆植株的點云數據集。然后使用了三種不同的標注設置（50、100和200個標注點）對大豆數據集和公共數據集Pheno4D進行訓練和測試，以評估提出的網絡Eff-3DPSeg。總體而言該研究提出的方法在植物點云分割任務中取得了與完全監督設置相似的成績，成功提取了三個器官水平的表型特征。本文提出的弱監督方法可以大大節省點云標注時間。這將有助于提高高通量植物表型分析的效率，推動智能農業的發展。

論文鏈接：

‍https://spj.science.org/doi/10.34133/plantphenomics.0080

——推薦閱讀——

Generating 3D multispectral point clouds of plants with fusion of snapshot spectral and RGB-D images

https://doi.org/10.34133/plantphenomic‍s.0040

Plant Phenomics | 浙江大學發現一種融合快照光譜圖像和RGB-D圖像生成高質量三維多光譜植物點云的新方法

Application of an Improved 2-Dimensional High-Throughput Soybean Root Phenotyping Platform to Identify Novel Genetic Variants Regulating Root Architecture Traits

‍https://doi.org/10.34133/plantphenomics.0097

Plant Phenomics | 應用改進的二維高通量大豆根系表型平臺鑒定調節根系結構性狀的新遺傳變異

加入作者交流群

掃碼添加小編微信，拉您進入《植物表型組學》作者交流群，群內不定期開展作者分享會、專刊發布會等高質量活動。
 

添加小編微信，備注姓名+單位+PP，加入作者交流群

《植物表型組學》（Plant Phenomics）是由南京農業大學和美國科學促進會（AAAS）合作創辦的英文學術期刊，于2019年1月正式上線發行。采用開放獲取形式，刊載植物表型組學交叉學科熱點領域具有突破性科研進展的原創性研究論文、綜述、數據集和觀點。具體范圍涵蓋高通量表型分析的最新技術，基于圖像分析和機器學習的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農業實踐中的表型組學新應用，與植物表型相結合的分子生物學、植物生理學、統計學、作物模型和其他組學研究，表型組學相關的植物生物學等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數據庫收錄。科睿唯安JCR2022影響因子為6.5，位于農藝學、植物科學、遙感一區。中科院農藝學、植物科學一區，遙感二區，生物大類一區（TOP期刊）。2020年入選中國科技期刊卓越行動計劃高起點新刊項目。

說明：本文由《植物表型組學》編輯部負責組稿。
中文內容僅供參考，一切內容以英文原版為準。
撰稿：李嘉琦（南京農業大學）
排版：蘇梓鈺（南京農業大學）
審核：孔敏、王平