綠色分數（GF）指特定視角下冠層圖像中綠色像素的比例，GF從0到1變化，表征作物光合作用的葉面積越大、光截獲的能力越強。可見，大田條件下，監測作物生育期內GF動態，能夠定量刻畫作物冠層生長和發育過程，指導種質資源的精準高效鑒定。
 

GF的估算精度取決于圖像分割算法的性能。大田條件下，光照條件、土壤/水田背景、冠層結構等多因素復雜多變且相互疊加，為田間冠層影像的精準分割帶來巨大挑戰。近年來，基于深度學習的語義分割算法快速發展，然而，農業領域公開的語義分割數據集缺乏，需要人為標注數以千計的圖像構建訓練數據集，像素級標注所需成本高昂、人工標注不確定性大，嚴重限制了GF估算精度的提升。
 

近日，Plant Phenomics 在線發表了南京農業大學前沿交叉研究院PheniX實驗室Enhancing green fraction estimation in rice and wheat crops: a self-supervised deep learning semantic segmentation approach 的研究論文。該研究開發的水稻和小麥圖像分割模型已公開：https://github.com/PheniX-Lab/sim2real-seg。
 

該研究利用數字植物表型平臺（Digital Plant Phenotyping Platform, D3P）自動生成大量田間水稻和小麥模擬圖像，自帶像素級分割標簽（sim dataset）。進一步利用CycleGAN模型，縮小模擬圖像與真實田間圖像的特征差距（圖1），遷移過后的圖像（sim2real dataset）與真實圖像更為接近（圖2）。
 

基于D3P生成自帶像素級標簽的Sim2real小麥和水稻數據集，訓練了U-Net，DeepLabV3+，SegFormer三種典型深度語義分割模型，并利用來自中國、法國、日本、瑞士等四個國家、五個地區、不同生育期的小麥和水稻田間數據評估了模型精度。結果表明，使用SegFormer訓練8000張水稻或小麥sim2real圖像得到的分割模型，精度最優（小麥：R2 = 0.984，RMSE = 0.028；水稻：R2 = 0.967，RMSE = 0.048）（圖3）。
 

本研究利用三維模型和域自適應算法，生成數以萬計、自帶像素級標簽的訓練數據集，無需人工標注，極大降低了標注成本，提高了數據集的多樣性，保證了標簽精度；構建了水稻、小麥田間圖像語義分割模型，實現了對綠色分數GF生育期動態的高精度估算（圖4）。
 

圖1結合數字植物表型平臺D3P和域自適應算法CycleGAN進行虛擬圖像的生成與優化
 

圖2水稻與小麥的真實(real)，模擬(sim)，域自適應(sim2real)圖像
 

圖3使用SegFormer訓練水稻與小麥的真實(real)，模擬(sim)，域自適應(sim2real)圖像數據集得到的模型，在4個國家5個地區的水稻與小麥數據集上進行綠色分數估算精度驗證
 

圖4水稻與小麥的綠色分數動態曲線

南京農業大學前沿交叉研究院、教育部植物表型工程中心、中法植物表型聯合實驗室PheniX Lab博士研究生高楊明睿與鐘山青年研究員李英倫為本文共同第一作者，南京農業大學劉守陽教授為本文通信作者。華中科技大學陸昊副教授、東京大學郭威副教授、華中農業大學楊萬能教授參與了本研究。相關工作得到了科技部政府間國際科技創新合作重點專項、“十四五”重點研發計劃、國家自然科學基金和江蘇省卓越博士后計劃等項目的資助。

論文鏈接：

https://doi.org/10.34133/plantphenomics.00‍64

模型公開：

https://github.com/PheniX-Lab/sim2real-seg

——推薦閱讀——

Self-Supervised Plant Phenotyping by Combining Domain Adaptation with 3D Plant Model Simulations: Application to Wheat Leaf Counting at Seedling Stage

https://doi.org/10.34133/plantphenomics.0041

Plant Phenomics | 虛擬圖像“以假亂真”，無需人工標注，自監督創建小麥表型算法

Combining high-resolution imaging, deep learning, and dynamic modelling to separate disease and senescence in wheat canopies

https://doi.org/10.34133/plantphenomics.0053

Plant Phenomics | 結合高分辨率影像、深度學習和動態建模分離小麥冠層的疾病和衰老

加入作者交流群

掃碼添加小編微信，拉您進入《植物表型組學》作者交流群，群內不定期開展作者分享會、專刊發布會等高質量活動。

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics

《植物表型組學》（Plant Phenomics）是由南京農業大學和美國科學促進會（AAAS）合作創辦的英文學術期刊，于2019年1月正式上線發行。采用開放獲取形式，刊載植物表型組學交叉學科熱點領域具有突破性科研進展的原創性研究論文、綜述、數據集和觀點。具體范圍涵蓋高通量表型分析的最新技術，基于圖像分析和機器學習的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農業實踐中的表型組學新應用，與植物表型相結合的分子生物學、植物生理學、統計學、作物模型和其他組學研究，表型組學相關的植物生物學等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數據庫收錄。科睿唯安JCR2021影響因子為6.5，位于農藝學、植物科學、遙感一區。中科院農藝學、植物科學一區，遙感二區，生物大類一區（TOP期刊）。2020年入選中國科技期刊卓越行動計劃高起點新刊項目。

說明：本文由《植物表型組學》編輯部負責組稿。

中文內容僅供參考，一切內容以英文原版為準。

特邀作者：劉守陽   

排版：向雪薇（南京農業大學）

審核：孔敏、王平