Plant Phenomics | 虛擬圖像“以假亂真”，無需人工標(biāo)注，自監(jiān)督創(chuàng)建小麥表型算法

早期生長勢（Early Vigor）是刻畫作物苗期地上部生長活力的綜合性狀，與品種適應(yīng)性和產(chǎn)量潛力密切相關(guān)。利用現(xiàn)代植物表型高通量檢測裝備和智能化解析技術(shù)，監(jiān)測苗期作物葉片數(shù)量的動態(tài)變化有助于解析早期生長勢相關(guān)性狀。現(xiàn)階段，人工智能算法極大提高了表型鑒定的準(zhǔn)確性和效率。然而，算法嚴(yán)重依賴大量人工標(biāo)注的訓(xùn)練樣本，尤其在作物苗期，器官纖細(xì)，標(biāo)注成本高、誤差大，成為限制人工智能算法在早期生長監(jiān)測應(yīng)用中的重要瓶頸。
 

面向早期生長勢高效精準(zhǔn)解析難題，文章以小麥為研究對象，結(jié)合三維作物模型和域自適應(yīng)遷移學(xué)習(xí)，開辟基于虛擬數(shù)據(jù)集的表型算法研發(fā)新途徑，對于完善小麥表型組研究方法，提升基于早期生長勢的育種效率具有重要價(jià)值。
 

2023年3月，Plant Phenomics在線發(fā)表了南京農(nóng)業(yè)大學(xué)聯(lián)合多家單位合作完成的題為Self-Supervised Plant Phenotyping by Combining Domain Adaptation with 3D Plant Model Simulations: Application to Wheat Leaf Counting at Seedling Stage 的研究論文。
 

文章利用三維生長模型與域自適應(yīng)遷移學(xué)習(xí)，實(shí)現(xiàn)無需人工標(biāo)注的自監(jiān)督表型算法研發(fā)。提出利用內(nèi)嵌植物生理機(jī)理知識的三維作物生長模型開展多品種的虛擬表型試驗(yàn)，生成不同生育期小麥冠層結(jié)構(gòu)，研究田間小麥虛擬圖像自動生成方法；進(jìn)而，綜合利用光線跟蹤算法研究田間小麥虛擬圖像中相應(yīng)的植物器官標(biāo)簽自動生成方法，構(gòu)建覆蓋多個(gè)關(guān)鍵生育期的帶標(biāo)簽高質(zhì)量訓(xùn)練數(shù)據(jù)集。
 

圖1利用數(shù)字植物表型平臺（D3P）模擬田間小麥圖像。從左到右，通過使用D3P在模擬過程中考慮越來越多的因素（上欄），模擬的圖像會變得越來越真實(shí)（下欄）

進(jìn)一步，文章以自動生成的虛擬圖像為源域，田間獲取的真實(shí)圖像數(shù)據(jù)為目標(biāo)域，進(jìn)行樣本對抗的域自適應(yīng)遷移學(xué)習(xí)；基于遷移學(xué)習(xí)結(jié)果，訓(xùn)練目標(biāo)檢測（監(jiān)測葉片數(shù)量）深度學(xué)習(xí)模型，并對監(jiān)測結(jié)果進(jìn)行驗(yàn)證。
 

圖2域自適應(yīng)后的圖像數(shù)據(jù)。在保證模擬圖像結(jié)構(gòu)不變的前提下，生成了更接近真實(shí)圖像的“Sim2real”數(shù)據(jù)集。

此外，文章提出的葉尖檢測模型在來自包括中國、澳大利亞、法國、日本和美國等五個(gè)國家的獨(dú)立測試集上進(jìn)行了測試，模型能夠有效監(jiān)測圖像中的小麥葉片數(shù)量（R2=0.96），充分體現(xiàn)了該方法的有效性和魯棒性。
 

圖3來自全球范圍內(nèi)不同國家圖像的獨(dú)立測試結(jié)果

該研究由南京農(nóng)業(yè)大學(xué)前沿交叉研究院PheniX Lab聯(lián)合來自全球范圍內(nèi)5個(gè)國家7個(gè)單位的相關(guān)學(xué)者合作完成，包括華中科技大學(xué)、東京大學(xué)、昆士蘭大學(xué)、內(nèi)布拉斯加大學(xué)林肯分校和法國農(nóng)業(yè)食品環(huán)境研究院。南京農(nóng)業(yè)大學(xué)鐘山青年研究員李英倫為本文第一作者，南京農(nóng)業(yè)大學(xué)劉守陽教授和華中科技大學(xué)陸昊副教授為本文通信作者。相關(guān)工作得到了科技部政府間國際科技創(chuàng)新合作重點(diǎn)專項(xiàng)、“十四五”重點(diǎn)研發(fā)計(jì)劃、國家自然科學(xué)基金和江蘇省卓越博士后計(jì)劃等項(xiàng)目的資助。
 

論文鏈接：
https://doi.org/10.34133/plantphenomics.0041

——推薦閱讀——
3dCAP-Wheat: An Open-Source Comprehensive Computational Framework Precisely Quantifies Wheat Foliar, Nonfoliar, and Canopy Photosynthesis
https://doi.org/10.34133/2022/9758148
Plant Phenomics | 基于整合葉片與非葉片組織光合作用的三維冠層模型精確刻畫小麥群體光合
Repeated Multiview Imaging for Estimating Seedling Tiller Counts of Wheat Genotypes Using Drones
https://doi.org/10.34133/2020/3729715
Plant Phenomics | 使用無人機(jī)多視角成像技術(shù)估算小麥幼苗分蘗數(shù)

加入作者交流群
掃碼添加小編微信，拉您進(jìn)入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開展作者分享會、專刊發(fā)布會等高質(zhì)量活動。
 

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics
《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國科學(xué)促進(jìn)會（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點(diǎn)領(lǐng)域具有突破性科研進(jìn)展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點(diǎn)。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機(jī)器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實(shí)踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計(jì)學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫收錄。科睿唯安JCR2021影響因子為6.961，位于農(nóng)藝學(xué)、植物科學(xué)、遙感一區(qū)。中科院農(nóng)藝學(xué)、植物科學(xué)一區(qū)，遙感二區(qū)，生物大類一區(qū)（TOP期刊）。2020年入選中國科技期刊卓越行動計(jì)劃高起點(diǎn)新刊項(xiàng)目。

說明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。
中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。
特邀作者：李英倫（南京農(nóng)業(yè)大學(xué)）
排版：陳新月（南京農(nóng)業(yè)大學(xué)）
審核：孔敏、王平