使用弱監(jiān)督高效標注的深度學習方法進行3D植物器官級分割

Plant Phenomics | Eff-3DPSeg：使用高效標注的深度學習方法進行植物器官級分割

可靠且自動化的三維植物分割是在器官水平上提取植物表型性狀的核心前提。深度學習和點云的結(jié)合可以提供有效的解決方案來應對這一挑戰(zhàn)。然而，完全監(jiān)督的深度學習方法要求數(shù)據(jù)集按點標注，耗時又費力。
 

2023年11月，Plant Phenomics 在線發(fā)表了加拿大McGill University等單位題為Eff-3DPSeg: 3D Organ-Level Plant Shoot Segmentation Using Annotation-Efficient Deep Learning 的研究論文。
 

本研究提出了一個新的弱監(jiān)督框架Eff-3DPSeg（圖1），用于三維植物分割。首先，利用低成本的攝影測量系統(tǒng)重建大豆的高分辨率點云（圖2），并基于Meshlab開發(fā)了植物點云標注工具 Plant Annotator。其次，提出了一種用于植物器官分割的弱監(jiān)督深度學習方法（圖4）該方法包括：(1)利用視點瓶頸（Viewpoint Bottleneck）損失對自監(jiān)督網(wǎng)絡(luò)進行預訓練，如圖5圖6，從原始點云中學習有意義的內(nèi)在結(jié)構(gòu)表示；(2)對預訓練模型進行微調(diào)，只標注0.5%左右的點，實現(xiàn)植物器官分割（圖7）。之后提取了3個表型性狀(莖粗、葉寬和葉長)。為了測試所提方法的通用性，本研究還包括了了公共數(shù)據(jù)集Pheno4D。實驗結(jié)果顯示，與完全監(jiān)督設(shè)置相比，本研究提出的弱監(jiān)督網(wǎng)絡(luò)獲得了類似的分割性能，為研究植物三維表型結(jié)構(gòu)提供了一種有效的方法，可以在https://github.com/jieyi-one/EFF-3DPSEG獲取到本研究中訓練好的深度學習網(wǎng)絡(luò)模型。
 

圖1提出的Eff-3DSeg框架的整體工作流程。(A)利用Multi-view Stereo Pheno平臺重構(gòu)植物點云，利用基于meshlab的plant Annotator對點云進行標注。(B)提出的弱監(jiān)督植物器官分割網(wǎng)絡(luò)用于植物莖葉分割和葉實例分割。(C) 利用植物器官分割的結(jié)果提取三種植物表型莖粗、葉寬和葉長等性狀。

圖22022年5月6日至27日拍攝的大豆點云。
 

圖4所提出的弱監(jiān)督植物器官分割框架。(A)使用視點瓶頸（Viewpoint Bottleneck）損失函數(shù)，用自監(jiān)督表示學習方法預訓練骨干網(wǎng)。(B)利用弱標注點云對預訓練的植物莖葉分割模型和葉片實例分割模型進行了修改和微調(diào)。
 

圖5自我監(jiān)督預訓練方法的說明:視點瓶頸。X為三維坐標和顏色拼接表示的植物點云(M×6, M為點數(shù))。經(jīng)過兩次隨機幾何變換，我們得到了它的兩個增廣Xp和Xq。將它們輸入到共享的稀疏ConvUnet fθ中，得到兩個高維表示集Zp和Zq (M× D, D為表示維數(shù))。應用了最遠點采樣，以得到下采樣表示ZP'和Zq' (H×D)， H是下采樣表示的點號。最后，對ZP'和Zq'之間的互相關(guān)矩陣施加視點瓶頸，記為Z。

圖7 植物器官分割示意圖。首先，將一個植物點云X(坐標:M×3，顏色:M×3)輸入稀疏ConvUnet，以提取點未來F (M×K)。M是點的個數(shù)，K是未來點的維度。第二(莖葉分割):莖葉分支用F生成莖葉語義評分(M×n)，其中n為類數(shù)。一個點的預測莖葉標簽S (M×1)是得分最高的類(Argmax)。第三(Leaf實例分割):偏移模塊產(chǎn)生偏移向量O (M×3)。然后，采用聚類方法在原始坐標坐標和移位坐標上將點分組為葉簇，分別生成Cc和Cs。最后，我們將Cc和Cs的并集表示為最終的聚類結(jié)果C。
 

圖11 弱監(jiān)督番茄葉實例分割的定性可視化。所選的番茄樣本具有不同的生長階段。番茄葉實例分割的真實實況和不同監(jiān)督設(shè)置的結(jié)果顯示在不同的行中。

本研究提出了一種新的標注高效的用于3D植物器官分割的深度學習框架：Eff-3DPSeg。采用低成本的多視圖成像數(shù)據(jù)采集平臺（MVSP2）和新創(chuàng)建的點云標注工具（MPA）來構(gòu)建大豆植株的點云數(shù)據(jù)集。然后使用了三種不同的標注設(shè)置（50、100和200個標注點）對大豆數(shù)據(jù)集和公共數(shù)據(jù)集Pheno4D進行訓練和測試，以評估提出的網(wǎng)絡(luò)Eff-3DPSeg�？傮w而言該研究提出的方法在植物點云分割任務(wù)中取得了與完全監(jiān)督設(shè)置相似的成績，成功提取了三個器官水平的表型特征。本文提出的弱監(jiān)督方法可以大大節(jié)省點云標注時間。這將有助于提高高通量植物表型分析的效率，推動智能農(nóng)業(yè)的發(fā)展。

論文鏈接：

‍https://spj.science.org/doi/10.34133/plantphenomics.0080

——推薦閱讀——

Generating 3D multispectral point clouds of plants with fusion of snapshot spectral and RGB-D images

https://doi.org/10.34133/plantphenomic‍s.0040

Plant Phenomics | 浙江大學發(fā)現(xiàn)一種融合快照光譜圖像和RGB-D圖像生成高質(zhì)量三維多光譜植物點云的新方法

Application of an Improved 2-Dimensional High-Throughput Soybean Root Phenotyping Platform to Identify Novel Genetic Variants Regulating Root Architecture Traits

‍https://doi.org/10.34133/plantphenomics.0097

Plant Phenomics | 應用改進的二維高通量大豆根系表型平臺鑒定調(diào)節(jié)根系結(jié)構(gòu)性狀的新遺傳變異

加入作者交流群

掃碼添加小編微信，拉您進入《植物表型組學》作者交流群，群內(nèi)不定期開展作者分享會、�？�發(fā)布會等高質(zhì)量活動。
 

添加小編微信，備注姓名+單位+PP，加入作者交流群

《植物表型組學》（Plant Phenomics）是由南京農(nóng)業(yè)大學和美國科學促進會（AAAS）合作創(chuàng)辦的英文學術(shù)期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學交叉學科熱點領(lǐng)域具有突破性科研進展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機器學習的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實踐中的表型組學新應用，與植物表型相結(jié)合的分子生物學、植物生理學、統(tǒng)計學、作物模型和其他組學研究，表型組學相關(guān)的植物生物學等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫收錄�？祁Ｎò睯CR2022影響因子為6.5，位于農(nóng)藝學、植物科學、遙感一區(qū)。中科院農(nóng)藝學、植物科學一區(qū)，遙感二區(qū)，生物大類一區(qū)（TOP期刊）。2020年入選中國科技期刊卓越行動計劃高起點新刊項目。

說明：本文由《植物表型組學》編輯部負責組稿。
中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準。
撰稿：李嘉琦（南京農(nóng)業(yè)大學）
排版：蘇梓鈺（南京農(nóng)業(yè)大學）
審核：孔敏、王平