基于深度相機(jī)和學(xué)習(xí)的植物葉片在遮擋條件下的點(diǎn)云補(bǔ)全研究

Plant Phenomics | 基于深度學(xué)習(xí)的植物葉片在遮擋條件下的點(diǎn)云補(bǔ)全

植物的三維重建對(duì)于農(nóng)業(yè)和植物科學(xué)研究非常重要，因?yàn)樗�可以幫助研究人員了解植物的形態(tài)、生長(zhǎng)和發(fā)育情況。然而，深度相機(jī)在采集植物點(diǎn)云數(shù)據(jù)時(shí)常常面臨葉片遮擋和點(diǎn)云數(shù)據(jù)缺失的問題，這使得傳統(tǒng)的重建方法效果有限。因此，研究人員需要開發(fā)新的方法，以克服這些問題，以實(shí)現(xiàn)更準(zhǔn)確和完整的植物三維重建。
 

2023年11月，Plant Phenomics 在線發(fā)表了華南農(nóng)業(yè)大學(xué)蘭玉彬團(tuán)隊(duì)題為Point cloud completion of plant leaves under occlusion conditions based on deep learning 的研究論文。研究提出了一種基于深度相機(jī)和深度學(xué)習(xí)點(diǎn)云補(bǔ)全的植物三維重建方法。該方法通過利用深度學(xué)習(xí)這一方法不僅解決了訓(xùn)練數(shù)據(jù)不足的問題，還使得模型能夠有效地處理使用Azure Kinect捕獲的點(diǎn)云數(shù)據(jù)。
 

本文的研究流程分為兩個(gè)階段，首先，研究人員采用深度相機(jī)獲取了花菜植株的點(diǎn)云數(shù)據(jù)（圖1），并建立了驗(yàn)證集，其中包括不同形狀的葉片，并模擬了葉片不完整的情況。這一步驟旨在評(píng)估我們的點(diǎn)云補(bǔ)全方法的效果。隨后，研究人員使用MeshLab軟件對(duì)這些點(diǎn)云數(shù)據(jù)進(jìn)行了可視化分析（圖2），以觀察結(jié)果。實(shí)驗(yàn)證明，點(diǎn)云補(bǔ)全方法能夠成功地完成不同形狀和彎曲程度的花菜葉片的點(diǎn)云補(bǔ)全，無(wú)論這些點(diǎn)云數(shù)據(jù)是通過MVS-SFM算法獲得還是通過Azure Kinect采集的。研究方法還表現(xiàn)出對(duì)目標(biāo)點(diǎn)云的結(jié)構(gòu)關(guān)系具有有效學(xué)習(xí)能力，因此在點(diǎn)云補(bǔ)全的完整性方面表現(xiàn)出強(qiáng)大的潛力。此外，還對(duì)不同遮擋情況下的補(bǔ)全效果進(jìn)行了比較，結(jié)果顯示在遮擋區(qū)域集中時(shí)，補(bǔ)全效果更佳，而在遮擋區(qū)域分散時(shí)，補(bǔ)全效果較差。
 

圖1補(bǔ)全植物點(diǎn)云的工作流程
 

圖2具有不同缺失率的葉點(diǎn)云補(bǔ)全的可視化

在第二階段，針對(duì)完整植株的點(diǎn)云數(shù)據(jù)進(jìn)行了三維重建（圖3），并與MVS-SFM算法的結(jié)果進(jìn)行了對(duì)比。實(shí)驗(yàn)結(jié)果表明，所提出的方法在提高植物點(diǎn)云數(shù)據(jù)的完整性方面取得了顯著的進(jìn)展，尤其在存在多重遮擋或高缺失比例的情況下，本文的方法表現(xiàn)出更均勻的完整性。進(jìn)一步進(jìn)行了點(diǎn)云數(shù)據(jù)的精度分析，得到了具體的距離分布（圖4），結(jié)果顯示，兩種方法生成的點(diǎn)云具有適度的一致性。
 

圖3葉片點(diǎn)云的可視化補(bǔ)全
 

圖4距離分布的可視化

最后，研究對(duì)葉子面積提取的效果進(jìn)行了評(píng)估，具體的評(píng)估結(jié)果（圖5），表明研究方法在葉子面積估計(jì)方面的有效性。
 

圖5葉面積估算與人工測(cè)量的相關(guān)性評(píng)估

論文鏈接：

‍https://spj.science.org/doi/10.34133/plantphenomics.0117

——推薦閱讀——

PSegNet: simultaneous semantic and instance segmentation for point clouds of plants 

https://spj.science.org/doi/10.34133/2022/9787643

Plant Phenomics 精選2022 | PSegNet：針對(duì)多品種作物點(diǎn)云的器官同步語(yǔ)義分割與實(shí)例分割深度學(xué)習(xí)網(wǎng)絡(luò)

Development and Validation of a Deep Learning Based Automated Minirhizotron Image Analysis Pipeline

https://doi.org/10.34133/2022/9758‍532

Plant Phenomics 精選2022 | 基于深度學(xué)習(xí)的微根管圖像自動(dòng)化分析方法

加入作者交流群

掃碼添加小編微信，拉您進(jìn)入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開展作者分享會(huì)、�？�發(fā)布會(huì)等高質(zhì)量活動(dòng)。
 

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics

《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國(guó)科學(xué)促進(jìn)會(huì)（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點(diǎn)領(lǐng)域具有突破性科研進(jìn)展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點(diǎn)。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機(jī)器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實(shí)踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計(jì)學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫(kù)收錄�？祁Ｎò睯CR2022影響因子為6.5，位于農(nóng)藝學(xué)、植物科學(xué)、遙感一區(qū)。中科院農(nóng)藝學(xué)、植物科學(xué)一區(qū)，遙感二區(qū)，生物大類一區(qū)（TOP期刊）。2020年入選中國(guó)科技期刊卓越行動(dòng)計(jì)劃高起點(diǎn)新刊項(xiàng)目。

說(shuō)明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。
中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。
撰稿：章?lián)P（南京農(nóng)業(yè)大學(xué)）
排版：向雪薇（南京農(nóng)業(yè)大學(xué)）
審核：孔敏、王平