SCC任務(wù)旨在通過分析稀疏且不完整的輸入數(shù)據(jù)，來預(yù)測和填充三維場景的全面語義信息。這項(xiàng)任務(wù)面臨多重挑戰(zhàn)，因?yàn)檩斎霐?shù)據(jù)的不完整性，場景中存在多種物體且規(guī)模各異，以及移動(dòng)物體標(biāo)簽的噪聲問題。為了解決這些問題，研究人員重新設(shè)計(jì)了補(bǔ)全子網(wǎng)絡(luò)，引入了多路徑塊（MPBs）來匯聚多個(gè)尺度的特征，并且避免了信息丟失的下采樣操作。
此外，他們提出了一種新的知識提煉目標(biāo)，稱為密集到稀疏知識提煉（DSKD），通過這種方法，他們可以從多幀的老師模型中提取密集和基于關(guān)系的語義知識，并傳遞給單幀的學(xué)生模型，顯著提高了單幀模型的表征學(xué)習(xí)能力。
研究還介紹了一種簡單但有效的標(biāo)簽矯正策略，利用全景分割標(biāo)簽來消除補(bǔ)全標(biāo)簽中動(dòng)態(tài)對象的痕跡，從而大幅提高深度模型對移動(dòng)物體的性能。最后，研究人員進(jìn)行了廣泛的實(shí)驗(yàn)，SemanticKITTI和SemanticPOSS等兩個(gè)公共SSC基準(zhǔn)測試集上進(jìn)行了測試，并取得了排名第一的成績，展示了他們的SCPNet（Scene Completion Network）的優(yōu)越性能。
在這項(xiàng)研究中，研究人員解決了訓(xùn)練語義場景完成（SSC）深度模型的挑戰(zhàn)，例如處理稀疏輸入和標(biāo)簽噪聲。他們提出了三種創(chuàng)新解決方案：
1）重新設(shè)計(jì)了一個(gè)完成子網(wǎng)絡(luò)，該網(wǎng)絡(luò)包含多路徑塊（MPBs），用于聚合多尺度特征，且不會(huì)產(chǎn)生損失性下采樣。
2）一種新的知識蒸餾技術(shù)，稱為密集到稀疏知識蒸餾（DSKD），它通過將知識從多幀模型轉(zhuǎn)移到單幀模型來增強(qiáng)單幀模型。
3）使用全景分割的標(biāo)簽矯正策略，以提高準(zhǔn)確性，特別是對于移動(dòng)對象。這些解決方案使他們的SCPNet在SemanticKITTI和SemanticPOSS基準(zhǔn)測試中取得了頂尖成績，并在語義分割任務(wù)中也顯示出優(yōu)勢。
暫無評論，快來評論吧!