Skip to content

HMTCuro/3D-Reconstruction

Repository files navigation

基于深度学习方法的单目多视图三维重建

Part I 三维重建

代码Part I - Multi View Stereo

技术文档[Markdown] [PDF]

原始图像Original Images

点云结果Point Cloud Results-1

效果图

Part II 基于计算机视觉方法的点云到点云窗户识别

代码Part II - Window Detection

技术文档[Markdown] [PDF]

点云结果Point Cloud Results-2

算法流程图

Part III 基于ResNest的图像到点云的语义分割

代码Part III - Semantic Segmentation

技术文档[Markdown] [PDF]

语义分割结果Semantic Segmentation Results

点云结果Point Cloud Results-3

效果图

Part IV 白模生成

代码Part IV - NeuS

技术文档[Markdown] [PDF]

白模结果(Colmap+Meshlab)White Mesh

白模结果(NeuS)White Mesh (NeuS)

效果图(Colmap+Meshlab)

效果图(NeuS)

Part V 网站开发

代码Part V - Frontend

技术文档[Markdown] [PDF]

网站链接SDU 3D-Viewer

预览图

参考文献

AA-RMVSNet [arXiv] [CVF] [PDF]

Wei Z, Zhu Q, Min C, et al. Aa-rmvsnet: Adaptive aggregation recurrent multi-view stereo network[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021: 6187-6196.

Cascade-MVSNet [arXiv] [CVF] [PDF]

Gu X, Fan Z, Zhu S, et al. Cascade cost volume for high-resolution multi-view stereo and stereo matching[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 2495-2504.

TransMVSNet [arXiv] [PDF]

Ding Y, Yuan W, Zhu Q, et al. TransMVSNet: Global Context-aware Multi-view Stereo Network with Transformers[J]. arXiv preprint arXiv:2111.14600, 2021.

LoFTR [arXiv] [CVF] [PDF]

Sun J, Shen Z, Wang Y, et al. LoFTR: Detector-free local feature matching with transformers[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 8922-8931.

EPP-MVSNet [CVF] [PDF]

Ma X, Gong Y, Wang Q, et al. EPP-MVSNet: Epipolar-Assembling Based Depth Prediction for Multi-View Stereo[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021: 5732-5740.

PatchmatchNet [arXiv] [CVF] [PDF]

Wang F, Galliani S, Vogel C, et al. PatchmatchNet: Learned Multi-View Patchmatch Stereo[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 14194-14203.

ResNeSt [arXiv] [PDF]

Zhang H, Wu C, Zhang Z, et al. Resnest: Split-attention networks[J]. arXiv preprint arXiv:2004.08955, 2020.

NeuS [arXiv] [PDF]

Wang P, Liu L, Liu Y, et al. Neus: Learning neural implicit surfaces by volume rendering for multi-view reconstruction[J]. arXiv preprint arXiv:2106.10689, 2021.

致谢

稀疏重建部分使用Colmap完成相机参数的获取。

稠密重建部分的代码主要来源于AA-RMVSNet

点云切割与可视化使用CloudCompareMeshlab完成。

调用Open3D进行表面重建。

Cascade+Transformer的代码主要基于kwea123实现的pytorch-lightning版本的Cascade-MVSNet以及LoFTR进行实现。

窗户识别算法中部分思路参考了Color Space的矩形识别算法,图像处理技术主要基于冈萨雷斯的数字图像处理(第三版)

语义分割部分调用了PyTorch-Encoding

网站开发使用了Element-Plus的组件,使用PotreeThree.js进行渲染。

白模生成使用了NeuS的代码进行训练并测试。