该课题主要有下列四个方向:
1. 基于图像的树木规则抽取;
2. 基于规则与重用的轻量级森林景观建模;
3. 树木形状空间(Tree Shape Space, TSS)的概念;
4. 基于TSS与重用的植物景观轻量级在线可视化方法。
一、基于图像的树木规则抽取
针对树木骨架重建要求手工交互多、不精确的问题,提出了用增强PyrLK光流法对树木骨架进行重建,且可以基于多张图片完全自动化地进行树木建模。首先在传统PyrLK光流法的基础上加入了特征点的仿射变换和迭代追踪,提出增强PyrLK光流法,解决了传统PyrLK光流法不支持特征点旋转和双向匹配验证的问题;其次利用邻域的泛洪和局部点云的拟合进行高速、准确的树木骨架抽取,提出了三维体素泛洪和最小二乘拟合的方法。实验结果表明,文中方法能够快速重建出极具真实感的三维树木骨架模型。
本方法的创新点有:
(1) 用增强PyrLK光流法进行树木图像间的特征点匹配。该方法突破了传统PyrLK光流法不支持特征点仿射变换的局限,并且用迭代追踪的方法解决了传统PyrLK光流法未进行双向匹配而导致过多错误匹配的问题,增强了匹配的鲁棒性。实验表明,该方法的实验结果远远高于主流的SIFT特征点匹配方法和传统的PyrLK光流法。
(2) 用三维体素泛洪的方法确定点云邻域范围,并基于邻域内的点云分布拟合出树木的局部几何信息。其中三维体素泛洪方法不仅将泛洪时体素间的相互影响降至最低,而且采用并发的方法来加速泛洪。区别于主流的三维细化等方法,该方法结合了树木自底向上的形态规律,能够更高速和准确的获取树木骨架。
二、树木照片的L系统规则提取
我们提出了一种新颖的从单张树木图片提取树木的L-system规则的算法,并将其应用于三维树木建模。首先,用户在图片上勾画出树木的主要可见枝干和树冠轮廓,然后通过图像处理的方法识别出树木的可见枝干的2D骨架;然后依据树木枝干的分布规律对骨架进行三维重建并抽取其L-system生长规则和几何参数;之后在树冠轮廓的约束下通过L-system的自适应生长过程恢复不可见的树枝。最后,生成几何模型和贴上纹理,生成完整的树木模型。实验证明,相比与以往的建模方法,我们的方法在保持模型质量的前提下,建模成本更低,方法更加简便,模型数据量更小,便于网络传输和本地存储。
三、树木形状空间(Tree Shape Space, TSS)的概念
在树木形状空间中,每个点代表一个树结构,即一棵树木模型被轻量化为一个树形空间中的一个高维向量:

四、基于TSS与重用的植物景观轻量级在线可视化方法。
相关算法流程图:

网上大规模植物群落平台的输入为植物模型,植物模型的数量不限,上传的模型数量越多,植物群落多样性越高。植物模型可以包括各种乔木和灌木。首先树木模型以骨架信息进行表示,同时缩小了文件的大小。为了获得大规模植物群落,需要使用树形空间中的过渡算法实现两棵树木模型枝干之间的过渡枝干信息,对于过渡枝干信息,首先与共享组件集中的枝干进行相似度匹配,若相似度达到阈值,则会直接使用共享组件集中对应的枝干替代中间枝干,若未达到,则仍然使用中间枝干。通过以上步骤,能够获得两个植物模型的中间枝干集合,利用前一步的逆方法能够获得中间枝干集合构成的层次结构,最终获得一棵同种异态的树木。通过该方法,能够快速获得一片大规模植物群落,同时也保证自然性与多样性。
相关项目demo在线预览网址:
http://www.youku3d.com/smart3d/Tree/Tree/main.html

扫描以上二维码可进行移动端预览。
近几年发表的相关代表性论文:
[1] Guan Wang, Hamid Laga, Ning Xie, Jinyuan Jia, and Hedi Tabia. “The Shape Space of 3D Botanical Tree Models”. ACM Transactions on Graphics (TOG), 2018, 37(1), 7:1-7:18. (Presented at SIGGRAPH ASIA 2018).
[2] Guan Wang, Hamid Laga, Jinyuan Jia, Ning Xie, Hedi Tabia. “Statistical Modeling of the 3D Geometry and Topology of Botanical Trees”. Computer Graphics Forum (CGF), 2018, 37(5), 185-198. (special issue of SGP2018)
[3] Guan Wang, Dejia Zhang, Kaimao Zhou, Jinyuan Jia. “Rule and reuse based lightweight modeling and real time web3D rendering of forest scenes”. Proceedings of the 23rd International ACM Conference on 3D Web Technology (Web3D2018). ACM, 2018: 8.
[4] Dejia Zhang, Ning Xie, Shuang Liang, Jingyuan Jia. 3D tree skeletonization from multiple images based on PyrLK optical flow[J]. Pattern Recognition Letters, 2016, 76: 49-58.
[5] 张德嘉、梁爽、张晨、贾金原,“基于增强型PyrLK光流法的树木骨架重建方法”,计算机辅助设计与图形学报,2015,27(7), 1247-1254。
[6] 翁浩、贾金原,“单张图片树木L-system的智能提取算法”,计算机科学与探索,Vol. 7(2):145-151,2013年1月。