无序性#xff1a…目录

1无序性不同于图像中的像素数组或体积网格中的体素数组点云是一组没有特定顺序的点。

换句话说permutations

***

点云中的点集合排列顺序改变了点云本身的目标类别和分割结果是不变的符合交换律比如加法、乘法、取最值等操作。

2点之间的交互点不是孤立的而相邻的点形成了一个有意义的子集。

因此该模型需要能够从附近的点捕获局部结构以及局部结构之间的组合相互作用。

3变换无关性作为一个几何对象点集的特征表示应该对某些变换是不变的。

例如旋转和平移点不应该修改全局点云类别或点的分割。

1.2

2分类输出输出有两个分支分类分支输出是k个scores对应k个类别哪个值大就是那个类别

3分割输出分割分支输出的是nxm的矩阵scores有n个点每个点有m个分数m个分数对应m个语义分割类别哪个值大当前点就属于哪个类别。

1.3

transform用来预测放射变换矩阵用于对齐输入的点云数据feature

transform是用来对齐特征数据后期的论文证明是没多大用处的可以忽略

2论文中n是1024均匀采样论文中只用到了(x,y,z)坐标所以输入是nx3点云矩阵首先经过mlp(64,64)即两个多层感知机全连接网络维度变化3-64-64输出nx64特征向量

3再经过3个多层感知机维度变化64-64-128-1024升维度输出nx1024特征向量方便后面的maxpooling提取全局特征即降维操作

4提取特征后使用maxpooling操作提取全局特征nx1024每个点有1024维度特征求所有点的全局特征就是在每个维度上取最大值则nx1024

5再接一个mlp(512,256,k)作为分类层1024-512-256-k全连接节点变换k个类别分数哪个值大就是那个类别。

1.3.2

1前面的特征提取层是一样的提取得到局部特征nx64和全局特征1x1024

2融合局部特征和全局特征直接concat在一起变成nx1084每个点都有1084维度特征

3再接mlp层维度变换1084-512-256-128再接mlp层维度变化128-128-m这样特征矩阵变化nx1084

nxm

4nxm即n个点每个点都有m个类别分数哪个大则当前点的分割类别就属于对应的类别。

pointnet

pointnet模型简单一句话就是mlp提取特征再经过分类层进行分类即可完成对输入点云数据的分类公式概括如下。

由于只是使用maxpooling来聚合整个点云的特征pointnet是不能捕获不同尺度下的局部特征。

pointnet适用于目标数据的尺度变化不大的场景。

2.1

1pointnet特征提取层是一个层级特征提取层由sampling,grouping

and

2网络输入的是Nx(dC)矩阵N是点个数d维坐标C维点特征输出矩阵是Nx(dC)其中N是采样后的点个数C是点特征向量维度。

3每次grouping

layer再对每个cluster提取特征这个过程相当于2D卷积操作同样是使用层级结构放大感受野提取多尺度特征。

2.2

layer是迭代最远距离采样IFPS算法用采样后的点云尽可能的覆盖到原始点云所在范围代表当前点云数据论文中是提取1024个点详细IFPS算法介绍可参考

iterative

1输入点集合坐标Nx(dC)和对应的中心坐标Nxd对每一个中心坐标利用KNN在点集合中找K个最近的点在一个cluster中找出的每个点维度是(dC)特征

2对于一个cluster的维度则是Kx(dC)有N个中心则输出维度是NxKx(dC)

2.4

2对每个cluster投入到pointnet层提取特征即Kx(dC)

(dC)

真正实现的时候是(b,npoints,nsamples,features)

(b,N,K,dC)要channel