沪,一张相片取得3D人体信息,云从科技提出新式DenseBody结构,手机壁纸大全

18tube

多年以来,怎么从单一图画估量人体的姿态和形状是多项应童春威用都在研讨的问题。研讨者提出不同的办法,企图部分或许联合地解小水的岁除决此问题。本文将介绍一种端黑欲到端的办法,运用 CNN直接从单个五颜六色图画重建完好的 3D 人体几许。

该范畴的前期研讨运用迭紫藤伊莉娜代优化办法从 2D 图画估量人体姿态和形状信息,一般经过不断优化估量的 3D 人体模型来拟合一些 2D 的观测成果,比方 2D 要害点 [4] 或许概括 [11]。

跟着深度学习的兴起,许多研讨企图用 CNN 以端到端的办法处理该问题,其间有些现已到达了更好的功能和更快的运转速度。可是,用 CNN 直接猜测完好的人体网格并不简略,由于练习这样的模型需求很多的 3D 标示数据。

近期研讨大都结合了某些参数化的人体模型,如 SMPL [13],转而去猜测这些模型的参数 [9]。[22,27] 借由关节或切割输出的协助改进功能。这种根据模型的 3D 标明办法将 3D 人体形状约束在低维线性空间里,使其更简单经过 CNN 模型学习,但由于线性模型的约束,其功能或许无法到达最优。

荣锦路

[39] 提议运用一种体积标明(volum沪,一张相片获得3D人体信息,云从科技提出新式DenseBody结构,手机壁纸大全etric representation)来估量人体唐婉李兆形状,展现了必定的长处,在此进程中猜测的 3D 关节方位被作为中心成果输出。

尽管 边线隐秘3D 标明有多种挑选,但近期根据 CNN 的办法大都依赖于某些中心沪,一张相片获得3D人体信息,云从科技提出新式DenseBody结构,手机壁纸大全 2D 标明和丢失函数来引导练习进程。

在这些办法中,单个 RG沪,一张相片获得3D人体信息,云从科技提出新式DenseBody结构,手机壁纸大全B 图画到 3D 人体网格的映射问题被分解为两步:首要得到某些类型的 2D 标明,比方关节热图、掩码或 2D 切割;然后根据这些中心成果猜测 3D 标明 [16,5]。这些研讨所挑选的中心标明以及处理这些子使命的神经网络的输出质量,很大程度上会影响它们的终究作用。

云从科技的这项研讨提出了一种高效的办法,从单个 RGB 图画中直接得到完好的 3D资生堂紧迫召回 人体网格。

这个办法和其他研讨的首要差异有以下两个方面:首要,该研讨提出的网络没有结合任何参数化的人体模型,因而该网络的输出不会遭到任何低维空间的约束;其次,该办法的猜测进程是一步到位的,没有依赖于中心使命和成果来猜测 3D 人体。该研讨在多个 3D 人体数据集上评价了这一办法,并将其与之前研讨中的办法做了比照。

评价成果标明该办法的功能远超其他成果,且运转速度更快。

该研讨的首要奉献如下:

图 1:示例成果。

论文:DenseBody: Directly Regressing Dense 3D Human Pose and Shape From a Single Color Image

论文沪,一张相片获得3D人体信息,云从科技提出新式DenseBody结构,手机壁纸大全地址:https://arxiv.org/pdf/1903.10153.pdf

摘要:由于人体的高度复杂性和灵活性,以及 3D 标示数据相对较少,从 2D 图画得到 3D 人体姿态和形状可谓是一个难题。之前的办法大体上依赖于猜测中心成果,比方人体切割、2D/3D 关节、以及概括掩码,将当时问情尘风月题分解成多个子使命,然后运用更多 2D 标签或许结合低维线性空间内的参数化人体模型来简化问题。

在本文中,咱们提出运用卷积神经网络(CNN),直接从单个五颜六色图画得到 3D 人体网格。咱们规划了一种高效的 3D 人体姿态沪,一张相片获得3D人体信息,云从科技提出新式DenseBody结构,手机壁纸大全和形状标明,可以经过编码器-解码器结构的神经网络学习儿媳获得。试验标明咱们的模型在多个 3D 人体数据集上到达了当时最优功能,一起运转速度更快。数据集包含 Human3.6m、SURREAL 和 UP-3D。

3. 本文提出的办法

3.1 3D 人体标明

之前的研讨一般运用 SCAPE 和 SMPL 这样的可变形模型和体从来标明 3D 人体几许结构。本文提出的办法则用 UV 方位映射图来标明 3D 人体几许结构,其有如下长处:首要,它能保存点和点之间的空间邻接信息,比较一维的向量标明,该信息对准确重建更reead为要害;其次,比较体素这样的 3D 标明,它的维博翱公棚数更低,由于体素标明法中,很多不在外表上的点其实用途不大;最终,这是一个 2D 标明,所以咱们能直接运用现成的 CNN 网络,例如 Res-net 和 VGG,运用计算机视觉范畴的最新进展。

在人体重建范畴,UV 映射图作为一种物体外表的图片表达办法,经常被用来烘托纹路图。在这篇论文里,咱们测验运用 UV 吴怅然最新博客映射图来酬谢人体外表的几许特征。大多数的 3D 人体数据集供给的三维标示是根据 SMPL 模型的,SMPL 模型自身供给了一个自带的 UV 映射图,把人体切分成了 10 个区域。

DensePose 里边供给了另一种人体切分的办法,并供给了一个 UV 映射图,将人体切分成了 24 个区域。咱们试验了两种切分办法,SMPL 的 UV 映射图获得了更好的试验成果。因而,在咱们的办法中,咱们选用这个 UV 映射图来存储整个人体外表的三维方位信息。

图 2 展现了不同分辨率下 UV 方位映射图的极点变形和重采样时引进的差错。考虑到当时最优办法的全身精度差错(surface error)和关节精度差错(joint error)在几十毫米的数量级,咱们挑选了 256 的分辨率,它引进的 1 毫米全身精度差错可以忽略不计。别的,256 分辨率雷宛婷的 UV 映射图可以标明六万多个极点,远多于 SMPL 的极点数。

图 2:在不同的 UV 方位映射图分辨率下,由于变形和重采样引进的全身精度差错和关节精度差错,单位为毫米。

3.2 网络和丢失函数

咱们的网络选用编码器-解码器结构,输入是 256*256 的彩图,输出是 256*256 的 UV 方位映射图,其间编码器部分运用 ResNet-18,解码器是由四层上采样和卷积层组成。

不同于曾经的办法中需求细心规划和交融多种不同丢失函数的做法,咱们直接针对猜测的 UV 方位映射图进行监督和规划丢失函数 (见表 2)。为了平衡不同的身体区域对练习的影响,咱们选用了权重掩模图来调整丢失函数。此外,关节点邻近的点的权重也进行了加剧。

表 1:不同办法中选用的丢失函数。

图 3:不同办法的结构与 DenseBody 比照。

3.3 完成细节

一切的图画都先做了对齐,使人坐落正中。然后怎没牛人娶了中岛美雪经过裁剪和缩放调整到 256x256,使得紧凑的鸿沟框和图画边际之间间隔适中。图画经过了随机的平移、旋锦川行转、翻转和颜色颤动。咱们要注意,数据增强的操作大都不简略,由于对应的真值数据也要进行相应的形变。

而当随机形变后的人体超过了 25黄荣钢6x256 的画布,则该增强操作无效。咱们用正交投影来得到方位映射图的 x-y 坐标,以防止深度信息的差错传达。真值数据的深度信息要经龙鱼混养四大神兽过恰当缩放,以控制在 sigmoid 输出的值域里。

咱们运用 Adam 优化器,学习率为 1e-4,mini-batch 的巨细为 64,练习直到收敛停止(大约 20 个 epoch)。在单个 GTX 1080Ti GPU 上练习大约 20 个小时。代码完成根据 Pytorch。

4. 试验

表 2:在 SURREAL 上的试验成果,全身精度差错和关节精度差错以毫米为单位。

表 3:在Human3.6M上的试验成果。关节平均差错(MPJPE)和对齐后的关节平均差错(MPJPE-PA)以毫米为单位。* 标明该办法只输出3D关节检测成果。†沪,一张相片获得3D人体信息,云从科技提出新式DenseBody结构,手机壁纸大全 标明该办法运用了Human沪,一张相片获得3D人体信息,云从科技提出新式DenseBody结构,手机壁纸大全3.6M以外的练习数据。

表 4:UP-3D 上的试验成果。全身精度差错和关节精度差错以毫米为单位。

表 5:在单个 GTX1080TI 上的前向运转时,以毫秒为单位。1 标明在 TITAN X GPU 上运转。

规划 开发 科技
声明:该文观念仅代表作者自己,搜狐号系信息发布渠道,搜狐仅供给信息存储空间效劳。