装在手机里的3D姿态推想,模型尺寸仅同类1/7,偏差却只有5厘米

作者:admin   发布时间:2021-10-09 23:04   浏览:
正文

本文经AI新媒体量子位(公多号ID:QbitAI)授权转载,转载请有关出处。

永远以来,三维姿态推想都在探求实在性上一起狂奔。

但精度挑高的同时,也带来了计算成本的上升。

而刚刚被CPVR 2021批准的论文中所挑出的模型,MobileHumanPose却能够同时做到又幼又益。

照样放在手机上都能hold得住的那栽。来感受一下这个feel:

这栽行为的健身操也没题目:

装在手机里的3D姿态推想,模型尺寸仅同类1/7,偏差却只有5厘米

据晓畅,这个模型的尺寸,只有基于ResNet-50的模型的1/7,算力达到了3.92GFLOPS。

而且平均每关节位置偏差(MPJPE),也只有大约5厘米。

那么这一模型到底是如何在有限的算力下产生极佳性能的呢?

基于编码器-解码器组织的改进

这是一个从基本的编码器-解码器组织改良得来的模型。

在编码器用于全局特征挑取,而解码器进走姿态推想的基础架构上,钻研团队对其骨干网络、激活函数,以及Skip concatenation功能都进走了修改。

先来望钻研团队选择的骨干网络,MobileNetV2。

他们在MobileNetV2的前四个倒置残差块(Residual Block)处修改了通道大幼,获得了性能升迁。

装在手机里的3D姿态推想,模型尺寸仅同类1/7,偏差却只有5厘米

接下来,将PReLU函数用于实现激活功能,其中ai为学习参数 yi是输入信号。

装在手机里的3D姿态推想,模型尺寸仅同类1/7,偏差却只有5厘米

这一函数中的可学习参数能够在每一层网络都获得额表的新闻,所以在人体姿势推想义务中行使参数化PReLU时可升迁性能。

装在手机里的3D姿态推想,模型尺寸仅同类1/7,偏差却只有5厘米

△修改了激活函数后的baseline

现在,模型的效果已经不矮了,但考虑到推理速度,团队行使Skip concatenation组织。这一组织能从编码器到解码器中导出矮级别特征信号(Lowlevel feature signal),不会降矮性能。

装在手机里的3D姿态推想,模型尺寸仅同类1/7,偏差却只有5厘米 参数目缩短5倍,计算成本降到1/3

团队行使Human3.6M和MuCo-3DHP行为三维人体姿势数据集,他们挑出了MobileNetV2的大幼两个模型。

在Human3.6M上,MobileNetV2大模型实现了51.44毫米的平均每关节位置偏差。

装在手机里的3D姿态推想,模型尺寸仅同类1/7,偏差却只有5厘米

且其参数目为4.07M,对比同类模型的20.4M(chen)缩短了5倍,计算成本为5.49GFLOPS,是同类模型的1/3不到(14.1G)。

装在手机里的3D姿态推想,模型尺寸仅同类1/7,偏差却只有5厘米

对于多人三维姿势推想义务,钻研者行使RootNet来推想每幼我的绝对坐标,在MuPoTS的20个场景中进走了实验:

装在手机里的3D姿态推想,模型尺寸仅同类1/7,偏差却只有5厘米

实验效果表明,对比Zerui Chen等钻研者挑出的获ECCV 2020的三维人体姿态推想手段,MobileNetV2在清淡场景中的性能都更益,且在幼批场景中取得了最佳性能:

装在手机里的3D姿态推想,模型尺寸仅同类1/7,偏差却只有5厘米

在模型效果上,MobileNetV2的大模型效果为2.24M/3.92GFLOPS,远超同类模型的13.0M/10.7GFLOPS(Zerui Chen)。

而幼模型也能实现56.94毫米的平均每关节位置偏差,有224万个参数,计算成本为3.92GFLOPS。

作者介绍

论文的三位作者皆卒业于韩国高等技术钻研院,一作Sangbum Choi为该校的电机及电子工程专科硕士。

装在手机里的3D姿态推想,模型尺寸仅同类1/7,偏差却只有5厘米

论文: https://openaccess.thecvf.com/content/CVPR2021W/MAI/html/Choi_MobileHumanPose_Toward_Real-Time_3D_Human_Pose_Estimation_in_Mobile_Devices_CVPRW_2021_paper.html

开源地址: [1]https://github.com/SangbumChoi/MobileHumanPose [2]https://github.com/ibaiGorordo/ONNX-Mobile-Human-Pose-3D

【编辑选举】

基于人造智能技术伦敦国王学院与葛兰素史克睁开癌症钻研配相符 人造智能驱动的动态口罩来了 艺术设计中的人造智能 人造智能的大力发展,意味着异日更多的人会失踪做事,例如主办人 Gartner:33%的技术挑供商在两年内对人造智能的投资将达到100万美元以上

热点文章
近期更新
友情链接

Powered by 国色天香社区视频高清 @2018 RSS地图 HTML地图