2020-02-14 18:50

[小结]Distribution-Aware Coordinate Representation for Human Pose Estimation

项目地址

https://ilovepose.github.io/coco/

总结

因整数导致回归目标有偏,对网络效果有较大影响。

简介

对于单人姿态估计的监督方法有两种,回归关节点坐标、回归关节点热图。而回归热图因为能更利于网络归回,有效防止过拟合,是目前的主流。因此在这个过程中有两个问题,且都会产生一定的误差:

  1. 训练时需将关节点坐标转换为关节点热图,会导致带小数坐标被转换到临近的整数位置;
  2. 应用时需将关节点热图转换回关节点坐标,这会导致得到的关节点是整数,与真实标注产生误差。同时因为计算量的关系,热图尺寸通常会比输入图片缩小n倍,因此会将误差放大。在本文提出之前,使用的方法是取最高峰位置m和第二高峰位置s(因为网络生成的热图会有多峰如下图),输出位置p=m+0.25(s-m),即将第二高峰位置作为小数补充。本文通过高斯估计,得到中心位置μ,获得了更好的效果。
    Darkpose1.jpg

本文贡献1

通过一种估计方法,从热图中获得更精确的坐标,具体步骤如下:

  1. 对热图使用高斯核平滑(参数与训练时使用的高斯核相同)
  2. 使用本文方法估计坐标位置Darkpose2.jpg

其中D表示在m位置的一阶、二阶导数,m为最高点位置,具体推导过程原文有推。

本文贡献2

相应的修改关节点坐标->热图的生成方式,使得转换方法无偏。

结果

  1. 对于关节点热图转换回关节点坐标,三种方法的结果。
    Darkpose3.jpg
  2. 对于修改训练时关节点坐标转换为关节点热图的方式,与不同的转回方式结合的结果。
    Darkpose4.jpg
  3. 最好效果
    Darkpose5.jpg

引申

在Anchor Free领域同样存在本文所提出的问题,目前主流方法都是用高斯核卷积生成热图,这也会造成一个问题,即热图区域超出目标范围;同时对于本文所提出的无偏问题,也有一篇文章做了相关研究《The Devil is in the Details: Delving into Unbiased Data Processing for Human Pose Estimation》

volica

原创文章,欢迎转载。转载请注明:转载自 我家Ai智障,谢谢!
原文链接:http://www.mclover.cn/blog/index.php/archives/588.html

添加新评论

icon_question.gificon_razz.gificon_sad.gificon_evil.gificon_exclaim.gificon_smile.gificon_redface.gificon_biggrin.gificon_surprised.gificon_eek.gificon_confused.gificon_cool.gificon_lol.gificon_mad.gificon_twisted.gificon_rolleyes.gificon_wink.gificon_idea.gificon_arrow.gificon_neutral.gificon_cry.gificon_mrgreen.gif

captcha
请输入验证码