我的博客 最新博文

45 0

[略读]mixup: BEYOND EMPIRICAL RISK MINIMIZATION

Abstract深度神经网络功能强大,但是存在一些不良行为例如记忆性和对对抗样本的敏感性。(it:关注点偏移,趋向简单规则+对异常分布敏感)Mixup给神经网络增加了正则信息,使网络在训练样本中和训练样本之间的简单线性表现中获得收益。Introduction在大多数成功的深度学习实践中,存在两个共性。首先,他们追求在训练数据上的经验风险最小化原则ERM(与之对应的是结构风险最小化SRM,即防...
- 阅读全文 -
155 0

[略读]Sequence Transduction with Recurrent Neural Networks

RNNT原文下载地址Abstract很多模型都进行的是转换任务,例如语音识别、机器翻译、蛋白质二级结构生产、文字转语音等。在时序转换任务中,有一个关键挑战是寻找一种在收缩、拉伸、平移下有序列不变性的方式表示输入和输出序列。Introduction例如在语音识别中,需要面对由不同的音色、可变的说话速率、背景噪声等造成的明显失真。语言模型在输出序列时也需要使用先验知识来保持在缺失字符、发音、非语...
- 阅读全文 -
206 0

[工具]希腊字母读法

Α α:阿尔法 AlphaΒ β:贝塔 BetaΓdu γ:伽玛 GammaΔ δ:德尔zhi塔 DelteΕ ε:艾普西龙 EpsilonΖdao ζ :捷塔 ZetaΕ η:依塔 EtaΘ θ:西塔 ThetaΙ ι:艾欧塔 IotaΚ κ:喀帕 Kappa∧ λ:拉姆达 LambdaΜ μ:缪 MuΝ ν:拗 NuΞ ξ:克西 XiΟ ο:欧麦克轮 Omicron∏ π:派 PiΡ ρ...
- 阅读全文 -
389 0

[翻译]Joint CTC/attention decoding for end-to-end speech recognition

Abatract当前系统严重依赖围绕传统技术发展起来的复杂遗留架构的脚手架。存在的问题有:目前的HMM+GMM+DNN方法,训练声学模型(语音->音素)、语言模型(音素->单词)、词典模型(单词->句子),由于上述模块是单独优化的,因此这种因式分解形式也产生局部最优为了很好地分解声学模型和语言模型,系统需要基于词典模型的语言知识,而词典模型通常基于手工制作的语音词典来映射单...
- 阅读全文 -
302 0

【Trick】标签平滑

引用自 https://blog.csdn.net/sinat_36618660/article/details/100166957why在深度学习样本训练的过程中,我们采用one-hot标签去进行计算交叉熵损失时,只考虑到训练样本中正确的标签位置(one-hot标签为1的位置)的损失,而忽略了错误标签位置(one-hot标签为0的位置)的损失。这样一来,模型可以在训练集上拟合的很好,但由于...
- 阅读全文 -
1147 0

[小结]Bottom-Up Higher-Resolution Networks for Multi-Person Pose Estimation

项目地址https://github.com/HRNet/Higher-HRNet-Human-Pose-Estimation总结用高分辨率网络完成Bottom-Up姿态识别。聚合关节点使用Hourglass中的聚合方法,扩大特征图使用反卷积,热图损失使用MSE,都没有做创新。简介本文关注到为了使用热图,对图像尺度进行缩放的过程中,产生了误差导致网络能力下降。因此使用高分辨率网络保持较高尺度...
- 阅读全文 -
2038 0

[小结]Distribution-Aware Coordinate Representation for Human Pose Estimation

项目地址https://ilovepose.github.io/coco/总结因整数导致回归目标有偏,对网络效果有较大影响。简介对于单人姿态估计的监督方法有两种,回归关节点坐标、回归关节点热图。而回归热图因为能更利于网络归回,有效防止过拟合,是目前的主流。因此在这个过程中有两个问题,且都会产生一定的误差:训练时需将关节点坐标转换为关节点热图,会导致带小数坐标被转换到临近的整数位置;应用时需将...
- 阅读全文 -
1459 0

[翻译] Deep High-Resolution Representation Learning for Human Pose Estimation

Abstract在本文中,我们对人体姿势估计问题感兴趣,重点是学习可靠的高分辨率表示。大多数现有方法分辨率从高到低再从低到高恢复。相反,我们提出的网络在整个过程中都保持高分辨率表示。我们将高分辨率子网作为网络第一部分,然后将由高到低分辨率的子网逐步添加到网络中,然后将多分辨率子网并行连接。我们进行反复的多尺度融合,以便每一个高到低分辨率的表示都反复从其他并行表示中接收信息,从而获得丰富的高分...
- 阅读全文 -
1441 0

[翻译] RepNet: Weakly Supervised Training of an Adversarial Reprojection Network for 3D Human Pose Estimation

配合OpenPose、AlphaPose等网络先提取2D骨骼点,再使用RepNet估计3D骨骼点,并进行姿态估计,目前SOTA。Abstract本文解决了从单张图像进行3D人体姿势估计的问题。在很长一段时间内,通过最小化重投影误差来对人体骨骼进行参数化及拟合观察,如今研究人员直接使用神经网络从观测中推断出3D姿态。但是,这些方法大多数都忽略了重投影约束需要最小化且其对过拟合敏感的事实。我们通...
- 阅读全文 -