摘要
如今，人与机器人之间的互动不断扩大，需要越来越多的人体运动识别应用程序实时运行。然而，大多数关于时间动作检测和识别的工作都是以离线方式执行这些任务，即将时间分割的视频作为一个整体进行分类。在本文中，基于最近提出的时间循环网络框架，我们探索了如何将时间上下文和人体运动动力学有效地用于在线动作检测。我们的方法使用各种最先进的架构，并适当地组合提取的特征以改进动作检测，我们在具有挑战性但广泛使用的时间动作定位数据集 THUMOS14上评估我们的方法。
1.介绍
人体动作识别(HAR)是计算机视觉领域最突出的任务之一，在机器人，数据检索，医疗保健等领域有各种应用。大多数工作处理离线环境下的动作识别，即视频中动作的时间边界是已知的。然而，自动驾驶汽车或辅助机器人等在线应用程序需要连续视频流中的识别能力，其中动作的起点和终点必须实时估计，例如，为了避免车祸或甚至人们摔倒。
因此，两种方法的区别在于决策的时间。具体来说，在离线识别的情况下，动作将被完整地观察，而在在线识别中，必须在动作完成之前做出决定。人们已经开发了许多识别人类行为的方法，并取得了显著的效果，但它们的运行条件是：一旦行为完成，网络已被输入所有必要的信息，就进行识别。然而，这一条件不能在在线设置中得到满足，在在线设置中只能使用当前和过去的信息，这使得离线方法的推广存在问题。
最近提出的时间循环网络(TRN)通过使用循环网络预测与未来帧相对应的特征，引入了一种绕过未来信息缺乏的方法。TRN会按顺序处理视频，每一帧都会结合过去、现在和预测的未来信息来提取动作类别的概率。受TRN的启发，我们探索了增强时间动作检测的不同方法。贡献有两个方面：
- 我们在动作预测和预测中使用3D卷积网络(I3D和C3D)。通过这种方式，每一帧的时间背景信息都通过循环网络和视觉特征进行编码。
- 我们将人体姿势纳入我们的框架，假设人体运动的动态提供了有关动作时间边界的有价值的信息。
引入两个流特征作为模型的输入，将其解释为外观特征和运动特征。因此，为了提高模型的效率，我们选择了上述提取特征的一些组合。在THUMOS14公共数据集上的实验显示，在动作识别和预期方面，基线都有显著改善。
本文的其余内容如下：第二节提供了该领域的文献工作的回顾，我们在整个实验中应用的方法将在第三节中进行分析，第四节讨论了实验设置、数据集和我们使用的评价方法，而第五节讨论了我们的实验结果，最后，在第六节中，我们提出了我们的结论和进一步研究的方向。
2.相关工作
A 人体动作识别
多年来，视频中的动作识别一直激发着研究界的兴趣，利用特征描述的传统方法为目前提出的更复杂的神经网络铺平了道路。
早期的动作识别工作提取了手工制作的特征，如定向梯度直方图(HOG) /光流直方图，扩展了加速的鲁棒特征密集轨迹，并使用字样、费舍尔向量和其他无序表示对每个视频进行编码，支持向量机通常用于对这些特征进行分类。
尽管这样的方法已经显示出很有希望的结果，但视觉数据的丰富和硬件设计的进步使得研究界开始接受神经网络模型。卷积神经网络(CNN)在图像识别任务中提供了显著的改进，直观地支持了它们在视频和动作识别中的应用。最初，Donahue等人在提出在CNN中添加一个循环层来编码状态并捕获时间序列和长期依赖关系。由于二维CNN的二维特征的局限性，Ji等人开发了一个三维CNN模型，通过三维卷积从空间和时间维度提取特征，从而捕获编码在多个相邻帧中的运动信息。基于这项工作，Tran等人创建了一个高效的描述符- C3D -它可以用作其他视频分析任务的预训练特征提取器。由Simonyan和Zisserman介绍的双流网络通过RGB图像和光流分析时空特征。在之前模型的三维融合扩展中，在最后一个卷积层之后融合空间流，引入了更好的性能。最后，Carreira等人将上述模型组合成一个新的I3D模型，旨在非常深入的自然时空分类器。
另一方面，Noori等人基于基于骨架的动作识别可以避免对动作的动力学进行显式建模这一事实，提出使用OpenPose和循环神经网络(RNNs)来识别活动。
B 离线动作检测
对于离线识别的变体，样本视频是完全先验已知的，因此任务是估计每个动作的开始和结束时间戳。这类问题具有全帧序列知识和处理时间不受限制的优点。早期的作品使用滑动窗口，根据分类，其中每个窗口都被认为是一个动作候选，。Escorcia等利用长期短期记忆(LSTM)细胞编码视频序列的离散状态为了演示提案评分，而Gao等人提出了把TURN TAP长期未切边的视频在哪里视频分解成单元，然后重用时间建议的基本构建块。此外，Shou等人引入了CDC网络，该网络通过空间下采样和上采样对每帧进行密集的预测，以定位时间边界。最后，Long等人提出了GTANs，与之前的方法相比，该方法在一阶段动作定位框架中利用了时间结构。
C 在线动作检测
在线动作检测最初是由De Geest等人提出的，他们也为同样的目的创建了TVSeries数据集。同一个研究小组后来提出了一个双流LSTM模型，它既关注帧的解释，也关注动作之间的时间依赖性。为动作预期而创建的RED网络，如果将预期时间设置为零，也可以用于动作检测。该工作的主要思想是使用CNN预测特征动作，结合LSTM和强化损失进行特征提取。Shou等人也提出了生成对抗网络(GANs)来精确预测起始时间。
Xu等人提出的时间循环网络(TRN)是一种利用预测的未来信息丰富在线动作检测精度的新方法。在此基础上，我们探索了不同的特征提取和融合方法，以更好地估计动作的时间动态信息，从而在预期和识别任务中获得更高的分数。
3.方法
为了解决在线动作识别的问题，我们提出了一个由两个主要组件组成的框架，一个探索视频的时间背景，一个对应于提出的TRN Cell。
A. TRN Cell
我们首先提供了TRN Cell的简要描述，这对我们的方法的直觉是至关重要的。特别是，TRN背后的核心思想是预测未来帧的特征，并将其与过去和现在的信息进行聚合，以正确地对动作进行分类。如图1所示，它由时间解码器、未来门和时空编码器组成。时间译码器和空间编码器都是LSTM单元，其中时间译码器接受串行输入向量并输出预测的未来信息和相应的隐藏状态，第二个单元依次接收连接的输入和未来向量以及隐藏状态，并估计每个动作的概率分布。
图1：TRN Cell 架构
B.利用上下文信息
受到双流模型的启发，我们通过提取I3D特征进行实验，这些特征是低级空间特征。这些是通过在Kinetics上预训练的I3D网络计算的，以提高模型的泛化能力和避免过拟合。我们从最后一个全局平均轮询层提取2×(1024维)帧级特征。两个流特征-外观和运动-被连接和馈送到一个具有ReLU激活的线性层。然后，融合的信息进入TRN Cell，如图3所示。
图3：11种可能的两流模型的管道，其中选择了6种最有效的组合
此外，我们还尝试了C3D功能，这是一个非常通用的视频功能表达。这是因为与原始方法所使用的ResNet不同，3D卷积模块可以提取空间和时间分量，但仅限于外观表示。前面提到的单流特性是使用在运动1M上预训练的C3D网络计算的，这减少了微调的需要，我们从FC6层每帧提取4096维特征，并将它们直接插入TRN Cell，如图2所示。
图2：由提取的C3D特征直接提供的单流模型的流水线
骨骼关节坐标具有很高的精确度，可以准确地表示动作的时间动态，因此我们使用从OpenPose中提取的2D骨骼进行实验，基于基线RBG和光流特征。因此，每帧生成134维向量。人体姿势由25个姿势/脚估计关键点和2×21手估计关键点组成。由于使用二维模型，每个关键点由两个空间变量，其坐标和一个置信度参数组成。我们首先将从OpenPose获得的功能规范化，以解决不同的相机设置。具体来说，我们将骨盆中部定义为坐标中心，并将骨盆与肩膀之间的距离(平均高度)归一化。在一个坐标系中有多个参与者的情况下，使用坐标置信度分数最高的参与者。
由于提取的骨架特征主要是运动特征，我们向C3D模型添加了另一个流。具体来说，我们在外观流中安排了C3D特征，在动作流中安排了姿势特征。与相应的单流模型相比，该框架确实显示了性能的改进。基于这些结果，我们将相同的框架应用于I3D模型:我们将I3D RGB数据安排在外观流中，将OpenPose数据安排在运动流中。虽然骨架特征序列充分反映了时间动态，但仍然缺少外观和场景信息。基于之前的声明和我们迄今为止的实验反馈，我们尝试将我们的两个流模型——基线和I3D——与来自骨架的信息结合起来。具体来说，我们将RGB数据与OpenPose数据融合，并创建了一个融合的双流模型，如图4所示。
图4：四种可能的双流融合模型的管道
4.实验设置
为了评估我们的模型，我们使用了THUMOS14数据集，因为它包含各种体育赛事的长视频和未修剪的视频，这些视频用20个动作注释。然而，它的训练集只包含修剪过的视频，不能用于时间定位任务。结果，基于之前的工作，我们在验证集(200个未修剪的视频)上训练我们的模型，并在测试集(213个未修剪的视频)上验证它。
所有实验均在Nvidia GeForce RTX 2080 Ti gpu上进行。训练阶段采用Adam优化器，学习率和权值衰减参数设置为5 × 10 。由于GPU内存限制，我们将批处理大小设置为2，输入序列长度设置为64，而我们包含了8个解码器步骤。为了允许与原始方法进行公平的比较，我们使用前面的设置对基线TRN进行内部测试。
在视频预处理方面，我们以30帧/秒的速度提取视频帧，并对视频块大小分别为6和16进行了实验，与所检查的一组实验一致。采用TV-L1光流算法，通过密流工具提取光流帧。最后，我们报告每帧平均平均精度(mAP)进行评估。为了提供更深入的了解，我们还报告了从0.25到2秒的预期时间的mAP。
5.结果
我们在第三节中提到的所使用的模型如图2、3、4所示，而我们从实验中得到的结果如表I、II、III所示。这些是根据提取特征的方法组织起来的。具体而言，在表I中，我们分别使用ResNet-200和BN-Inception进行RGB和Flow特征提取，而在表II和表III中，我们分别使用C3D和I3D。在所有三个表中，我们都表示使用了OpenPose特性，或者通过替换或补充流和RGB特性，从而分别创建了运动特性和外观特性。
表I
通过检查表I，在块大小设置为6帧的情况下，我们可以观察到，使用ResNet-200对RGB信息和使用BN-Inception对流信息的基线方法对精度任务的准确率最高，为25.77%，而对分类任务的预测准确率仅为25.93%。通过用OpenPose特征替换流信息，我们注意到，虽然平均解码器精度略有下降到25.67%，但编码器精度显著提高，达到37.57%。然而，使用OpenPose特性来增强或替换RGB信息并没有提供任何进一步的改进，无论是在预期阶段还是在检测过程中。值得一提的是，在我们使用OpenPose的两种情况下，我们观察到0.5s - 1.25s期间的性能更好，但在长期预测中也比基线小得多，这导致了这些情况下的平均精度下降。
表II
表II显示了C3D的结果，给出了单流特性，其中块大小被设置为16。我们强调，使用人体姿势作为运动特征，通过在我们的模型中引入第二个流，在动作检测阶段比简单的C3D提高了，前者从35.43%提高到后者的36.44%，而动作预测的准确率下降到26.93%。此外，我们应该注意到短期预期和长期预期之间的巨大差异，高达10%。通过对比这个表和上一个表，我们观察到，在0.75s-1.25s的间隔内，OpenPose作为运动信息，比相应的简单模型表现出更好的预期性能。此外，虽然在C3D模型中我们观察到更大的预期精度，但动作检测精度并不超过表I的模型。
表III
使用I3D及其变体的结果如表III所示，其中块大小设置为16帧。我们注意到，简单的I3D模型及其修正都表现出了更好的性能，其中最简单的I3D模型提高最大，在预期阶段达到了39.35%，在检测阶段达到了55.25%。然而，在这组实验中使用OpenPose，无论是作为RGB和流量信息的附加提示，还是作为唯一的运动信息，都没有提供任何改进。相反，它限制了它的效力。这种差异可能是由于I3D流动信息提供了强大的容量。
6.结论
在本文中，我们提出了几种基于时间循环网络的改进在线动作检测的方法。我们的研究结果强调了时间背景和人体姿势的价值，它们是及时定位动作的有用线索。我们证明，我们的大多数模型比原始TRN方法的性能要好很多，尽管由于我们使用的批处理规模较小，我们的基线结果低于原始论文的结果，其中最好的(I3D)达到了最先进的结果。具体而言，通过观察模型在分析和检测阶段的行为变化，我们认为使用不同的模型进行预测和识别有助于在线动作检测任务的完成，我们计划在今后的工作中实现这一目标。
---煤油灯科技victorlamp.com翻译整理---
