为了提取丰富的高级空间特征、减少关键信息的损失、全面捕捉视频中的时序特征、提升视频中错误动作的识别效果,研究了一种基于长短期记忆-卷积神经网络(long short term memory-convolutional neural network,LSTM-CNN)的体育训练视频...为了提取丰富的高级空间特征、减少关键信息的损失、全面捕捉视频中的时序特征、提升视频中错误动作的识别效果,研究了一种基于长短期记忆-卷积神经网络(long short term memory-convolutional neural network,LSTM-CNN)的体育训练视频中错误动作的识别方法。第一步,通过第一层卷积神经网络(convolutional neural network,CNN)层提取体育训练视频中错误动作的低级空间特征;第二步,利用第二层CNN层在体育训练视频低级空间特征内提取其高级空间特征;第三步,通过两层CNN层逐步提取体育训练视频的空间特征,确保在提取其高级特征的同时尽量减少其关键信息的损失,保证提取的高级空间特征具有丰富性;第四步,利用长短期记忆网络(long short term memory,LSTM)网络层,在高级空间特征内,对体育训练视频中错误动作的时序特征进行全面提取;第五步,引入注意力机制,对体育训练视频中错误动作的时序特征进行筛选,获得更有价值的时序特征,进一步提升错误动作的识别效果;第六步,通过归一化指数(Softmax)分类器,结合筛选出来的时序特征,输出层将体育训练视频中错误动作的识别结果输出。实验证明,基于LSTM-CNN的体育训练视频中错误动作的识别方法可有效提取体育训练视频动作的空间特征,并可在不同场景下精准识别体育训练视频中的错误动作。展开更多
文摘为了提取丰富的高级空间特征、减少关键信息的损失、全面捕捉视频中的时序特征、提升视频中错误动作的识别效果,研究了一种基于长短期记忆-卷积神经网络(long short term memory-convolutional neural network,LSTM-CNN)的体育训练视频中错误动作的识别方法。第一步,通过第一层卷积神经网络(convolutional neural network,CNN)层提取体育训练视频中错误动作的低级空间特征;第二步,利用第二层CNN层在体育训练视频低级空间特征内提取其高级空间特征;第三步,通过两层CNN层逐步提取体育训练视频的空间特征,确保在提取其高级特征的同时尽量减少其关键信息的损失,保证提取的高级空间特征具有丰富性;第四步,利用长短期记忆网络(long short term memory,LSTM)网络层,在高级空间特征内,对体育训练视频中错误动作的时序特征进行全面提取;第五步,引入注意力机制,对体育训练视频中错误动作的时序特征进行筛选,获得更有价值的时序特征,进一步提升错误动作的识别效果;第六步,通过归一化指数(Softmax)分类器,结合筛选出来的时序特征,输出层将体育训练视频中错误动作的识别结果输出。实验证明,基于LSTM-CNN的体育训练视频中错误动作的识别方法可有效提取体育训练视频动作的空间特征,并可在不同场景下精准识别体育训练视频中的错误动作。
