当前位置: 代码迷 >> 综合 >> Spatiotemporal Recurrent Convolutional Networks for Recognizing Spontaneous Micro-expressions
  详细解决方案

Spatiotemporal Recurrent Convolutional Networks for Recognizing Spontaneous Micro-expressions

热度:13   发布时间:2024-01-14 17:58:51.0

STRCN 时空循环卷积网络用于识别自发微表情

3-C
时空连通性
一张图的一个通道为矩阵的一个列;
时空变化就在这个矩阵中;
用STRCN学习处理这个矩阵 = 学习到外观特征;
STRCN处理光流相关的信息(矩阵?)得到几何特征?
图2两个图的不同点是:
第一个每一个图像对应一个模块,多个模块叠加交到卷积层处理;
第二个多个图像得到一个模块,交到卷积层处理;

(1) type-1
初始想法是将一张图片的所有的像素作为矩阵的一个列;
这样的后果是矩阵特别大;
那我们就找有效位置的像素作为列;
为了得到这些有效位置或者叫微表情感知区域;
我们要得到一些mask,就是这些区域;
怎么得到这些mask?
用 difference heat map 即 E(x,y)
E(x,y)再经过阈值处理就得到了有效的(x,y),这些坐标合起来就是mask;
那么我们要求得到的mask像素点的数量是一样的,怎么办?
我们取高的固定百分比的像素点作为区域;
这样整个视频都可以表示成一个恒定的维度;
(2)type-2
只用起始帧和高潮帧计算光流;

3-D. Spatiotemporal Modeling
CNN有很强的能力去描述微表情微小的变化;
作者在CNN加了循环卷积层,就变成了RCN;
公式6表示的是RCL层第k个特征映射的输入值?

  相关解决方案