FSAGN: An expression recognition method based on independent selection of video key frames(FSAGN：一种自主选择关键帧的表情识别方法)
由于在包含表情的视频数据集中存在大量与表情特征无关的视频帧，使得模型在训练中学习到大量无关信息，导致识别率大幅下降，因此如何令模型自主地选择视频关键帧成为研究的关键。在已有的视频表情识别方法中，大多没有考虑关键帧和非关键帧对模型训练效果的影响，为此提出了一种基于注意力机制与GhostNet的人脸表情识别（FSAGN）模型。通过自注意力机制与帧选择损失计算不同帧的权重，根据权重自主选择视频序列的关键帧。此外，为减少模型参数、降低模型的训练成本，将传统的特征提取网络替换为训练参数较少的GhostNet网络，并与注意力机制结合，分别在CK+和AFEW数据集中进行了实验，得到的最高识别率分别为99.6...
| Main Authors: | , , , , |
|---|---|
| Format: | Article |
| Language: | zho |
| Published: |
Zhejiang University Press
2022-03-01
|
| Series: | Zhejiang Daxue xuebao. Lixue ban |
| Subjects: | |
| Online Access: | https://doi.org/10.3785/j.issn.1008-9497.2022.02.002 |
| _version_ | 1797235731116064768 |
|---|---|
| author | ZHUJintai(祝锦泰) YEJihua(叶继华) GUOFeng(郭凤) JIANGLu(江蕗) JIANGAiwen(江爱文) |
| author_facet | ZHUJintai(祝锦泰) YEJihua(叶继华) GUOFeng(郭凤) JIANGLu(江蕗) JIANGAiwen(江爱文) |
| author_sort | ZHUJintai(祝锦泰) |
| collection | DOAJ |
| description | 由于在包含表情的视频数据集中存在大量与表情特征无关的视频帧，使得模型在训练中学习到大量无关信息，导致识别率大幅下降，因此如何令模型自主地选择视频关键帧成为研究的关键。在已有的视频表情识别方法中，大多没有考虑关键帧和非关键帧对模型训练效果的影响，为此提出了一种基于注意力机制与GhostNet的人脸表情识别（FSAGN）模型。通过自注意力机制与帧选择损失计算不同帧的权重，根据权重自主选择视频序列的关键帧。此外，为减少模型参数、降低模型的训练成本，将传统的特征提取网络替换为训练参数较少的GhostNet网络，并与注意力机制结合，分别在CK+和AFEW数据集中进行了实验，得到的最高识别率分别为99.64%和52.31%，分类正确率具有竞争力，适用于对视频序列较长且在视频序列中表情特征分布不均匀的面部表情识别。 |
| first_indexed | 2024-04-24T16:52:37Z |
| format | Article |
| id | doaj.art-ce2166521f5c476d94819411f1db8f69 |
| institution | Directory Open Access Journal |
| issn | 1008-9497 |
| language | zho |
| last_indexed | 2024-04-24T16:52:37Z |
| publishDate | 2022-03-01 |
| publisher | Zhejiang University Press |
| record_format | Article |
| series | Zhejiang Daxue xuebao. Lixue ban |
| spelling | doaj.art-ce2166521f5c476d94819411f1db8f692024-03-29T01:58:40ZzhoZhejiang University PressZhejiang Daxue xuebao. Lixue ban1008-94972022-03-0149214115010.3785/j.issn.1008-9497.2022.02.002FSAGN: An expression recognition method based on independent selection of video key frames(FSAGN：一种自主选择关键帧的表情识别方法)ZHUJintai(祝锦泰)0https://orcid.org/0000-0003-0682-8100YEJihua(叶继华)1https://orcid.org/0000-0001-5131-4454GUOFeng(郭凤)2JIANGLu(江蕗)3JIANGAiwen(江爱文)4 1.School of Computer Information Engineering, Jiangxi Normal University, Nanchang 330022, China( 1.江西师范大学 计算机信息工程学院，江西 南昌 330022) 1.School of Computer Information Engineering, Jiangxi Normal University, Nanchang 330022, China( 1.江西师范大学 计算机信息工程学院，江西 南昌 330022) 1.School of Computer Information Engineering, Jiangxi Normal University, Nanchang 330022, China( 1.江西师范大学 计算机信息工程学院，江西 南昌 330022) 1.School of Computer Information Engineering, Jiangxi Normal University, Nanchang 330022, China( 1.江西师范大学 计算机信息工程学院，江西 南昌 330022) 1.School of Computer Information Engineering, Jiangxi Normal University, Nanchang 330022, China( 1.江西师范大学 计算机信息工程学院，江西 南昌 330022)由于在包含表情的视频数据集中存在大量与表情特征无关的视频帧，使得模型在训练中学习到大量无关信息，导致识别率大幅下降，因此如何令模型自主地选择视频关键帧成为研究的关键。在已有的视频表情识别方法中，大多没有考虑关键帧和非关键帧对模型训练效果的影响，为此提出了一种基于注意力机制与GhostNet的人脸表情识别（FSAGN）模型。通过自注意力机制与帧选择损失计算不同帧的权重，根据权重自主选择视频序列的关键帧。此外，为减少模型参数、降低模型的训练成本，将传统的特征提取网络替换为训练参数较少的GhostNet网络，并与注意力机制结合，分别在CK+和AFEW数据集中进行了实验，得到的最高识别率分别为99.64%和52.31%，分类正确率具有竞争力，适用于对视频序列较长且在视频序列中表情特征分布不均匀的面部表情识别。https://doi.org/10.3785/j.issn.1008-9497.2022.02.002面部表情识别注意力机制关键帧自主选择ghostnet |
| spellingShingle | ZHUJintai(祝锦泰) YEJihua(叶继华) GUOFeng(郭凤) JIANGLu(江蕗) JIANGAiwen(江爱文) FSAGN: An expression recognition method based on independent selection of video key frames(FSAGN：一种自主选择关键帧的表情识别方法) Zhejiang Daxue xuebao. Lixue ban 面部表情识别 注意力机制 关键帧自主选择 ghostnet |
| title | FSAGN: An expression recognition method based on independent selection of video key frames(FSAGN：一种自主选择关键帧的表情识别方法) |
| title_full | FSAGN: An expression recognition method based on independent selection of video key frames(FSAGN：一种自主选择关键帧的表情识别方法) |
| title_fullStr | FSAGN: An expression recognition method based on independent selection of video key frames(FSAGN：一种自主选择关键帧的表情识别方法) |
| title_full_unstemmed | FSAGN: An expression recognition method based on independent selection of video key frames(FSAGN：一种自主选择关键帧的表情识别方法) |
| title_short | FSAGN: An expression recognition method based on independent selection of video key frames(FSAGN：一种自主选择关键帧的表情识别方法) |
| title_sort | fsagn an expression recognition method based on independent selection of video key frames fsagn 一种自主选择关键帧的表情识别方法 |
| topic | 面部表情识别 注意力机制 关键帧自主选择 ghostnet |
| url | https://doi.org/10.3785/j.issn.1008-9497.2022.02.002 |
| work_keys_str_mv | AT zhujintaizhùjǐntài fsagnanexpressionrecognitionmethodbasedonindependentselectionofvideokeyframesfsagnyīzhǒngzìzhǔxuǎnzéguānjiànzhèngdebiǎoqíngshíbiéfāngfǎ AT yejihuayèjìhuá fsagnanexpressionrecognitionmethodbasedonindependentselectionofvideokeyframesfsagnyīzhǒngzìzhǔxuǎnzéguānjiànzhèngdebiǎoqíngshíbiéfāngfǎ AT guofengguōfèng fsagnanexpressionrecognitionmethodbasedonindependentselectionofvideokeyframesfsagnyīzhǒngzìzhǔxuǎnzéguānjiànzhèngdebiǎoqíngshíbiéfāngfǎ AT jianglujiānglù fsagnanexpressionrecognitionmethodbasedonindependentselectionofvideokeyframesfsagnyīzhǒngzìzhǔxuǎnzéguānjiànzhèngdebiǎoqíngshíbiéfāngfǎ AT jiangaiwenjiāngàiwén fsagnanexpressionrecognitionmethodbasedonindependentselectionofvideokeyframesfsagnyīzhǒngzìzhǔxuǎnzéguānjiànzhèngdebiǎoqíngshíbiéfāngfǎ |