基于3D分层卷积融合的多模态生理信号情绪识别

基于3D分层卷积融合的多模态生理信号情绪识别

近年来，脑电等生理信号由于能客观体现真实情绪已逐渐成为情绪识别研究的热门对象。然而，单模态的脑电信号存在情绪信息特征不完备问题，多模态生理信号存在情绪信息交互不充分问题。针对这些问题，提出基于3D分层卷积的多模态特征融合模型，旨在充分挖掘多模态交互关系，更准确地刻画情感信息。首先分别通过深度可分离卷积网络提取脑电、眼电和肌电3种模态的生理信号的多模态初级情绪特征信息，再对得到的多模态初级情绪特征信息进行3D卷积融合操作，实现两两模态间的局部交互以及所有模态间的全局交互，获取包含不同生理信号情绪特征的多模态融合特征。实验结果表明，提出的模型在DEAP数据集的效价、唤醒度的二分类和四分类任务中达到...

Full description

Bibliographic Details
Main Authors: 凌文芬, 陈思含, 彭勇, 孔万增
Format: Article
Language:zho
Published: POSTS&TELECOM PRESS Co., LTD 2021-03-01
Series:智能科学与技术学报
Subjects:
生理信号
情绪识别
3d分层卷积
多模态交互
Online Access:http://www.infocomm-journal.com/znkx/CN/abstract/abstract171217.shtml
_version_ 1797951239764312064
author 凌文芬
陈思含
彭勇
孔万增
author_facet 凌文芬
陈思含
彭勇
孔万增
author_sort 凌文芬
collection DOAJ
description 近年来，脑电等生理信号由于能客观体现真实情绪已逐渐成为情绪识别研究的热门对象。然而，单模态的脑电信号存在情绪信息特征不完备问题，多模态生理信号存在情绪信息交互不充分问题。针对这些问题，提出基于3D分层卷积的多模态特征融合模型，旨在充分挖掘多模态交互关系，更准确地刻画情感信息。首先分别通过深度可分离卷积网络提取脑电、眼电和肌电3种模态的生理信号的多模态初级情绪特征信息，再对得到的多模态初级情绪特征信息进行3D卷积融合操作，实现两两模态间的局部交互以及所有模态间的全局交互，获取包含不同生理信号情绪特征的多模态融合特征。实验结果表明，提出的模型在DEAP数据集的效价、唤醒度的二分类和四分类任务中达到了98%的平均准确率。
first_indexed 2024-04-10T22:27:30Z
format Article
id doaj.art-85249a6724554e4aa86fd40796b67199
institution Directory Open Access Journal
issn 2096-6652
language zho
last_indexed 2024-04-10T22:27:30Z
publishDate 2021-03-01
publisher POSTS&TELECOM PRESS Co., LTD
record_format Article
series 智能科学与技术学报
spelling doaj.art-85249a6724554e4aa86fd40796b671992023-01-17T08:52:11ZzhoPOSTS&TELECOM PRESS Co., LTD智能科学与技术学报2096-66522021-03-01317684基于3D分层卷积融合的多模态生理信号情绪识别凌文芬0陈思含1彭勇2孔万增3杭州电子科技大学计算机学院; 浙江省脑机协同智能重点实验室杭州电子科技大学计算机学院; 浙江省脑机协同智能重点实验室杭州电子科技大学计算机学院; 浙江省脑机协同智能重点实验室杭州电子科技大学计算机学院; 浙江省脑机协同智能重点实验室近年来，脑电等生理信号由于能客观体现真实情绪已逐渐成为情绪识别研究的热门对象。然而，单模态的脑电信号存在情绪信息特征不完备问题，多模态生理信号存在情绪信息交互不充分问题。针对这些问题，提出基于3D分层卷积的多模态特征融合模型，旨在充分挖掘多模态交互关系，更准确地刻画情感信息。首先分别通过深度可分离卷积网络提取脑电、眼电和肌电3种模态的生理信号的多模态初级情绪特征信息，再对得到的多模态初级情绪特征信息进行3D卷积融合操作，实现两两模态间的局部交互以及所有模态间的全局交互，获取包含不同生理信号情绪特征的多模态融合特征。实验结果表明，提出的模型在DEAP数据集的效价、唤醒度的二分类和四分类任务中达到了98%的平均准确率。http://www.infocomm-journal.com/znkx/CN/abstract/abstract171217.shtml生理信号情绪识别3d分层卷积多模态交互
spellingShingle 凌文芬
陈思含
彭勇
孔万增
基于3D分层卷积融合的多模态生理信号情绪识别
智能科学与技术学报
生理信号
情绪识别
3d分层卷积
多模态交互
title 基于3D分层卷积融合的多模态生理信号情绪识别
title_full 基于3D分层卷积融合的多模态生理信号情绪识别
title_fullStr 基于3D分层卷积融合的多模态生理信号情绪识别
title_full_unstemmed 基于3D分层卷积融合的多模态生理信号情绪识别
title_short 基于3D分层卷积融合的多模态生理信号情绪识别
title_sort 基于3d分层卷积融合的多模态生理信号情绪识别
topic 生理信号
情绪识别
3d分层卷积
多模态交互
url http://www.infocomm-journal.com/znkx/CN/abstract/abstract171217.shtml
work_keys_str_mv AT língwénfēn jīyú3dfēncéngjuǎnjīrónghédeduōmótàishēnglǐxìnhàoqíngxùshíbié
AT chénsīhán jīyú3dfēncéngjuǎnjīrónghédeduōmótàishēnglǐxìnhàoqíngxùshíbié
AT péngyǒng jīyú3dfēncéngjuǎnjīrónghédeduōmótàishēnglǐxìnhàoqíngxùshíbié
AT kǒngwànzēng jīyú3dfēncéngjuǎnjīrónghédeduōmótàishēnglǐxìnhàoqíngxùshíbié

Similar Items