一种面向机器情感智能的人格引导型情感脑机接口

2022年第23卷第8期

摘要

关键词

相关研究

回顶部

《信息与电子工程前沿（英文）》 >> 2022年第23卷第8期 doi: 10.1631/FITEE.2100489

一种面向机器情感智能的人格引导型情感脑机接口

兰州大学信息科学与工程学院，中国兰州市，730099

收稿日期： 2021-10-14 录用日期： 2022-08-22 发布日期： 2022-08-22

HTML43 PDF 15 收藏 0

摘要

情感脑机接口（brain–computer interfaces, BCIs）已成为在人机协作中实现情感智能的一个重要途径。然而，由于脑电图（electroencephalogram, EEG）信号的复杂性和情绪反应的个体差异性，设计一个可靠和有效的模型仍然是一个巨大挑战。考虑到不同人格特征的个体在情绪感知和反应过程中的差异，整合人格信息和脑电信号对情绪识别是有帮助的。鉴于此，提出一种人格引导的注意力神经网络，其可以利用人格信息学习更为有效的EEG表征以用于情感识别。具体来说，我们首先利用卷积神经网络提取脑电信号的时域和空域表征，进而设计一种特殊的卷积核同时学习大脑头皮不同区域间和区域内的EEG导联相关关系。其次，考虑到不同大脑头皮区域在情绪识别中可能发挥不同的作用，提出一种人格引导的区域注意力机制，以进一步探索区域内和区域间EEG导联的贡献。最后，设计一种基于注意力的长短期记忆网络（long short-term memory, LSTM）建模EEG信号的时域动态特征。在AMIGOS数据集（一个用于个人和群体的情感、人格特征和情绪多模态研究的数据集）的实验结果表明，本研究所提方法可以显著提升被试独立策略下情感识别的性能，并优于现有情感识别方法。

关键词

脑电图 ; 情感识别 ; 注意力机制 ; 人格特征