为了在说话人识别任务中有效融合音视频特征, 提出一种基于深度门的多模态长短期记忆(LSTM)网络。首先对每一类单独的特征建立一个多层LSTM模型, 并通过深度门连接上下层的记忆存储单元, 增强上下层的联系, 提升该特征本身的分类性能。同时, 通过在不同模型之间共享连接隐藏层输出与各个门单元的权重, 学习每一层模型之间的联系。实验结果表明, 该方法能有效融合音视频特征, 提高说话人识别的准确率, 并且对干扰具有一定的稳健性。