针对人体行为识别问题，提出一种基于径向基函数（BP）神经网络的人体行为分类算法。首先，利用奇异值分解（SVD）算法提取视频每一帧的奇异值，将每一帧的奇异值按照行拼接起来即为一个视频的样本，样本按照行排成样本矩阵；然后，利用主成分分析（PCA）对得到的矩阵进行去相关并且降低维数，降低维数的矩阵再进行线性鉴别分析（LDA），使样本变得线性可分；最后，利用BP神经网络对样本进行分类；实验结果表明，与采用最近邻分类和K近邻分类（kNN）相比，所提算法具有更高的识别率。