人群行为识别是计算机视觉领域的重要研究课题，针对小规模松散人群兼具微观层面与宏观层面行为特征这一特点，提出了一种基于因果网络分析的小规模人群行为识别方法。先将各行人目标看成网络的节点，利用协方差跟踪获得目标的运动轨迹，并利用Granger因果关系检验来评估目标之间的相互作用，并用此因果关系来构建成对因果网络和成组因果网络，计算复杂网络的平均路径长度，介数，聚类系数等参数特性，以表达和识别聚集、聊天、分离、徘徊、相遇及同行等6种人群行为，实验结果表明，提出的算法能够有效的表达和识别人群行为。