为了提高协作中继系统频谱效率性能,对Nakagami-m衰落信道中联合物理层自适应调制编码(AMC)和链路层混合自动请求重传(HARQ)协议跨层设计方法进行研究.首先提出一种状态转移图来分析计算协作中继系统的误包率(PER);然后建立了最大化系统频谱效率的跨层优化模型,并给出迭代求解算法;最后对3种HARQ协议下中继系统性能进行对比分析.仿真结果表明,协作中继系统的性能明显优于非中继协作系统,联合Ⅲ型HARQ的跨层设计可实现比联合Ⅰ型和联合Ⅱ型HARQ更高的频谱效率和更低的PER.