1.语言模型
语言模型是自然语言处理的重要技术。自然语言处理中最常见的数据是文本数据。我们可以把一段自然语言文本看做一段离散的时间序列。假设一段长度为T的文本中的词依次为w1,w2,…,wTw_1,w_2,…,w_Tw1,w2,…,wT,那么在离散的时间序列中,wt(1≤t≤T)w_t(1\leq t\leq T)wt(1≤t≤T)可看做在时间步t的输出或者标签。给定一个长度为T的词的序列w1,w2,…,wTw_1,w_2,…,w_Tw1,w2,…,wT,语言模型将计算该序列的概率