2.2　傳統語言模型

循環神經網絡、長短期記憶網絡、門控循環單元等是傳統的語言模型，它們在很多自然語言處理任務中有著相關應用。但是，Transformer的出現使得這些模型的應用場景越來越少，這是因為Transformer具有更好的效果。