【NLP】Transformer

qiita.com

まとめ部分の引用です。

• 翻訳タスクにおいて、Seq2seq(RNNベースEncoder-Decoderモデル)よりも早くて精度が高いという優れものだよ。
• RNNもCNNも使わずに Attentionのみを使用 したEncoder-Decoderモデルで計算量も精度も改善したよ。しかも並列計算可能だよ。
• アーキテクチャのポイントは以下の3つだよ。
  • エンコーダー-デコーダモデル
  • Attention
  • 全結合層
• NLPの最近のSoTAたち(BERT,XLNet,GPT-2など)のベースとなるモデル だから理解必須だよ。

詳しいことはリンク先を参照ください。
いろいろと優れモノのようです。