qiita.com
まとめ部分の引用です。
- 翻訳タスクにおいて、Seq2seq(RNNベースEncoder-Decoderモデル)よりも早くて精度が高いという優れものだよ。
- RNNもCNNも使わずに Attentionのみを使用 したEncoder-Decoderモデルで計算量も精度も改善したよ。しかも並列計算可能だよ。
- アーキテクチャのポイントは以下の3つだよ。
- NLPの最近のSoTAたち(BERT,XLNet,GPT-2など)のベースとなるモデル だから理解必須だよ。
詳しいことはリンク先を参照ください。
いろいろと優れモノのようです。