Transformer Explainerは、テキスト生成モデルの内部処理を、トークン単位で追いながら学べるインタラクティブな可視化ツールです。入力テキストがトークン化され、埋め込み、位置情報、注意機構、フィードフォワード層を通って次のトークン予測につながる流れを確認できます。
自己注意の重みや中間表現を見ながら、Transformerが文脈をどのように参照しているのかを観察できる構成です。大規模言語モデルの基礎となるTransformerの仕組みを、数式や実装だけでなく、実際のテキスト生成の流れとして理解するための教材として使いやすいツールです。
