投稿者: 東京をベースに活動する Sakana AI は、今回、新たな AI モデル「 Transformer2(squared) 」を発表しました。このモデルは、自己適応型の設計によって、従来の Transformer をベースとした AI モデルの性能を向上させることができます。
Transformer2 の最大の特徴は「自己適応性」です。通常の AI は特定のタスク向けに学習された後は、その範囲内でしか対応できません。しかし、Transformer2 は新しい課題に直面すると、自らの内部構造を動的に調整し、そのタスクに適した処理を行うことができます。問題の特性を理解し、それに合わせた最適な形に変化するというわけです。これにより、多様な分野で高いパフォーマンスを発揮できるとされています。
また、Transformer2 は「 Singular Value Finetuning （ SVF ）」という新しい手法を採用することで、効率性を大幅に向上させています。SVF は、AI モデルの重要な部分に限定して調整を行う方法です。そのため、従来よりも少ない計算資源で高い性能を実現できる、とされています。
Transformer2 の応用範囲は広く、自然言語処理や画像認識、強化学習など、さまざまな分野で活用が期待されています。これまでの AI モデルは、膨大なパラメータを持つ一方で、特定の用途にしか対応できないという課題がありました。しかし、Transformer2 は自己適応性と効率性を兼ね備えることで、少ないパラメーターで幅広いタスクに対応できるようになります。
筆者の視点：現在の AI モデルは、ほぼすべて、2017 年に Google の研究者グループ（共著者 8 名）によって発表された論文「 Attention Is All You Need 」で提唱された Transformer 理論を基盤としています。Sakana AI の創業者の一人は、その論文の共著者として知られ、AI 業界ではレジェンド的存在となっています。今回発表された Transformer2 は、そうしたレジェンド率いる Sakana AI が従来の Transformer 理論を発展させたものとして、アメリカでも注目を集めています。
また、今回とは別の動きですが、Transformerを発展させる動きとしては、2024 年 12 月に Google のチームが「 Titans 」という論文を発表し、Transformer 理論を補完（長期記憶の向上）する新たな視点を提案しました。
今年はこうした一連の論文に触発されて、Transformer 理論に改良を加えた基盤モデルが登場してきそうです。