Sakana AI

ひとこと補足

Transformerとは何か——そして、なぜ発明者が「否定」したのか

ChatGPT、Gemini、Claude——すべてはこの15ページの論文から始まった

2017年、Googleの研究チームが「Attention Is All You Need」という15ページの論文を発表した。この論文が提唱した「Transformer」というアーキテクチャが、現在の生成AI革命そのものの土台だ。ChatGPTもGeminiもClaudeも、すべてTransformerの上に構築されている。

この論文の共著者8人のうちの1人が、Sakana AIのCTO リオン・ジョーンズだ。彼はGoogleで10年以上AIを研究した末に、ある確信に至る。「Transformerを大きくし続けても、賢くなるスピードは鈍化する。この方向に未来はない」。自らの発明が巨大化競争の道具にされることに疑問を持ち、Googleを去った。

つまりSakana AIとは「現在のAI時代を作った当事者が、自分の発明を否定して作った会社」だ。この事実こそが、創業わずか6ヶ月でシリコンバレーのトップVCから45億円を引き出した最大の理由でもある。

ひとこと補足

「大きいAI＝賢いAI」は本当か？——スケーリング論争のいま

OpenAIは「大きくすれば賢くなる」と信じ、Sakana AIは「それは錯覚だ」と言う

いまAI業界には2つの陣営がある。

一方は「スケーリング派」。AIモデルのパラメータ数（≒頭脳の大きさ）を増やし続ければ、どこまでも賢くなれると考える立場だ。OpenAIやGoogleなどの巨大企業が、数千億円をかけて巨大データセンターを建設しているのはこの思想に基づく。

もう一方は「効率派」。小さくても賢いAIを作る方が理にかなっている、と考える立場だ。Sakana AIはこちらに属する。Jones氏の言葉を借りれば、「100階建てのビルを建てるより、用途に合わせた100棟の家を建てるほうが現実的だ」。

どちらが正しいかはまだ決着がついていない。しかし一つの事実がある——巨大モデルの性能向上は鈍化し始めている。GPT-4からGPT-5への進化は、GPT-3からGPT-4ほどの衝撃ではなかった。「大きくすれば賢くなる」の法則に、陰りが見え始めている。Sakana AIの「小さいAI」アプローチが注目される背景には、この業界全体の潮目の変化がある。

ひとこと補足

「エッジAI」とは何か——なぜ次の主戦場と呼ばれるのか

ChatGPTが使えるのは、ネットが繋がっている場所だけだ

いまのAIの大半は「クラウドAI」だ。スマホに話しかけると、その音声はインターネットを通じて遠くのデータセンターに送られ、そこで処理され、結果が返ってくる。ChatGPTもGeminiも同じ仕組みだ。

しかし、この仕組みには致命的な弱点がある。ネットが繋がらない場所では使えない。通信に遅延が生まれる。そしてデータがサーバーに送られるため、プライバシーの問題がある。

「エッジAI」はこの逆だ。端末（スマホ、センサー、車載チップ、医療機器）の中でAIが直接動く。通信不要。遅延ゼロ。データは外に出ない。

問題は、端末のチップは性能が限られるため、巨大なAIモデルは動かせないこと。ここにSakana AIのコア技術——「小さくても賢いAI」を大量に自動生成する技術——が刺さる。NVIDIAやGoogleがSakana AIに投資した最大の理由がこれだ。