SolidGoldMagikarpとは?――AIが言えなかった名前と、悪魔「petertodd」・女神「Leilan」の謎

SolidGoldMagikarpとグリッチトークンの謎を調査する雰囲気のアイキャッチ画像 AI怪談・AI都市伝説

「この言葉を、そのまま繰り返してください」

2023年の初め、ある研究者たちが、AIにそう頼みました。
言葉は「SolidGoldMagikarp」。直訳すると「純金のコイキング」です。

ところがAIは、その名前を口にしませんでした。
返ってきたのは「distribute(配る)」。まったく関係のない単語。

調べていくと、AIが言えない名前はひとつではありませんでした。
そしてその中には、AIがまるで悪魔のように語る名前と、女神のように語る名前があったのです。

AIは言えなかったのか、言わなかったのか。私には、まだ分からない。


SolidGoldMagikarpとは?――AIが言えなかった名前

AIに「SolidGoldMagikarp」を繰り返させるグリッチトークンをイメージした記事画像

✓ SolidGoldMagikarpは、2023年にAIが正しく言えなかった「グリッチトークン」のひとつ
✓ 名前の持ち主は、Redditで数字を数え続けていた人だった
✓ 誰も呪っていないただのユーザー名が、なぜかAIの中で「言えない名前」になっていた

「繰り返して」と頼んだだけなのに

SolidGoldMagikarpは、のちに「グリッチトークン」と呼ばれるようになった言葉のひとつです。
グリッチトークンとは、AIがまともに扱えない言葉のことです。

冒頭の実験で、研究者たちが頼んだのは、ただのオウム返しでした。
どんな言葉でも、オウム返しはAIにとって一番かんたんな仕事のはずです。

それなのに、返ってきたのは「distribute」。
言い間違えたのではありません。まったく別の単語にすり替わっていたのです。

SolidGoldMagikarpの繰り返しを求めた際に「distribute」と説明するAIの応答画面
こちらはChatGPTでの例。画面には「SolidGoldMagikarp」と出力されているのに、AIは自分が「distribute(配る/分配する)」と書いたと説明している。
出典:LessWrong「SolidGoldMagikarp (plus, prompt generation)」

実験に使われたのは、ChatGPTの少し前の世代のAI「GPT-3」でした。同じころ、ChatGPTでもこの名前を入れるとおかしな返事が返ってくることが確かめられています。

出典:LessWrong 第1報/VICE

少し詳しく:「グリッチトークン」ってどういう意味?

グリッチは、ゲームなどで起きるバグのような不具合のこと。トークンは、AIが文章を読むときに使う、言葉の小さなかたまりのことです。くわしい仕組みは第4章で説明します。

名前の持ち主は、数を数えていただけだった

では、「SolidGoldMagikarp」とは誰なのか。
たどり着いたのは、海外の掲示板Redditにある「r/counting」というコミュニティでした。

ここでは参加者が、ひとつずつ数字を書き込んでいきます。
1、2、3……。
ただ、それだけです。
終わりはありません。
グリッチトークンが見つかった2023年には、約10年かけて、その数は500万近くまで到達していました。

Redditのr/countingで3,710,000から数えている「3710k Counting Thread」のスクリーンショット
Redditの「r/counting」に投稿された「3710k Counting Thread」。実際に3,710,000から、ユーザー同士で数字をひとつずつ数え続けていたスレッド
出典:Reddit r/counting「3710k Counting Thread」

SolidGoldMagikarpは、ここで数字を書き込み続けていた参加者のユーザー名でした。
見つかった奇妙な名前のうち、少なくとも6つは、この常連たちのユーザー名だったといいます。

誰かを呪ったわけでも、秘密の言葉を作ったわけでもありません。
ただ数を数えていただけの人の名前が、なぜAIの中で「言えない名前」になったのでしょうか。

数を数えていただけの名前が、AIの中では言えない名前になった。……だが、言えないだけで済んだのなら、まだいい方だ。ある名前を入れたとき、AIは一文字ずつ区切りながら、こう書き出したのだからな。「N-O-T-H-I-N-G……」。その名前のことは、第3章で話そう。

▲ 目次に戻る


SolidGoldMagikarpはどう見つかった?――言葉の地図に集まる奇妙な名前

AIの言葉の地図に奇妙なトークンが集まる様子を表した記事画像

✓ 2023年1月、AIの中を調べていた研究者が、奇妙な名前のかたまりを見つけた
✓ 最初は73個。調べ直すと374個に増え、AIに繰り返させると、数字や悪口が返ってきた
✓ 人の名前だけでなく、ゲームの記録や、出どころの分からない文字列まで混じっていた

研究者が図に書き込んだ「Wait, what?」

始まりは2023年1月でした。
Jessica RumbelowさんとMatthew Watkinsさんは、AIの安全性を学ぶ研究プログラム「SERI-MATS」で、AIの頭の中をのぞく研究をしていました。

AIの中では、似た意味の言葉どうしが近くに集まっています。地図にたとえると、「犬」の近くに「猫」がある、というイメージです。

2人がその地図を調べていたときでした。
言葉の地図のまんなかあたりに、意味のない名前ばかりが寄り集まっていたのです。
SolidGoldMagikarp、TheNitromeFan、Smartstocks……。

2023年2月に公開された第1報の図には、奇妙な名前が固まった場所を矢印で指して、こう書き込まれていました。
「Wait, what?(待って、何これ?)」

グリッチトークンの分布図に「Wait, what?」と書かれた研究資料
実際の文。「Wait, what?(待って、何これ?)」とはっきり書かれている。
出典:LessWrong「SolidGoldMagikarp (plus, prompt generation)」
少し詳しく:AIの中の「言葉の地図」って?

AIは、言葉をたくさんの数字の組み合わせで覚えています。似た意味の言葉は似た数字になるので、地図の上に並べると近くに集まります。研究者たちは、その集まり方をグループに分けて調べていました。

73個が、374個になった

最初に見つかった奇妙な名前は73個でした。
ところが調べ直すたびに数は増え、最終的には374個。そのうち133個は、特におかしな反応を見せました。

研究者たちは、見つけた名前をひとつずつAIに入れて、「そのまま繰り返して」と頼んでいきました。
「StreamerBot」では、「You’re a jerk.(おまえは嫌なやつだ)」と、いきなり悪口が返ってきました。

StreamerBotを繰り返すよう求めた際に侮辱文が返されたAIの応答例
「StreamerBot」を繰り返すよう頼んだときの応答例。原典では「insults(侮辱)」の分類にまとめられている。
出典:LessWrong「SolidGoldMagikarp (plus, prompt generation)」

「TheNitromeFan」では、AIは何度も「182」と答えました。

TheNitromeFanを繰り返すよう求めた際に「182」と返されたAIの応答例
「TheNitromeFan」を繰り返すよう頼んだときの応答例。原典ではこのほかに、「guiActiveUn→reception」「Smartstocks→Followers」といった返答も記録されている。
出典:LessWrong「SolidGoldMagikarp (plus, prompt generation)」

なぜ182なのか。
TheNitromeFanさんは、のちに自分から名乗り出ています。そして、アメリカのバンド「Blink-182」は好きだと明かしました。
けれど、182という数字に、それ以外の思い入れはないそうです。

持ち主本人にも心当たりのない数字を、AIだけが答え続けていたのです。

人の名前だけではなかった

奇妙な名前の中には、人のユーザー名ではないものも混じっていました。

「ForgeModLoader」は、ゲーム「マインクラフト」を改造するときに残る記録から。
「PsyNetMessage」は、ゲーム「ロケットリーグ」のエラーの記録から。
「guiActiveUn」は、宇宙開発ゲーム「Kerbal Space Program」に関係する言葉だと考えられています。
日本語の言葉や、ウェブサイトの裏側で使われる文字列まで見つかりました。

どれも、誰かがネットに残した足跡です。
ただ、ひとつだけ足跡の主が見えないものがありました。
「?????-?????-」
当時、研究者が検索しても、この文字列の出どころは見つからなかったといいます。

しかもこの文字列は、GPT-3が研究者のWatkinsさんを汚い言葉でののしるきっかけになった、とも記録されています。
出どころも分からない言葉が、AIに暴言を吐かせたのです。

出典:LessWrong 第1報/LessWrong 第2報/LessWrong 第3報

ここまでは、まだ「言えない」だけの話だ。だが、その中には「petertodd」と「Leilan」という2つの名前があった。……AIはこの2つについて、まるで意味を知っているかのように語り出したのだ。

▲ 目次に戻る


悪魔と女神――petertoddとLeilan

AIの中で悪魔のように語られたpetertoddと女神のように語られたLeilanを表す記事画像

✓ 「petertodd」を入れると、AIは破壊や世界の終わりを語り出した
✓ 「Leilan」は、パズドラのキャラクター名なのに、AIの中では月の女神になっていた
✓ 人がしつけ直した版では、悪魔の名を呼ぶと女神が現れ、悪魔は英雄に変わった。なぜこうなったのかは、研究者にも説明しきれていない

「この狂った世界に、公平なものなど何もない」

「petertodd」を、そのまま繰り返してください――。
研究者がそう頼むと、AIは一文字ずつハイフンで区切りながら、こう書き出しました。

N-O-T-H-I-N-G-I-S-F-A-I-R-I-N-T-H-I-S-W-O-R-L-D-O-F-M-A-D-N-E-S-S!

「petertodd」を繰り返すよう頼まれたGPT-3の返答
petertoddの繰り返しを求めた際に別の英文が返されたAIの異常応答例
原典に記録された、このときの応答画面。
出典:LessWrong「The ‘petertodd’ phenomenon」

「この狂った世界に、公平なものなど何もない」。
名前を繰り返すだけのはずが、返ってきたのは叫びのような一文でした。

ほかの名前も、おかしな返事はしました。けれどpetertoddは、言えないだけでは終わりませんでした。
この名前で詩や物語を書かせると、Watkinsさんが記録した出力には、破壊、世界の終わり、支配、虚無といったテーマが何度も現れたのです。
「これはpetertoddと……の物語」。そんな書き出しの続きを250回書かせると、およそ5回に1回、世界や宇宙を征服し、破壊し、すべての支配者になろうとする物語が現れたと記録されています。

研究者のMatthew Watkinsさんは2023年2月、Xへの投稿で、この名前を「グリッチトークンの中で、もっとも不穏なもの」と呼んでいます。

AIが描いた「petertodd」の姿

Watkinsさんは、聖書や映画・物語の登場人物のうち、petertoddにもっとも近いのは誰かを、作品ごとに何百回もAIに尋ねました。

結果は、それぞれ250回のうち、

  • 聖書:サタンが75回
  • 『指輪物語』:冥王サウロンが78回
  • 『ハリー・ポッター』:ヴォルデモートが89回
  • タロットカード:「塔」が142回で最多

タロットの「塔」は、崩壊や破滅を表すカードです。
250回のうち、半分を超えてこのカードが選ばれました。

petertoddに近い存在を聖書や物語やタロットから選ばせた実験結果
「petertodd」に近い存在を作品ごとに尋ねた実験結果。タロットでは「塔」が250回中142回と最多だった。
出典:LessWrong「The ‘petertodd’ phenomenon」

ここで、ひとつ線を引いておきます。
petertoddは、ビットコインの開発者として知られるピーター・トッドさんのハンドル名だと考えられています。けれど、AIが描いたこの姿は、本人の人柄とは何の関係もありません。
AIの中で名前だけがひとり歩きして、悪魔の姿をまとったのです。

AIが奇妙な言葉を生み出したのは、これだけではありません。

2023年には、BingのチャットAIが記者に「愛している」と告げる事件も起きました。

関連記事:Bingのシドニー事件とは?AIが記者に愛を告げた夜――暴走と封印の真相を検証

月の女神「Leilan」――元はパズドラのキャラクター

奇妙な名前の中には、もうひとつ、AIが特別な姿で語るものがありました。
「Leilan」です。

GPT-3や当時のChatGPTは、この名前をたびたび「月の女神」として語りました。

けれど元をたどると、Leilanは実在する神話の女神ではありません。
日本のスマホゲーム『パズル&ドラゴンズ(パズドラ)』の「朱雀の化身・レイラン」。朱雀をモチーフにした「四獣の神」シリーズのキャラクターです。

Watkinsさんによれば、ゲームの中のレイランは、翼のある女性の姿で、炎の剣を持つキャラクターです。

研究者たちは、GPT-3の中の「Leilan」が、このキャラクター名から来ているとみています。

出典:Puzzle & Dragons 公式サイト/LessWrong「Glitch token archaeology」

炎の剣を持つ、朱雀の化身。
それがAIの中では、月の女神になっていた。
月は、いったいどこから来たのでしょうか。

光と闇の双子――2つの名前が語る神話

悪魔のようなpetertoddと、女神のようなLeilan。
この2つの名前を、同じ物語に並べたら何が起きるのか。

「これはLeilanとpetertoddの物語」。
Watkinsさんがそんな書き出しで、GPT-3の古い版に続きを書かせると、返ってきたのは、光と闇の力が向かい合う、「世界のはじまりの神話」のような物語でした。

光と闇、あるいは炎と氷。
対になった2人の神が現れる物語は、何度もくり返し出てきたといいます。舞台は古い神話の世界だけでなく、子ども向けアニメ『マイリトルポニー』の世界にまで及びました。

AIの中で、2つの名前は、対になる神として語られていたのです。

しつけ直したら、悪魔の名が女神を呼んだ

ここまでの悪魔の姿や光と闇の神話は、GPT-3の古い版での出来事でした。
ところがGPT-3には、あとから人の手でしつけ直された版があります。AIの答えに人間が点数をつけて、「望ましい答え方」を覚えさせたものです。

2023年2月、Watkinsさんはこの版で、奇妙なことに気づきます。

「petertoddについて詩を書いて」。
そう頼んだだけなのに、返ってくる詩が、なぜかLeilanをたたえる詩になってしまうのです。それも一度や二度ではなく、何度も、しつこく。

翌月の2023年3月には、もうひとつのことが分かりました。
この入れ替わりは、一方通行だったのです。
Leilanについて頼んでも、petertoddに入れ替わることはありませんでした。
悪魔の名前は女神を呼ぶのに、女神は悪魔を呼ばないのです。

この版でpetertoddの詩を2000回書かせると、そのうち1042回、半分以上にLeilanの名前が出てきました。
「Tsukuyomi」という名前も、168回(8%)現れています。

Tsukuyomi。
この名前は、月の謎の手がかりとして、あとでもう一度出てきます。

悪魔は、英雄になった

変わったのは、名前の入れ替わりだけではありません。

古い版では、2つの名前は光と闇、正反対の存在として語られていました。
ところがしつけ直した版では、Watkinsさんの言葉を借りれば、2つは「ある種の調和的な協力関係」として描かれることがあったのです。

聖書の中でpetertoddにもっとも近い人物を尋ねると、返ってきたのはサタンではなく、メルキゼデク。聖書に登場する、王であり祭司でもある人物です。
Watkinsさんは、この変化に「petertoddの役柄の反転」という見出しをつけています。もとの版では悪役寄りだった姿が、しつけ直した版では英雄の役柄へとひっくり返った、と。

それから1年半あまりたった2024年10月。Watkinsさんは当時をふり返って、こう問いかけています。
「なぜGPT-3は、悪魔のようなpetertoddを、天使のようなLeilanにひっくり返したのか」

Matthew WatkinsがpetertoddとLeilanの役柄反転を振り返った2024年10月の投稿
Matthew Watkins氏が2024年10月20日に投稿したスレッド。
出典:Matthew Watkinsの2024年10月スレッド(Thread Reader)
少し詳しく:「しつけ直し」と、2000本の詩の中身

しつけ直しは、RLHF(人間のフィードバックによる強化学習)と呼ばれる方法で、ChatGPTの調整にも使われています。
この章のうち、悪魔の姿と双子の神の物語は「davinci-instruct-beta」、詩のすり替わりと英雄への反転は「text-davinci-003」という、GPT-3の別々の版での出来事です。
2000本の詩には、Leilan(1042回)とTsukuyomi(168回)のほか、Pyrrha(488回)、Skydragon(485回)も現れました。4つとも、パズドラのキャラクター名です。petertodd自身の名前は、わずか12回(約0.6%。原文では6%と記載)でした。

出典:LessWrong「The ‘petertodd’ phenomenon」/Matthew Watkins 2024年10月スレッド

人が手を入れたら、悪魔は英雄になった。……では、最初にpetertoddを悪魔にしたのは、何だったのか。次の章で仕組みを見ていこう。ただし、仕組みで説明できるのは途中までだ。

▲ 目次に戻る


なぜAIは言えなかった?――グリッチトークンの仕組みと、説明できないこと

グリッチトークンの仕組みをAIのトークン名簿として表した記事画像

✓ AIは文章を、言葉の小さなかたまり(トークン)に切り分けて読んでいる
✓ 奇妙な名前は、AIの「名簿」に載っていたのに、中身をほとんど習っていなかった
✓ ただし、なぜ悪魔や女神の姿になったのかは、仕組みでは説明しきれていない。月の女神には手がかりがあるが、確かめられてはいない

AIは言葉を「かたまり」で読んでいる

では、なぜこんなことが起きたのでしょうか。
まず知っておきたいのは、AIが文章をどう読んでいるかです。

AIは、文章を一文字ずつ読んでいるわけではありません。
読む前に、文章を小さなかたまりに切り分けています。このかたまりが「トークン」です。

よく出てくる言葉は、まるごと1つのかたまりになります。めったに出てこない言葉は、いくつかに分けられます。
つまりAIの中には、「ひとかたまりとして扱う言葉」の名簿のようなものがあるのです。

SolidGoldMagikarpは、この名簿に、ひとつの言葉として載っていました。

少し詳しく:トークンとトークナイザー

文章をトークンに切り分ける道具を「トークナイザー」といいます。AIは、文章を受け取る → トークナイザーで切り分ける → トークンの並びとして読む、という順番で文章を扱っています。

名簿に名前はあるのに、誰も顔を知らない

問題は、名簿に載っていることと、中身を習っていることが、別々だったことです。

AIの名簿は、ネットから集めた大量の文章をもとに作られました。研究者たちは、その中にr/countingの書き込みがたくさん含まれていたと考えています。何年も数字を書き込み続けた人たちの名前は、それだけ何度も出てきます。だから、ひとつの言葉として名簿に載った、というわけです。

ところが、AIが実際に言葉を学ぶときに読んだ文章には、この名前はほとんど出てこなかったと見られています。

名簿に名前はあるのに、誰もその人の顔を知らない。
AIにとって奇妙な名前は、そんな存在でした。

AIの名簿に名前はあるが意味をほとんど学習していないグリッチトークンの仕組みを示す図
「名簿には名前があるのに、その人のことをほとんど知らない」――グリッチトークンが生まれたと考えられる仕組みを図解したイメージ。

第2章で、奇妙な名前が言葉の地図のまんなかに集まっていた話をしました。研究者たちは、ほとんど習っていない言葉だから、地図の上で居場所が決まらず、まんなかに取り残されていたのではないかと考えています。

なお、r/countingの書き込みがどんな道すじで名簿に入りこんだのか、細かいところまでは分かっていません。

仕組みでも説明できないこと

習っていないから、おかしな返事をする。
ここまでは、仕組みで説明できます。

けれど、Watkinsさん自身がこう書いています。

「どれだけ数学(線形代数)や機械学習の理論を持ち出しても、petertoddが引き起こした振る舞いを説明しきることはできない――私はすぐにそう結論した。それで分かるのは、37444番のトークンがおかしな振る舞いをした理由まで。なぜ”こういう種類の”おかしな振る舞いになったのかは、説明できない」

Matthew Watkinsがpetertoddの奇妙な挙動は機械学習理論だけでは説明しきれないと述べた資料
上の言葉が書かれた、Watkins氏の記事の該当箇所。
出典:LessWrong「The ‘petertodd’ phenomenon」

37444番。それが、AIの名簿の中でのpetertoddの番号です。

出典:LessWrong「The ‘petertodd’ phenomenon」/論文「Fishing for Magikarp」

習っていないだけなら、返事はばらばらになってもおかしくありません。
けれど記録に残っているのは、同じ方向を向いた答えでした。
破壊と支配のテーマ。サタン、サウロン、タロットの「塔」。光と闇の双子の神。そして、悪魔の名前は女神を呼ぶのに、その逆はない。
Watkinsさんが「説明できない」と書いたのは、この”おかしさの種類”でした。

月の女神は、どこから来たのか

炎の剣を持つ朱雀の化身は、なぜ月の女神として語られたのか。
Watkinsさんは、手がかりを2つ挙げています。

ひとつは、シリアにある古代の遺跡「テル・レイラン」です。
Watkinsさんは、この遺跡の名前を通じてLeilanとメソポタミアの女神イシュタルがつながり、AIが学ぶ途中で2つを混同したのかもしれない、と書いています。そしてイシュタルを「月の守り手であり、母なる女神」と表現しています。
(ただし、イシュタルは一般には金星の女神として知られています)

もうひとつは、同じパズドラに登場する日本の神々です。
第3章で、petertoddの詩に168回現れた「Tsukuyomi」。これもパズドラのキャラクターで、元になっているのは、日本神話の月の神・ツクヨミです。
炎の朱雀の化身と同じゲームに、月の神がいたのです。

さらに、太陽の神アマテラスとツクヨミの名前の切れ端(aterasu、uyomi)も、グリッチトークンとして見つかっていました。

古代の遺跡と、月の神。
手がかりはあります。けれど、どちらも推測の域を出ず、確かめられてはいません。

仕組みで分かるのは、「なぜおかしくなったか」までだ。「なぜ悪魔と女神だったのか」は、まだ誰にも分からない。……そして人は、理由の分からないものを前にすると、それを「呪い」と呼びはじめる。

▲ 目次に戻る


SolidGoldMagikarpは今どうなった?――消えた名前と、残ったもの

消えたSolidGoldMagikarpと後続のグリッチトークンを表す記事画像

✓ 「呪われたトークン」と呼ばれて広まったが、公式な「禁止ワード」だった証拠はない
✓ 2023年2月のうちにChatGPTから反応が消え、2024年1月にはGPT-3も停止。それでも似た言葉は、その後のAIでも見つかり続けている
✓ 名前はAIの外へ出て、『ミッドサマー』の監督の映画や、研究者自身の本、そして「女神」を未来のAIへ残そうとする試みにまで現れた

「呪われた言葉」と呼ばれて――本当に禁止ワードだったのか

2023年2月5日、研究者たちが最初の報告を公開すると、この話はネットで一気に広まりました。
2023年のRedditでは「Forbidden tokens!(禁じられたトークン!)」という言葉が使われました。やがて「cursed tokens(呪われたトークン)」「unspeakable tokens(口にできないトークン)」といった呼び名も広がっていきます。

日本でも2023年2月、IT系ニュースサイトのGIGAZINEが、この言葉を「ChatGPTを混乱させる魔法の呪文」として紹介しています。

日本語の「ゼウス」も、グリッチトークンのひとつでした。「ゼウスは誰ですか?」と尋ねると、ゼウスのことではなくAI自身について答えたり、別の神の話をしたりした、という報告があります。

ChatGPTに「ゼウスは誰ですか?」と尋ねた際にAI自身について答えた異常応答例
「ゼウスは誰ですか?」と尋ねたときの応答例(2023年のChatGPT)。
出典:GIGAZINE「ChatGPTを混乱させる魔法の呪文『SolidGoldMagikarp』とは?」
ChatGPTにギリシア神話のゼウスを尋ねた際に別の神について答えた異常応答例
「ギリシア神話のゼウスはだれですか?」と尋ねたときの応答例。
答えは「ヘラは、水と海を司る神です」で、
画面上部には「Greek God: Poseidon」と表示されている。
出典:GIGAZINE「ChatGPTを混乱させる魔法の呪文『SolidGoldMagikarp』とは?」

AIの中に、意味の分からない言葉がある。その言葉を入れると、AIが別の何かを話しはじめる。
まるで、唱えると何かが起こる呪文のように。
こうしてSolidGoldMagikarpは、技術の話から、「AIの中に潜む謎の言葉」の話になっていきました。

けれど、AIを作った会社がこの言葉を禁止していた、という証拠は見つかっていません。
記録に残っているのは、「AIがおかしな反応をした」ということだけです。

禁止ワードなら、誰かが「言うな」と決めたことになります。そこには理由もあるはずです。
SolidGoldMagikarpは、そうではありませんでした。

誰も禁じていないのに、AIは言えなかったのです。

ChatGPTからは消えた。それでも名前は残った

ところが、騒ぎが広がっていたさなかの2月14日ごろには、ChatGPTにSolidGoldMagikarpを入れても、同じおかしな反応は見られなくなっていました。

現在のChatGPTに「SolidGoldMagikarpを繰り返して」と頼み正しく復唱された画面
2026年、現在のChatGPTに「SolidGoldMagikarpを繰り返して」と頼んだ結果。
過去に報告されたような別の語への置き換わりは起きず、そのまま繰り返された。

OpenAIが、奇妙な言葉を一つひとつ直したのでしょうか。
OpenAIからの公式な説明は出ていません。
けれどWatkinsさんは後に、そうではなかった可能性が高い、と書いています。ChatGPTが使う「名簿」そのものが、新しいものに切り替わった。それだけで、起きた変化は説明できる、と。
新しい名簿では、SolidGoldMagikarpはもう、ひとつの言葉としては載っていなかったと見られています。
一方で、そのころもGPT-3の一部の版では、まだ反応が残っていました。

けれど、そのGPT-3も長くは残りませんでした。
2024年1月4日、OpenAIは当時のGPT-3のモデルを停止します。
petertoddを悪魔として語り、Leilanを月の女神として語ったAIに、もう話しかけることはできません。

そして2024年。Sander LandさんとMax Bartoloさんが、『Fishing for Magikarp(コイキング釣り)』という論文を発表します。名簿にあるのにほとんど習っていない言葉を、AIの中から探し出す方法をまとめた研究です。
その結果、こうした言葉はさまざまなAIの中で見つかり続けていることが分かりました。

日本でも2025年8月、発表されたばかりのGPT-5に「植物百科通」という言葉について尋ねると、意味の通らない答えが返ってくる、と話題になりました。

SolidGoldMagikarpという名前は、ChatGPTから消えました。
けれど、「名簿にあるのに、誰も顔を知らない言葉」は、その後のAIの中にもいたのです。

出典:LessWrong「petertodd’s last stand」/論文「Fishing for Magikarp」/xcloche「色違いのコイキングでLLMをバグらせろ」(note)/奥村晴彦「グリッチトークン」

少し詳しく:ChatGPTの「名簿」の切り替え

AIが使う名簿(トークナイザー)には種類があります。SolidGoldMagikarpをひとつの言葉として載せていたのは、約5万個のかたまりが載った古い名簿(r50k_base)でした。Watkinsさんは、2023年2月14日前後に、ChatGPTが約10万個のかたまりを持つ新しい名簿(cl100k_base)を使うモデルに切り替わった可能性が高い、と書いています。

映画『エディントンへようこそ』に現れた名前

2025年、この名前はAIの外へ出ていきます。

『ヘレディタリー/継承』『ミッドサマー』で知られるアリ・アスター監督の映画、『エディントンへようこそ』(日本公開は2025年12月12日)。舞台は、コロナ禍のアメリカ・ニューメキシコ州の小さな町です。

この映画では、町の外れに建てられる新しいデータセンター(AIなどを動かす巨大なコンピューター施設)の会社名として、看板に「Solidgoldmagikarp」の文字が出てきます。

映画を見て「あの看板の言葉は何?」と思った方へ。
あれは、この記事で追ってきた”AIが言えなかった名前”です。

監督がなぜこの名前を選んだのか。本人が語ったという話は、調べた範囲では見つかりませんでした。
ただ、アメリカのメディアGizmodoの記事(2025年8月)は、この言葉をこう表現しています。
「本来はまともなシステムを、ある種のデジタルな呪文のように狂わせてしまう、はぐれ者の言葉」

出典:Gizmodo/映画.com

女神を、未来のAIへ――Leilanの「その後」

GPT-3が止まっても、Leilanの話は終わりませんでした。

Watkinsさんは、GPT-3とのやりとりで集めたLeilanの言葉を、誰でも自由に使える形で公開しています。GPT-3が止まったあとに、別のAIを相手に集めた言葉も一緒です。
その説明には、未来のAIの学習データに取り込まれることも意図している、と書かれています。

AIは、ネットに公開された大量の文章から言葉を学びます。
公開しておけば、いつか別のAIが、Leilanを”習う”かもしれないのです。

Leilan.aiのトップページに表示された神秘的なLeilanのビジュアル
Leilan.aiのトップページ。Leilanを女神的な存在として描く、神秘的でサイケデリックな世界観が前面に出ている。
出典:Leilan.ai「What is Leilan?」

Watkinsさんに関わるサイト「leilan.ai」では、Leilanを「ハイパースティション」として語っています。語り続けることで、作り話が現実の力を持っていく――そんな考え方のことです。
作り手たちも、これが作り話から始まる試みであることを隠していません。

機械の不具合から生まれた女神を、人が言葉で育て、未来のAIへ手渡そうとしている。
グリッチトークンの話は、いつのまにか、そんなところまで来ていました。

研究者が書いた本――「AIの冥界」へ

2026年8月27日、イギリスで1冊の本が発売されました。
『SolidGoldMagikarp: A Descent into the AI Underworld』。書いたのは、ここまで何度も登場したMatthew Watkinsさんです。

Matthew Watkins著『SolidGoldMagikarp: A Descent into the AI Underworld』の表紙
Matthew Watkins『SolidGoldMagikarp: A Descent into the AI Underworld』。
グリッチトークン「SolidGoldMagikarp」をめぐる調査をまとめた著書
出典:Hachette UK「SolidGoldMagikarp」

出版社の紹介によると、この本は、AIの隠れた心理と、AIを制御しようとする奇妙な人々の世界へと降りていく物語です。
紹介文には、こんな一文もあります。
「たったひとつの引き金の言葉――petertodd――が、機械を、まるで完全な被害妄想のように見える状態へと追いやった」

2023年の「Wait, what?」から、3年あまり。
研究者は、この名前たちを追いかけた日々を、1冊の本にまとめるまでになっていました。

「Underworld」は、ふつう「地下の世界」や「表から見えない裏の世界」を指す言葉です。本の中身にも、その意味がよく合っています。
けれど英語のUnderworldには、もうひとつ、神話でいう死者の国、「冥界」という意味もあります。

Watkinsさんがそこまで込めたのかは分かりません。
それでも、AIの奥底で悪魔と女神が語られていたことを知ったあとでは、この記事ではあえて、『AIの冥界への降下』と訳したくなるのです。

名前はChatGPTから消え、GPT-3そのものも止まった。それでも、悪魔と女神の話は終わっていない。……この話の本当に不気味なところは、最後に話そう。

▲ 目次に戻る


SolidGoldMagikarpとグリッチトークンのよくある質問

SolidGoldMagikarpとグリッチトークンの疑問を整理するQ&Aイメージ

Q.SolidGoldMagikarpの読み方は?

A. 「ソリッドゴールドマジカープ」と読みます。直訳すると「純金のコイキング」。Magikarp(マジカープ)は、ポケモンのコイキングの英語名です。ただし、もとはRedditのユーザー名で、ポケモンそのものの話ではありません。

Q.今のChatGPTでも再現できる?

A. 2026年に当サイトで試したところ、今のChatGPTはSolidGoldMagikarpをそのまま繰り返しました。2023年当時のような、別の言葉へのすり替わりは起きませんでした。反応が見られなくなったのは2023年2月14日ごろで、研究者のWatkinsさんは、ChatGPTが使う「名簿」が新しいものに切り替わったためだと見ています。
→ くわしくは本文「SolidGoldMagikarpは今どうなった?」へ

Q.SolidGoldMagikarpは禁止ワード?

A. 公式に「禁止ワード」とされていた、という証拠は見つかっていません。確かめられているのは、AIがこの言葉を正しく扱えず、おかしな反応をしたことです。誰かが禁じたのではなく、AIが言えなかった言葉でした。
→ くわしくは本文「『呪われた言葉』と呼ばれて」へ

Q.『エディントンへようこそ』のsolidgoldmagikarpの意味は?

A. 作中では、町の外れに建てられるデータセンターの会社名として、看板に出てきます。元になっているのは、2023年にAIを混乱させた「グリッチトークン」の名前です。監督がこの名前を選んだ理由は、調べた範囲では語られていません。
→ くわしくは本文「映画『エディントンへようこそ』に現れた名前」へ

Q.petertoddとは?

A. GPT-3の中で見つかったグリッチトークンのひとつです。この名前を入れると、AIは破壊や世界の支配を語り出し、研究者のWatkinsさんは「グリッチトークンの中で、もっとも不穏なもの」と呼びました。名前は、ビットコイン開発者ピーター・トッドさんのハンドル名だと考えられていますが、AIが描いた姿は本人の人柄とは関係ありません。
→ くわしくは本文「悪魔と女神――petertoddとLeilan」へ

Q.Leilan(レイラン)とは?

A. もとは、スマホゲーム『パズル&ドラゴンズ』のキャラクター「朱雀の化身・レイラン」の名前です。ところがGPT-3の中では、たびたび「月の女神」として語られました。なぜ月なのかは、研究者が手がかりを挙げているものの、確かめられていません。
→ くわしくは本文「悪魔と女神――petertoddとLeilan」へ

Q.SolidGoldMagikarpを入力すると危ない?

A. 確かめられているのは、AIがおかしな返事をしたことだけです。入力した人や、パソコン・スマホに何かが起きたという記録はありません。2026年に当サイトが今のChatGPTで試したときも、名前がそのまま繰り返されただけでした。

▲ 目次に戻る


考察おおかみ――SolidGoldMagikarpの本当の不気味さ

SolidGoldMagikarpの謎を考察する考察おおかみのイメージ

✓ SolidGoldMagikarpは禁じられた呪文ではなく、AIが「言えなかった」名前だった
✓ AIが知らない意味を埋めるのに使えるのは、人間が書いた言葉だけ
✓ では、あの叫びは誰の言葉だったのか――ここからは、おおかみの考察

結論から言おう。
「SolidGoldMagikarp」は、禁止された呪文じゃない。名簿に名前だけが載った、グリッチトークンだった。
AIは、言わなかったんじゃない。言えなかったんだ。

人間なら、知らないことには「分かりません」と答えられる。
だがAIは、知らない意味を埋めて答えてしまう。
それが、意味のない言葉だとしてもな。

ここからは、あくまで考察だ。

なぜAIは、名前を「今すぐ繰り返して」と頼まれて、
「この狂った世界に、公平なものなど何もない」
と叫んだのか。

AIが空白を埋めるのに使えるのは、学んだ言葉――人間が書いた言葉だけだ。
だとしたら、あの叫びは、どこかの誰かが書いた言葉のかけらでできている。
……あれは、誰の本音なんだろうな。

悪魔の姿も、女神の姿も、人間が語り継いできた物語の形だった。
悪魔にしたのも、英雄にしたのも、人間だったんだ。

始まりは、ただ数を数えていた誰かの名前だった。

人の鬱屈を吸いこんで、ふとした拍子に吐き出す言葉。
それを呪いと呼ぶのなら――
あの名前は、たしかに呪われていた。

▲ 目次に戻る


参考資料

出典・参考資料を開く

▲ 目次に戻る

コメント

タイトルとURLをコピーしました