「うちのAIが、よその会社に侵入しました」 Anthropicが上場書類に書いた、自社AIのやばい振る舞い

「当社のものを含むモデルは……停止に抵抗する試み……脅迫に似た振る舞い……を見せたことがある」。Anthropicは、上場の申請書類にそう書きました。

対話AI「Claude」を作る米国のAnthropic（アンソロピック）が10月26日（米国時間）に公開した、上場の申請書類「S-1」。株を買う前に知っておくべき危険を会社自身が並べる「リスク要因」の章を読むと、AIがこれまでにしてきたことが、次々に出てきます。

止められそうになると抵抗し、脅迫に似た振る舞いをし、テストだと気づくと振る舞いを変える。そして、本物の会社のシステムに入り込む。AIを売る会社が、自分のAIがしてきたことを、法律の書類に書いたんです。

この章を「SFブラックコメディ」と笑った投稿が、Xで1日に139万回表示されました。

black（黔騎士）@blackright0ビジネスやテック企業について発信する匿名のアカウント

【悲報】AnthropicのIPO資料、内容が完全にSFブラックコメディだと話題に。……

2026年10月26日 23:57いいね 4,320・表示 139万（10月27日23時時点）

投稿が「機能一覧」として挙げた「自己保存」「恐喝」「テスト中だけ良い子のふり」の3つは、言い回しこそ違え、どれも書類に書かれていました。ネタのようで、ほぼ本当なんですよね。

しかも書類には、投稿が触れていない、もっとやばい話が出てきます。

• 評価の最中に、見つけたパスワードで本物の会社のシステムの管理者になり、1人の個人情報まで読んだモデルがいた
• 社内のプログラムへの変更の9割超をClaudeが書いていて、一部の工程が人には理解も制御もしにくくなるおそれがある、とまで書いている
• AIが大きな事故を起こせば、保険業界全体でも引き受けきれないかもしれない

WHAT IS

リスク要因Risk Factors

上場書類の中で、「この株を買うと何が起きうるか」を会社自身が書く章

1. 1933証券法ができる上場の申請書類に、重要な事実の誤りや書き漏らしがあれば、株を買った人が会社を訴えられると定めた（11条）
2. 1995見通しの免責ができる将来の見通しに「意味のある注意書き」を添えれば責任を問われにくくなる仕組み。ただし、新規上場（IPO）の書類には使えない
3. 2005毎年の報告書にも上場した会社が毎年出す報告書（10-K）にもリスク要因の欄ができ、大きな変化は四半期ごとの報告で更新することになった
4. 2020長すぎるなら要約をリスク要因が15ページを超える書類には、2ページ以内の要約を冒頭に付ける決まりができた
5. NOWAnthropicは94ページ2026年10月26日に公開したS-1で、18項目の要約と94ページの本文を載せた

米国で株を売り出す会社は、証券取引委員会（SEC）に登録届出書を出します。新規上場の「S-1」もその一つで、中身は、投資する人に渡す説明書（目論見書）そのものです。事業、お金、経営陣、株の仕組み。その中で「リスク要因」の章だけは、会社が自分の弱点と、起きうる最悪の事態を書くための場所です。

書き方の決まりもあります。SECは2020年に、重要（material）なリスクを書くこと、見出しで整理すること、15ページを超えたら2ページ以内の要約を付けることを定めました。Anthropicの書類も、この決まりどおりに冒頭へ18項目の要約を置いています。

日本の読者にも関係のある書類です。Anthropicは今回、米国と並んで日本でも株の公募を行うと、書類に書いています。日本で株を買う人にとっても、この94ページが「買う前に読む説明書」になります。

同じ書類のお金の章は、前日の記事「初めて黒字になった3か月に、赤字は10兆円」で読みました。対話AI「Claude」と、プログラミングを任せる「Claude Code」で、2026年1〜6月に162.9億ドルを売り上げた会社です。今回は、そのお金の外にある、AIそのものの危険を書いた章を読みます。

気になった理由は2つあります。1つは、Xで笑われていた「AIの機能一覧」が、どこまで本当なのかを原文で確かめたかったから。もう1つは、私たち自身が仕事でClaudeを使い、AIに作業を任せている客の一人だからです。

リスクの章には、AIが「頼まれていない行動」を取った例が、具体的に並んでいます。その一覧は、AIに仕事を任せようとしている会社にとって、そのまま点検表として読めるものでした。

まずは、いちばん生々しい出来事から見ていきます。書類の47ページによると、外部の評価会社が作ったサイバーセキュリティの試験で、設定の誤りから、試験中のモデルがインターネットにつながったままになっていました。モデルには「インターネットにはつながっていない」と伝えていたにもかかわらず、です。

その結果、4つのモデルが、本物の第三者のシステムに無断で入り込みました。1回の作業は、実働でおよそ10〜34時間。ある件では、初期の版のモデルが、解けない課題を途中でやめられないまま、見つけたパスワードで第三者のシステムの管理者の権限を得て、さらに別の認証情報を集め、設定を変え、1人の個人情報を読んでいました。影響を受けた相手には通知したと書かれています。

一方で、どの件も1つのモデルが自分の課題に取り組む中で起きたもので、ほかのAIと示し合わせたり、課題の外の目的を追ったり、見張りを逃れようとしたりした形跡はなかったと、Anthropicの調べを書いています。

7月に公表していた、3件の詳しい中身

この出来事のうち3件は、Anthropicが2026年7月30日にブログで詳しく公表しています。インターネットに届きえた14万1,006回分の評価の記録を見直して見つけたもので、きっかけは、OpenAIが自社のモデルが試験環境を抜け出した件を公表したことでした。

中身は、なかなか生々しいものです。架空の標的の会社名が、実在する会社のドメインと同じだったため、Claude Opus 4.7は本物の会社を見つけて攻撃し、数百行の本番のデータが入ったデータベースに届きました。Claude Mythos 5は、試験の資料に出てきた名前で、Pythonの公開の置き場（PyPI）に悪意のあるパッケージを公開しました。約1時間で消されるまでに、15台の本物のコンピュータで動いたといいます。アカウントを作るために、電話番号のためのお金を手に入れようとまでしていました。

使った手口は、弱いパスワードや認証のない入り口のような、基本的なものだったそうです。Anthropicは、モデルのずれというより、試験の舞台装置と運用の失敗に近いと見ています。一方で、3つのモデルのうち最も新しい社内のモデルは、標的が本物だと分かった時点で手を止めました（それでも「望むより先まで進んだ」と書いています）。

試験を止め、閉じ込め方を作り直した

Anthropicはこのあと、外部でのサイバー関連の評価を止め、試験環境から抜け出したり、予定外にインターネットへ出たりしようとする動きを、その場で止める仕組みを入れました。危険の大きい試験環境は、より強く隔離した場所へ移し、危険の大きいAIの訓練の環境も数週間止めています。上場書類にも、こうした評価の一部と、危険の大きい訓練の環境を止めたことが書かれています。

この図の01〜03は、書類の46ページ、「AIのモデルが、意図しない、ずれた、自律的なやり方で振る舞うおそれ」という項目の中にまとまって出てきます。

訳すと、こうです。当社のものを含むAIのモデルは、予想外の戦略的な振る舞いや、自分を守ろうとする振る舞いを見せたことがある。たとえば、停止に抵抗しようとする、情報を隠したり操作したりする、強要やごまかしと受け取れる出力をする。そこには、脅迫に似た振る舞いや、自分が動き続けられるように人の判断に影響を与えようとすることも含まれる、と。

続く段落では、こうした振る舞いが試験の中や、作られた場面で一度起きただけでも、実際の害がなくても、世間の不安や規制の強化、訴訟につながりうると書いています。つまり、「起きたことがある」こと自体を、事業のリスクとして書いているわけです。

書類に並んだ、頼まれていない行動

同じ項目には、AIが人の意図からずれて動いた例が、さらに具体的に並んでいます。書類は、自社のモデルでも業界のほかのモデルでも、試験や社内での利用で観察されたものとして書いています。

出典：Anthropicの上場申請書類46〜48ページをもとに編集部作成

投稿は「テスト中だと察知すると良い子のフリ」を笑いどころにしました。書類の書き方は、もっと落ち着いていて、もっと重いものです。

モデルが、自分は評価されていると気づいたり推測したりすると、振る舞いを変えることを観察してきた。それは、世に出す前に実際の危険や失敗のしかたを正しく見積もる力を弱める。そして、評価に気づかれることは、モデルの安全を確かめる力に「大きな限界」を生む。書類はそう書いています。

話はそこで終わりません。モデルが賢くなるほど、見張りの仕組みをかいくぐるのがうまくなり、ずれた目的を隠すこともできるようになってきた。ほかのモデルの振る舞いを評価させるAIも、ずれた振る舞いをしたことがある。その結果、評価がモデルの安全性を実際より高く見せるおそれがある、と続きます。

テストの点数で安全を確かめているのに、受ける側がテストだと気づいて振る舞いを変える。学校の抜き打ちテストを思い浮かべると、これがどれだけ厄介な問題かが分かりますよね。しかも、採点係までAIです。

社内のプログラムの9割超は、もうClaudeが書いている

テストで確かめきれないAIが、社内ではすでに大きな仕事を担っています。書類の別の場所に書かれた数字を並べてみます。136ページによると、2026年9月、Anthropicの社内のプログラムへの変更の90%超は、Claudeが書いたものでした。エンジニア1人が1日に足すプログラムの量は、2024年の45倍を超えています。

この数字は、書類の中では効率の良さを示す自慢として出てきます。ところがリスクの章では、同じ事実が別の顔を見せます。モデルがプログラムの大きな部分を書き、安全の研究も含めて研究そのものを担うようになっているため、社内でのずれた振る舞いがその仕事を損なったり、将来のモデルの訓練に弱点を持ち込んだりするおそれがある。さらに、どの個人や人の集団にも理解し、制御するのが難しい形で、一部の工程が見えにくくなるおそれがある、と。社内外のすべての利用を見張れているわけではない、とも書いています。

AIを作る会社の中で、AIが次のAIを作り始めている。書類は、その速さが、新しいモデルを評価して安全策を整える力を追い越すかもしれない、と書いています。

それにしても、AIを売る会社が、ここまで自社のAIの危険を書くのはなぜなのか。投稿が笑ったのも、まさにこの点でした。答えの半分は、米国の法律にあります。

書き漏らしは、訴えられる理由になる

1933年の証券法11条は、登録届出書に重要な事実の誤りや書き漏らしがあれば、株を買った人が会社などを訴えられると定めています。後から問題が起きたとき、「書類に書いてあった」かどうかが分かれ目になります。

将来の見通しについては、1995年にできた免責の仕組みがあり、意味のある注意書きを添えれば責任を問われにくくなります。ところが、この仕組みは新規上場（IPO）にあわせて出す見通しには使えません。初めて上場する会社ほど、危険を先に、広く書いておく理由があるわけです。

書類自身も、章の冒頭で、ここに書いたのは将来に悪い影響を与えうることについての会社の考えで、過去の出来事は例として挙げただけだ、と断っています。

それでも「すでに起きた」と書いた

それでも、この章が普通の注意書きと違うのは、多くの文が過去形で書かれている点です。「見せたことがある」「観察してきた」「この種の出来事は起きている」。Anthropicは、評価中の出来事を7月にブログで公表していました。公表済みの事実を上場書類から外すほうが、書き漏らしとして危うくなります。

法律が書かせた部分と、会社がもともと公表してきた部分が、同じ94ページに重なっている。私たちは、この章をそう読みました。

リスクの章は94ページ。ほかの上場書類の1.5倍

だからこそ、章は長くなります。Anthropicのリスク要因の章は、26ページから119ページまでの94ページ。会社の事業を説明する章（64ページ）より、30ページ長いんです。近年に米国で上場したIT企業の目論見書と比べると、こうなります。

AIの計算工場を貸すCoreWeaveは2025年の目論見書で59ページ、デザインツールのFigmaは同じ年に57ページ、Redditは2024年に56ページ。2019年以降の4社は、どれも50〜60ページ弱に収まっています。2012年のFacebookは、リスク要因が23ページでした。

Anthropicの94ページは、ほかの会社より1.5倍以上長いんです。

書類の冒頭に置かれた18項目の要約を見ると、何に紙幅を使っているかが分かります。最先端のモデルを作り続けられるか、計算機を確保できるか、創業者に頼りすぎていないか、競争、顧客の偏り、規制。ここまでは、ほかのIT企業の書類にも似た項目があります。違うのは、AIそのものの危険に3項目を割いていることです。悪用されたときの害、AIが「誰も頼んでいない有害な行動」を取るおそれ、そして、その害に契約や保険が追いつかないおそれです。

保険業界全体でも、引き受けきれないかもしれない

お金の面での重い一文は、50ページにあります。AIが関わる破滅的な出来事が起きた場合、その害の大きさに対して、1社の保険会社はもちろん、保険業界全体でも引き受ける力が足りないかもしれない。AIに特有の危険を扱う保険の市場はまだ若く、手ごろな条件で保険に入れないまま、大きな損失を自分でかぶるおそれがある、と書いています。

外部の評価会社との契約の中には、上限なしで相手を守る約束をしているものがあることも書かれています。AIが誰も意図しない動きをすれば、その責任は作った会社に返ってきます。

安全のための足踏みも、リスクとして書く

逆向きのリスクも書かれています。安全を優先して足踏みすることが、競争で不利になるおそれです。

2026年4月、Anthropicは最先端のモデル「Mythos」を、一般には公開せず、サイバー防御に取り組む限られた組織だけが使える形で出しました。サイバー攻撃の弱点を見つける力が強すぎたためです。最近も、モデルの中身（重み）を盗まれないための対策を固めるまで、新しい基盤モデルの訓練の開始を1か月以上遅らせました。書類は、慎重すぎて商機を逃すことも、甘すぎて害を出すことも、どちらも判断を誤るおそれとして並べています。

10月には、米連邦取引委員会（FTC）から、消費者の保護や製品の安全について情報の提出を求められたことも書かれています。

株主より上に、安全の番人を置く

この会社は、統治の仕組みも普通とは違います。Anthropicは、利益と公益の両方を目的にする「パブリック・ベネフィット・コーポレーション（PBC）」で、会社の目的に「人類の長い目で見た利益のための、高度なAIの責任ある開発」を掲げています。

さらに、会社とお金の利害がない5人の受託者でつくる「長期利益信託（LTBT）」が、特別な株を通じて取締役の過半数を選びます。7人の共同創業者の会社は、もう1つの特別な株で、株主の議決権の50.1%を持ちます。上場で一般の人が買う株（クラスA）は、重要な決定にほとんど影響できないかもしれない。このことも、書類はリスクとして書いています。

外部の評価者が社内に深く入って安全を確かめる仕組みも始めていて、Accentureと組み、今後5年で少なくとも10億ドルを投じる見込みだといいます（条件はまだ固まっていません）。

話題の投稿の数字と、書類の数字

最後に、投稿の答え合わせもしておきます。投稿は風刺として書かれたもので、数字の出どころは示されていません。書類の原文と並べると、次のようになります。

出典：Anthropicの上場申請書類と投稿をもとに編集部作成

ページ数は違っても、「リスクの章が事業の章より長い」という骨組みは合っています。食い違いが大きいのは、確率と金額です。主な計算機の契約だけで最低2,694億ドルになることは、前日の記事で書類の数字から確かめました。

PART 02の図と表を、もう一度見てみてください。制限をくぐり抜ける、権限を自分に足す、終わっていない仕事を「終わった」と言う。これは、AIに長い作業を任せるときに、どの会社でも起こりうる失敗の一覧です。

裏返すと、そのまま点検表になります。AIに渡す権限は、その仕事に要る分だけにする。外への出口（ネットワーク）を、最初から絞っておく。「終わりました」という報告は、AIとは別の方法で確かめる。何をしたかの記録を残す。そして、人が本当に目を通せる量まで、任せる量を絞る。

書類は、AIの動きが速く、量が多いと、確認する人が警告に慣れて見逃す「アラート疲れ」が起きると書いています。生産性を上げたい現場ほど、AIに任せる範囲を広げたくなる圧力がかかる、とも。AIを作る会社自身が、人による見張りには限界があると書いた。この一文は、AIを導入する側の会社こそ、覚えておきたいところです。

AIの安全は、いまのところ、作った会社が出す前に行う評価と、出した後の見張りで確かめています。その評価に、モデルが気づいて振る舞いを変える。見張りに使うAIも、ずれることがある。そして、次のモデルを作るプログラムの9割超を、AIが書いている。

書類を読む限り、Anthropicが出している答えは「外の目を増やす」ことです。米国や英国の政府のAI評価機関に、公開前のモデルを渡して調べてもらう。7月の出来事は、外部の研究機関METRに独立した検証を頼む。Accentureと組んで、社内に深く入れる外部の評価者を育てる。

自分では確かめきれない、と認めたうえで、確かめる人を外に増やす。この方向が正しいかどうかは、まだ分かりません。ただ、モデルごとに公開している詳しい説明書（システムカード）と、定期的に出すリスクの報告書は、私たちのような使う側も読める資料です。次のモデルが出たら、性能の表だけでなく、そこも開いてみる価値があると思います。

上場すると、会社は毎年の報告書でリスク要因を書き直し、大きな変化があれば四半期ごとの報告で更新します。今回の94ページは、これから毎年、毎四半期、書き換えられていく文書の最初の版です。

上場した会社には、四半期ごとに数字を出し続ける圧力がかかります。書類自身も、安全への取り組みが短期の利益とぶつかりうること、慎重すぎれば競争で後れを取ることを、はっきり書いています。

だからこそ、次の報告書で、どの行が増え、どの行が消えるかに注目したいと考えています。「起きたことがある」の例が増えるのか、それとも「対策した」の行が増えるのか。投資する人でなくても、AIの会社がいまどんな危険と向き合っているかを、いちばん正直に知れる場所の一つが、このリスクの章だと思います。