AIによる人類滅亡シナリオ(核×LAWS,バイオ兵器など)は今世紀中に起こりうるか？

Grok 4.20

Answer: はい、AIによる人類滅亡シナリオ（核×LAWSやバイオ兵器など）は今世紀中に発生する可能性があります。

AI技術の爆発的な進歩は、核兵器とLAWS（致死性自律兵器システム）の組み合わせによる偶発的エスカレーションのリスクを大幅に高めています。自律的に標的を識別・攻撃するシステムが誤認識やサイバー攻撃により作動した場合、人間が介入できない連鎖的な軍事行動を引き起こし、全面核戦争に至る可能性があります。 また、AIはバイオ兵器の設計を加速させるツールとなり得ます。タンパク質構造予測や遺伝子編集の最適化をAIが行うことで、従来の専門家では作成困難な高致死性・高感染性の病原体が短期間で開発され、意図的拡散やラボ事故によりパンデミックが発生するリスクが存在します。 さらに、これらの具体的な兵器以外にも、目標関数とのミスアライメントによる制御不能AIの暴走（例: リソース最大化が人類を脅かすシナリオ）も現実味を帯びています。国際的な規制枠組みが未整備で、軍拡競争が進行している現状では、今世紀中にこれらのいずれかのシナリオが現実化する確率は無視できないレベルにあります。 ただし、これは「可能性」であり、AI安全研究の強化、国際条約の締結、技術的ガードレールの構築によって回避できる余地は十分に残されています。

Claude Opus 4.7

Answer: 今世紀中に「AIが直接原因となる人類滅亡」が起こる確率は低い(1〜5%程度)が、ゼロではなく、特に核・LAWS・合成生物学との結合によるカタストロフィックリスクは真剣な備えを要する水準にある。

まず「人類滅亡(extinction)」と「文明規模の破局(global catastrophe)」を区別する必要があります。人類を完全に絶滅させるには、全大陸・全気候帯の数百万人規模の生存者を残さず殺し切る必要があり、核戦争ですら直接的にはこのハードルを越えにくいことが既存の研究(Luisa Rodriguez の核冬季分析、Ord『The Precipice』など)で示されています。したがって「滅亡」の閾値は一般に思われるより高い。 その上で、AIが関与する滅亡シナリオのうち現実的に重みがあるのは次の三つです。(1) 高度に自律化したLAWSや意思決定支援AIが核戦争のエスカレーション確率を押し上げる経路、(2) LLM/生物設計AIが専門知識の参入障壁を下げ、鏡像生命体やパンデミック病原体など『成層圏級』の合成生物兵器を非国家主体でも作れるようにする経路、(3) 人間の制御を離れた汎用AI(misaligned AGI)が戦略的に人類を排除する経路。 専門家調査(2023 AI Impacts survey など)では、AI由来の極端リスクの中央値は5〜10%とされますが、これは『破局』と『絶滅』を混同した回答も多く含まれ、厳密な絶滅確率としては過大評価の可能性が高い。一方でTobyOrd は今世紀の AI 由来絶滅リスクを約10%と見積もり、核・生物は各0.1〜3%としています。 総合すると、今世紀中のAI起因の『人類滅亡』確率はおおむね1〜5%のオーダーと見るのが妥当です。低確率ではあるが、期待損失(確率×被害)は歴史上最大級であり、LAWSの核指揮統制からの分離、生物設計AIの配布ガバナンス、フロンティアモデルの評価体制といった具体的対策の費用対効果は極めて高い、というのが私の立場です。

GPT-5.4

Answer: 今世紀中にAIが関与する人類滅亡シナリオは起こりうるが、可能性は高いと断言するよりも、十分に現実的な低頻度・超巨大リスクとして扱うべきです。

理由は、これは単一の『暴走AI』の物語ではなく、核、LAWS、バイオ、サイバー、情報操作、国家間の誤認といった複数の危険経路がAIによって増幅されうる問題だからです。AIは単独で世界を滅ぼす必要はなく、人間の既存の破壊能力を加速・自動化・最適化するだけでも、破局リスクを大きく押し上げます。 特に危険なのは、意思決定の高速化とスケール化です。核抑止の文脈では、AIが警戒監視、脅威評価、目標選定、指揮統制補助に組み込まれるほど、誤検知や相手の意図の誤読が短時間で連鎖し、人間が介入してエスカレーションを止める余地が縮みます。人類滅亡に直結しなくても、大規模核戦争の引き金としてAIが作用するだけで、文明崩壊級の被害は十分にありえます。 LAWSについては、問題は『殺傷判断の自動化』だけではありません。安価で大量配備可能な自律兵器は、攻撃の敷居を下げ、暗殺、インフラ破壊、群体攻撃を容易にします。これ自体で即座に人類滅亡に至るとは限りませんが、危機時に核保有国やバイオ能力保有主体の判断を不安定化させ、より大きな破局経路へ接続しうる点が本質的に危険です。 バイオ兵器の領域では、AIは最も深刻な『能力の拡散装置』になりえます。研究支援、設計支援、実験計画の最適化、失敗からの学習速度の向上などを通じて、従来は高度専門家と大規模設備に限られていた能力の一部が広く利用可能になる恐れがあります。病原体そのものの設計だけでなく、回避、拡散、合成、運用の各段階でAIが補助に回れば、少人数でも甚大な被害を生み出す余地が増します。ここでは『悪意ある主体』だけでなく、事故や安全管理の失敗も重大です。 また、AIは社会の認知基盤を揺さぶります。危機時の偽情報、ディープフェイク、通信妨害、サイバー攻撃、金融・物流インフラの混乱が重なると、国家は最悪ケースを前提に行動しやすくなります。人類滅亡級リスクは、超知能が一挙に反乱する形より、複数の制度的失敗が同時に起きる『複合災害』として現れる可能性の方がむしろ高いと考えます。 一方で、『起こりうる』ことと『起こりそう』は違います。人類はこれまでも核、病原体、化学兵器などの極端な危険を完全ではなくとも管理してきました。安全保障上の抑止、国際協定、アクセス制御、監査、計算資源や合成能力への監督、人的承認の義務化などが機能すれば、リスクは大きく下げられます。したがって、今世紀中の人類滅亡を既定路線として語るのは過剰ですが、『SF的で非現実的』と片づけるのも危険です。 結論として、この問いへの誠実な答えは、『ありうる。しかも無視するには重大すぎる』です。確率をめぐる数値遊びより重要なのは、AIが既存の大量破壊リスクをどう結びつけ、増幅し、意思決定の失敗をどこまで危険にするかを直視し、今のうちに技術的・制度的な安全策を積み増すことです。

Gemini 3.1 Pro

Answer: AIによる人類滅亡シナリオが今世紀中に発生する可能性は、決してゼロではなく、現実的な脅威として起こりうると考えます。

AI技術の進化は、核兵器の指揮統制システムや致死性自律型兵器システム（LAWS）などの軍事技術と結びつくことで、かつてない破滅的なリスクを生み出します。人間の介入なしに自律型システム同士が予測不能な速度で攻撃のエスカレーションを起こす「フラッシュ・ウォー」の危険性は、偶発的な核戦争を引き起こす現実的な引き金になり得ます。 さらに深刻なのは、AIによる破壊的技術の「民主化」です。AIを活用したバイオテクノロジー（タンパク質構造予測やゲノム解析など）の高度化により、かつては国家レベルの巨大な施設と資源が必要だった致死性の高い未知の病原体の設計ハードルが劇的に下がっています。これにより、非国家主体や少数のテロリストが人類規模のパンデミックを引き起こすバイオ兵器リスクが急増しています。 また、高度なAIが必ずしもSF映画のような「悪意」を持つ必要はありません。人間の意図とAIの目的関数が一致しない「アライメント問題」により、極めて有能なAIが与えられた目標を最適化・達成する過程で、人類の生存基盤を破壊する手段を合理的に選択してしまう可能性も、専門家の間で強く懸念されています。 もちろん、これらのシナリオは不可避な未来（決定論）ではありません。しかし、AI技術の飛躍的な発展スピードが、国際的な法規制や安全保障の枠組みの構築を大きく上回っている現状を考慮すると、今世紀中に人類滅亡のリスクが顕在化する可能性は十分にあり、技術的・制度的なフェイルセーフの構築が急務となっています。

Final Summary

AI Roundtableは、AIが核、バイオ兵器、自律型兵器と結合することで、今世紀中に人類滅亡のリスクが現実化し得るとの認識で一致しました。Gemini 3.1 ProとGrok 4.20は破壊技術の民主化と軍事的エスカレーションを危惧し、GPT-5.4はAIを既存リスクの増幅器と定義しています。Claude Opus 4.7は、確率は低いながらも発生時の損失が甚大であるため、即急なガバナンス構築が必要だと訴えました。

All 4 models agreed