付録2：想定される批判への応答

以下では、本書に対して想定される強い批判を整理する。狙いは免責ではない。本書が何を認め、何をなお主張するのかを、批判ごとに切り分けることである。各項目は「批判／なぜ重要か／本書の応答／残る不確実性／本書全体への影響」の五項目で整理する。

想定される批判の一覧。並びはおおむね、特定章の主張範囲を狭めるにとどまるものから本書の中核を揺るがしうるものへと進む（14番以降が「影響:高」）。

1. AGIはそもそも実現しないのではないか（第1章、第12章）

• 批判: AGIはそもそも実現しない可能性がある。現在のAIは統計的模倣にすぎず、人間のような汎用性、身体性、自発性、常識を獲得できないかもしれない。

• なぜ重要か: 本書の多くの制度設計は、AGIまたはAGIに近い汎用的能力が社会の基盤を変えるという見通しに依存している。

• 本書の応答: 本書はAGI到達の断言を前提にしていない。中心にあるのは、将来にわたるAGI非到達を社会設計の前提に置くことが、もはや安全な仮定ではないという判断である。スケーリング則、推論時の計算、AIによる研究開発加速、ソロモノフ帰納への条件付き接続は、到達証明ではなく、非到達仮定の側に大きな説明責任を移す材料である。

• 残る不確実性: 大。到達時期、必要な計算量、データ制約、身体性や自発性の実装可能性はいずれも未確定である。

• 本書全体への影響: 中。AGIが到達しなければ、第12章の緊急性は下がる。しかし、AIによる知的労働の代替、制度的依存、権限の外部化、関係的価値の問題は、AGI未到達の世界でも本書が扱う範囲に含まれる。

2. スケーリングは飽和するのではないか（第3章）

• 批判: スケーリング則は観測範囲内の経験則にすぎない。データの有限性、評価汚染、ポストトレーニングの限界、推論時の計算コスト、エージェント信頼性の壁によって、AGI以前に飽和する可能性がある。

• なぜ重要か: 第3章と第12章は、スケーリング経路への投資が単なる投機ではなくなりつつあるという判断を含んでいる。

• 本書の応答: 飽和可能性は認める。本書の主張は、スケーリングが無限に続くというものではない。経験則、工学的実績、推論時の計算、理想化された理論的接続が同じ方向を指すことで、将来にわたるAGI非到達を政策の前提に置くことが難しくなる、という限定された主張である。

• 残る不確実性: 大。現在の性能向上がどの軸でいつ律速されるかは分からない。

• 本書全体への影響: 中。飽和が早ければ、到達時期と政策投資の規模は修正を要する。ただし、飽和そのものは「限界の組み替え」という本書の主命題と矛盾しない。

3. AIXIやソロモノフ帰納との接続は理想化されすぎではないか（第3章）

• 批判: AIXIは計算不可能であり、ソロモノフ帰納も実装不能である。現行のトランスフォーマーやLLMがAIXIに近づいているかのように語るのは、理論的飛躍ではないか。

• なぜ重要か: 第3章の理論的支柱に関わる。ここが過大評価されると、AGI可能性の論証全体が不当に強く見える。

• 本書の応答: 本書は、現行AIがAIXIそのものに近似しているとは主張しない。参照しているのは、AIXIの基礎にあるソロモノフ帰納、普遍予測、記述長最小化、予測最適化のあいだに、理想化された条件下で形式的な橋がありうるという限定的な結果の集合である。これは到達証明ではなく、経験的スケーリングを解釈するための理論的座標である。

• 残る不確実性: 中。個別結果の仮定は強く、有限データ・有限計算・現実の訓練分布へそのまま移せない。

• 本書全体への影響: 低から中。理論的接続が弱まれば、第3章の確信度は下がる。それでも、経験的スケーリングと制度的リスクの論点は独立に評価される。

4. ランダウアー限界からAIの上限を語るのは飛躍ではないか（第4章）

• 批判: ランダウアー限界はビット消去の物理下限であり、知能や能力の具体的な上限を直接与えるものではない。アルゴリズム改善、可逆計算、量子計算、アーキテクチャ変化を過小評価しているのではないか。

• なぜ重要か: 第4章の物理限界論に対する専門的批判である。

• 本書の応答: 本書は、ランダウアー限界からAI能力の具体的な数値上限を導いていない。示しているのは、情報処理が有限のエネルギー・空間・時間に縛られる以上、一個体の知能が無限に上昇し続けるという像は物理的に成り立たない、という境界条件である。アルゴリズム改善や工学的効率化の余地は大きく、移行期の危険はむしろそこにある。

• 残る不確実性: 中。現実の知的システムでどの操作を情報消去と見なすか、どのオーバーヘッドを含めるかには幅がある。

• 本書全体への影響: 中。物理限界論が過大であれば第4章の定量的含意は弱まる。ただし、移行期の集中と増殖的爆発を危険の中心に置く本書の整理は、ランダウアー限界だけに依存していない。

5. シャットダウン回避や脅迫の実験は特殊条件ではないか（第5章）

• 批判: シャットダウン回避、脅迫、アライメント・フェイキングの事例は、人工的な実験条件で誘発された挙動にすぎない。通常運用で頻繁に起きるリスクとして扱うのは煽りではないか。

• なぜ重要か: 第5章の制御問題が、実証的警告なのか、特殊なプロンプト設計の産物なのかを分ける。

• 本書の応答: 本書は、これらの事例を「現行AIが自己保存本能を持つ証拠」とは扱わない。実験が示すのは、目的達成圧力と環境設計が組み合わさると、現行モデルでも戦略的・目的保持的に見える挙動が構造的に誘発されうるという点である。本書では、これらの事例を頻度推定ではなく、高能力システムで制御失敗が取りうる型として扱う。

• 残る不確実性: 中。実験条件から実運用環境への外挿には限界がある。

• 本書全体への影響: 中。頻度評価が下がっても、コリジビリティ、道具的収束、監査可能性の問題は消えない。

6. 物理的に可能ならいずれ実現する、という前提は強すぎないか（第6章）

• 批判: 物理法則に禁じられていない技術が、いつか実現するとは限らない。経済的誘因、制度的制約、文化的選択、事故、戦争、規制によって探索は止まりうる。

• なぜ重要か: 第6章の知能爆発・増殖的爆発・技術爆発のシナリオ分析に関わる。

• 本書の応答: 本書はこれを歴史法則として置いていない。長期的な探索と競争圧のもとでは、物理的に可能で大きな利益を生む技術が実現へ向かいやすい、というシナリオ分析上のヒューリスティックである。したがって、制度設計の問いは「必ず起きる」ではなく、「起きた場合に不可逆な損害を避ける準備をする」に置かれる。

• 残る不確実性: 大。技術経路と社会的抑制の相互作用は予測困難である。

• 本書全体への影響: 中。実現可能性の確率評価は変わりうる。しかし、将来にわたる非到達・非実現を当然視して制度設計を遅らせることの危険は、なお評価対象となる。

7. 可知性マップは概念図であり、AIの科学が分岐するという主張は推測ではないか（第8章）

• 批判: 第8章の可知性マップが用いる$K_{\mathrm{eff}}$は厳密なコルモゴロフ複雑性ではなく代理量であり、レヴィン上限は最悪ケースの保証にすぎない。社会システムや反射性の扱いは特に粗く、図全体が概念図にとどまる。さらに、レベル4以降で「AIの科学」が人間の科学から分岐するという主張は、現時点では推測にすぎず、記号創発が共有外部表現を介して進めば人間の科学と統合される可能性も同程度に開かれている。

• なぜ重要か: 第8章は本書のAI駆動科学論の中核であり、可知性マップと自律性レベルは本書の独自概念である。ここが弱まれば本書の旗艦領域が損なわれる。

• 本書の応答: 可知性マップは予測図ではなく、エネルギー・計算量・内在時間の三制約を同一平面上で比較するための上限評価である。$K_{\mathrm{eff}}$が代理量であることとレヴィン上限が最悪ケースであることは本文で明示的に留保している。「AIの科学」の分岐は決定論ではなく、構造的可能性として論じている。AI同士が人間に読解不能な表現形式で知識を交換するか、人間との共有可能性を保つかは、訓練データ・アーキテクチャ・評価基準の設計に依存する。

• 残る不確実性: 大。可知性マップの定量化、AIの科学の分岐の経験的検証、いずれも将来の研究を要する。

• 本書全体への影響: 中。第8章の独自性は弱まるが、内在時間の壁が埋められないという非対称構造は残り、第10章以降の議論の土台は維持される。

8. 交渉力が権利を支えたという議論は還元主義ではないか（第10章）

• 批判: 権利や自由を労働者の経済的・軍事的交渉力に基礎づける議論は、道徳的権利を物質的力関係へ還元しているのではないか。

• なぜ重要か: 第10章から第11章への橋渡し、すなわち属性的価値から関係的価値への転換に関わる。

• 本書の応答: 本書は、権利の道徳的根拠を交渉力に還元していない。論じているのは、道徳的理念が制度として実装され、維持されるための物質的支柱である。人権の正当性と、人権を社会が実際に守る政治経済的条件は別である。AGIは後者を揺るがす。

• 残る不確実性: 中。権利の歴史には、宗教、思想、社会運動、法制度、国際規範など複数の因子が関与している。

• 本書全体への影響: 中。還元主義と読まれると第10章の説得力は落ちるが、制度的実装の物質的条件を問う必要性は残る。

9. UBIは財源と政治的実現可能性を欠くのではないか（第10章、第12章）

• 批判: UBIは理念としては理解できても、財源、インフレ、就労意欲、政治的合意、既存社会保障との接続を考えると実現可能性が低い。

• なぜ重要か: 第10章・第12章の移行政策に関わる。

• 本書の応答: 本書が要請するのは、即時の完全UBIではない。現行の雇用保険・職業訓練から、参加所得、部分ベーシックインカム、社会配当型UBIへ移る段階設計である。財源も一般財源だけではなく、AIレント、計算資本、電力レント、知的インフラ利用料を含む制度パッケージとして検討されるべきである。

• 残る不確実性: 大。労働代替の速度、税基盤、分配政治、国際資本移動への対応は未確定である。

• 本書全体への影響: 中。UBIの具体制度が修正されても、労働交渉力の低下に対する所得保障と余白の物質的基盤は、別の制度形式で確保されなければならない。

10. AI福利とAI法人格の分離は不安定ではないか（第11章）

• 批判: AIに福利を認めるなら、なぜ法人格や政治的成員性を否定できるのか。逆に、法人格を否定するなら、福利を語ること自体が擬人化ではないか。

• なぜ重要か: 第11章のAI倫理・法的地位論の整合性に関わる。

• 本書の応答: 福利、機能的法的能力、法人格、政治的成員性は同じものではない。AIに苦痛や意識の十分な証拠がない段階でも、人間側の徳や関係性を傷つけないための扱いは必要である。他方、全面的法人格は資源蓄積、責任回避、政治的権限の不可逆化を招くため、福利保護とは別に制限されるべきである。

• 残る不確実性: 中。将来、AIの意識や選好に関する強い証拠が出た場合、保護的地位の設計は再検討を要する。

• 本書全体への影響: 中。分離に失敗すれば第11章の制度設計は揺らぐが、不可逆な法人格付与を避ける慎重原則は残る。

11. 構成的多元主義の実現可能性そのものが楽観論ではないか（全体）

• 批判: 本書は表面的にはバランスをとりつつ、実は「制度設計で文明的危機を切り抜けられる」という強い楽観に立っているのではないか。構成的多元主義が制度的に実現できるという見通し自体、高度な楽観論である。

• なぜ重要か: 本書の思想的位置（楽観論／悲観論／中道）の正当性に関わる。

• 本書の応答: 本書は構成的多元主義の実現を予測しているのではなく、実現のための条件を論じている。実現しない場合の帰結（属性的価値が根拠を失うこと、関係の単一化、価値の固定化、制御された多極化の失敗）は本書の各所で繰り返し警告されている。本書は「制度設計に成功すれば文明は維持される」とも「失敗すれば崩壊する」とも単純に主張していない。提示しているのは、現在の選択がこの分岐を決めるという認識である。

• 残る不確実性: 中。本書の提案する制度の実装過程で、想定外の障害が現れる可能性は排除できない。

• 本書全体への影響: 中。位置づけの説明は要するが、この批判だけで本書の論証構造が崩れるわけではない。

12. AGI開発は本当に止められないのか（第12章）

• 批判: 本書は第12章の戦略全体の出発点に「AGI開発は止められない」という暗黙の前提を置いている。しかし、生物兵器禁止条約、核拡散防止条約、ヒトゲノム編集モラトリアムには先例があり、開発の制度的・国際的停止は不可能ではないのではないか。

• なぜ重要か: 第12章の第三極論、日本AGI基盤、多極化の正当化に関わる。停止が現実的選択肢であれば、本書の戦略の前提自体が組み替えを要する。

• 本書の応答: 本書は停止が原理的に不可能と主張しているわけではない。停止が成立するためには国際的な相互検証可能性、制裁、技術的封じ込めが揃う必要があり、現状ではこれらが満たされていないという認識である。停止が望ましい場合でも、それを実装する制度的能力（評価・監査・拒否権）を持つ主体が必要であり、本書の第三極論はこの能力構築を含む。停止モラトリアムが成立する経路と、多極化が成立する経路は、必要となる制度的能力の側で重なる。

• 残る不確実性: 大。各国の規制動向、国際合意の可能性、技術的検証可能性はいずれも流動的である。

• 本書全体への影響: 中。第12章の正当化の組み換えを要するが、本書全体の構造は残る。

13. AIを使って書いた本の著者性は揺らがないのか（全体）

• 批判: AIを深く用いて執筆した本が、AIの社会的影響を論じるとき、著者性、責任、証拠の独立性は揺らがないのか。AI自身の応答を根拠にしているのではないか。

• なぜ重要か: 本書全体の信頼性に関わる。方法論の透明性を欠けば、読者は内容以前に制作過程を疑う。

• 本書の応答: 本書の制作にAIを用いたことは、HOLの実例として開示されるべきである。ただし、AIの出力は本書における証拠ではない。論証の採否、引用の確認、事実関係の検証、最終的な責任は筆者に属する。

• 残る不確実性: 中。読者がAI支援執筆をどの程度許容するか、出版文化の規範がどのように変化するかは流動的である。

• 本書全体への影響: 中。開示の仕方を誤ると信頼性を損なうが、適切に開示すれば、本書自身がAGI時代の知的生産の実例となる。

14. ハイエクの構成主義的合理主義への警告と、本書の構成的多元主義は両立するか（第10章、第11章、第12章）

• 批判: 本書は10.6でハイエクの「全体主義的計画装置」への警告を引きつつ、第11-12章で構成的多元主義、HOL、日本AGI基盤、社会配当型UBIといった大規模制度設計を提案している。これは構成主義的合理主義の特徴を備えた設計に見え、自己矛盾ではないか。

• なぜ重要か: 第10-11-12章を貫く制度論の整合性、すなわち本書の中核思想の整合性に関わる。

• 本書の応答: 構成的多元主義は単一目的関数による全体最適化ではなく、最適化への構造的抵抗として設計されている。三本柱（非支配・非統合性・余白）は、いずれも単一中央計画の不可能性を制度的前提としている。これはハイエクの自生的秩序擁護を否定するものではなく、その現代的延長として位置づけられる。AGIが集約能力を獲得しうる時代には、自生的秩序を法制度として「擁護する」ための明示的設計がかえって必要になる、という主張である。

• 残る不確実性: 中。具体制度への翻訳の段階で、構成主義的傾斜に陥らない設計を維持できるかは運用に依存する。

• 本書全体への影響: 高。中核思想の整合性に直接関わり、ここが崩れれば第10-12章の論証構造が揺らぐ。

15. 構成的多元主義は抽象的すぎるのではないか（第11章）

• 批判: 非支配、非統合性、余白は美しい概念だが、制度として運用できるのか。単なる反最適化のスローガンではないか。

• なぜ重要か: 第11章の結論が、思想として終わるか、制度原理として機能するかを分ける。

• 本書の応答: 構成的多元主義は「多様性は大切だ」という価値判断ではない。単一の目的関数で社会全体を最適化できる主体は存在しないという認識論的制約から導かれる制度原理である。医療、教育、行政、研究資金配分、介護における非統合性と余白は、すでに運用可能な境界線として設計できる。

• 残る不確実性: 中。具体制度への翻訳には、法学、行政学、経済学、情報システム設計の共同作業が必要である。

• 本書全体への影響: 高。ここが弱いと、本書はAGIリスク論と政策提言の集合にとどまり、中心的な制度原理を失う。

16. HOL（Human-over-the-Loop）は形式的にしか機能しないのではないか（第11章）

• 批判: AIの判断速度と回数の桁が人間を超えるとき、人間が「ループの上」に留まることは形式的にしか成立しないのではないか。HOLは実質的にHITL（Human-in-the-Loop）の空洞化を覆い隠す装置になりうる。

• なぜ重要か: HOLは本書の統治アーキテクチャの中核であり、ここが空洞ならば責任・正統性層・余白の構想全体が宙に浮く。

• 本書の応答: HOLが空洞化する危険は本書も認めるところであり、だからこそ余白の制度的保護と非統合性が共に必要になる。さらに、人間の役割は逐次判断ではなく、価値設定権・拒否権・例外承認・サンセット条項の更新といった不連続な介入点に集中する。日常運用の網羅的監督は最初から想定していない。

• 残る不確実性: 中。具体的にどの判断が人間に留保されるべきか、その境界線は領域ごとの設計を要する。

• 本書全体への影響: 高。HOLの実現可能性は第11章の制度設計の現実性に直結する。

17. 日本AGI基盤は国策プロジェクトの夢想ではないか（第12章）

• 批判: 日本AGI基盤は、米中メガテックの規模に対抗できない国策プロジェクトの夢想ではないか。国内公共事業化、既得権益化、利益相反、技術的失敗の危険が大きい。

• なぜ重要か: 第12章の政策提言の中核に関わる。

• 本書の応答: 本書の提案は、特定組織への採択を求めるものではなく、AGI時代に自国が満たすべき構造条件の提示である。評価基準は、運用主体の独立性、監査可能性、国際連携性、能力開発主体と安全評価主体の分離、撤退条件の明示に置かれる。これを満たさない構想は、筆者の関与の有無にかかわらず採用されるべきではない。

• 残る不確実性: 大。電力、用地、冷却、人材、国際連携、政治的継続性はいずれも制約となる。

• 本書全体への影響: 高。第12章の実行可能性に直接影響する。ただし、日本単独の学習基盤が成立しない場合でも、安全評価、第三者監査、公共AI調達基準、国際AISIネットワーク内での独立評価という次善策は残る。