本書の初版を出版してからのAI の発展は目覚ましい．大規模言語モデル（large language model,LLM）は，今や日常で多くの人が使いこなしているし，科学研究から，生産現場，ビジネスの領域にまで浸透し，社会のありようを変えようとしている．しかもAI は今もまだ発展のただなかにある．その主要な構成要素は深層神経回路網であり，これに情報の抽象表現とトランスフォーマーによる一般化連想作用をアテンションとして用いている．これらは主に確率推論であるが，最近は論理推論も加味しようとしている．
しかし性能の素晴らしさに比べて，その基本原理が理論的に明確であるとは言い難い．神経回路網を大規模化し，「大きいことはいいことだ」とばかりにやってみると思った以上にうまくいくというのが実情である．大きくすればよいというスケーリング則が経験則として知られているが，もちろんこれがどこまでも成立するなどとは誰も信じていない．まさに理論の貧困である．
本書では深層学習の理論的基盤の一つとして統計神経力学という構想を考えたが，それだけではもとより不十分である．深層大規模神経回路網がうまく機能する仕組みには，他の大規模系に見られない特徴があるに違いない．それはパラメータ空間の特異構造にある．すなわち，通常の大規模系で最適化を議論するときに，損失関数の最小化を論じ，勾配降下法を適用する．ところが，大規模神経回路網にあっては，パラメータ空間に同値の特性を示す部分多様体が多数網の目のように存在し，それが最適化の特性に通常では見られない特殊な性能を与える．この特異構造の存在は性能を際立って向上させると思われる．
原著者の甘利は，この点を解明すべく新たに第9 章を付け加えたが，こと志に反して成功しなかった．特異構造のもたらす仕組みの解明には代数幾何学が有効であり，それには共著者の一人である渡辺澄夫が以前から精力的に取り組んで成果を上げている．そこで増補新版の共著者として加わった．代数幾何の特異点の解消定理などは他書にゆだねてここでは深入りせず，深層回路網の特性がどういう意味でこの特異構造の影響を受けるかを，学習理論の特性に即して解説した．しかし問題はまだ解決したとは言い難い．深層神経回路網を深く理解し人類のためのAI を作っていくために，この方向でのさらなる発展が望まれる．
なお，本増補新版についてはサイエンス社の大溝良平氏に大変お世話になった．謝意を表したい．

2026 年6 月