• #海外論文
• #経済
• #経済セミナー

 雑誌『経済セミナー』の "海外論文Survey" からの転載です．

(奇数月下旬更新予定)

Yang, K. H., Yoder, N. and Zentefis, A. K. (2025) “Explaining Models,” SSRN Working Paper, 4723587.
$\def\t#1{\text{#1}}\def\dfrac#1#2{\displaystyle\frac{#1}{#2}}$

奥村恭平

1　複雑化する AI、高まる説明可能性への要請

AI 技術が近年急速に発展し、医療・金融・司法・行政といった社会の基盤となる分野に広く応用されつつある。特にディープラーニングに代表される高度な機械学習手法は、従来は不可能と考えられていた精緻な予測や診断をアルゴリズムが行うことを可能にする一方で、予測形成の過程で何が起きているかは、人間にとって不透明になりやすい。このような状況のもとで、「なぜアルゴリズムによってその判断が下されたのか」を理解できるようにする「説明可能な AI (eXplainable AI。以下、XAI)」の重要性が、実務家・研究者・政策立案者の間で急速に高まっている (森下 2021：Mienye et al. 2024)。たとえば、米国食品医薬品局 (FDA) は医療機器分野において透明性を重視し、機械学習を取り入れた医療機器に対して開発・性能・アルゴリズムのロジックまで明示することを求めており、欧州連合は EU AI 規制法で高リスク AI に対し説明可能性を伴う透明性義務を課し、システムの運用方法や限界、出力解釈の指針を文書化するよう求めている。

本稿で紹介する Yang et al.(2025) は、このような XAI の問題を経済学的な枠組みで考えようとする試みである。著者らは、意思決定者が理解できない複雑な「真のモデル」を、より単純で理解可能なモデルによる説明によって理解し行動する状況をモデル化し、そのような説明がどのような条件のもとで有用か、また逆に無用になるかを明らかにしている。こうした分析は、XAI に関する議論を「どのような説明がどういった意思決定者にとって有用か」という経済学的・意思決定理論的枠組みに結びつけるものであり、既存の計算機科学的アプローチに新しい視座を提供している。

2　設定

世界の状態が $(X,Y)\in \mathcal{X}\times\mathcal{Y}$ で記述されるとする。ただし、$X\in\mathbb{R}^K$ は入力 (説明変数、特徴量) を、$Y\in\mathbb{R}^M$ は出力 (被説明変数、結果変数) を表し、$\mathcal{Y}:=\mathbb{R}^M$ であり、$\mathcal{X}\subseteq\mathbb{R}^K$ は凸集合かつ $\dim(\mathbb{X})=K$ であるとする。確率変数 $X$ は分布 $\mu_0\in\varDelta(\mathcal{X})$ に従い¹⁾、真のモデル $f:\mathcal{X}\longrightarrow\mathcal{Y}$ によって $Y=f(X)$ という関係が成立している。

意思決定者 (decision maker。以下、DM) は、有限個の行動の集合 $A$ から 1 つの行動 $a\in A$ を選ぶ。DM の効用関数 $u(x,y,a)$ は世界の状態と行動に依存する。本稿では次のような分離可能な効用関数形を仮定する^{2) 3)}。
\begin{align*}
u(x,y,a):=w_0(a)+w_1(a)^Tx+w_2(a)^Ty
\tag{1}
\end{align*}ただし、$w_0:A\longrightarrow\mathbb{R},\,w_1:A\longrightarrow\mathbb{R}^K,\,w_2:A\longrightarrow\mathbb{R}^M$ である。

例 1 (処置効果)　政府 (DM) はある感染症に関するワクチンの接種を全国民に義務付ける ($a=1$) か否 ($a=0$) かを考えている。$Y(a)$ で行動 $a$ の処置効果 (例、年間死亡者数) を表すことにし、政府は期待処置効果を考慮しているとすると、行動 $a$ を選んだ場合の政府の期待利得 (国民 1 人当たりの平均的な処置効果) は $\mathbb{E}[Y(a)]$ となる。次のように各変数を設定すると、この期待利得が (1) 式の形の $u$ によって $\mathbb{E}[u(X,Y,a)]$ と表現可能であることがわかる。
\begin{align*}
&\mathcal{Y}:=\mathbb{R}^2,\quad Y:=(Y(0),Y(1)),\\[5pt]
&w_0(a)\equiv 0,\quad w_1(a)\equiv 0,\quad w_2(0):=(1,0)^T,\quad w_2(1):=(0,1)^T
\end{align*}

今、真のモデルの候補の集合を $F\subseteq\mathcal{Y}^{\mathcal{X}}$ で表す⁴⁾。真のモデル $f$ はこの集合 $F$ の中にあるが、$F$ に含まれるモデルにはとても複雑なものも含まれており、複雑なモデルは DM には理解が難しいかもしれない。今、DM が理解可能 (そのモデルのもとでの最適行動が計算できる) なモデルの集合を $\varPhi\subseteq F$ で表すことにする。ただし、$\varPhi$ は有限次元線型部分空間で、任意の定数関数を含むとする^{5) 6)}。説明器 $\varGamma:F\longrightarrow\varPhi$ は真のモデルを DM の理解可能なモデルへと変換する写像であり、$\varGamma$ は線形で冪等 ($\varGamma^2=\varGamma$) であり、かつ $\varGamma(F)=\varPhi$ だとする⁷⁾。DM は特徴量の分布 $\mu_0$ は知っているが真のモデル $f$ については知らず、真のモデル $f$ の説明器 $\varGamma$ による説明 $\varphi=\varGamma(f)$ をもとに意思決定を行う。説明 $\varphi$ と整合的なモデルの集合を $\varGamma^{-1}(\varphi):=\{g\in F: \varGamma(g)=\varphi\}$ で表す。

設定に関するコメント

以上のような「説明」のモデル化は、たとえば、「現実をとてもよく表した複雑なニューラルネットワークに基づく予測器 $f$ があり、$f$ の使用者に $f$ を可能な限り近似した線形予測器を使ってその挙動を説明する」といった場合を念頭に置いていると考えられる。このような形の「説明」は、XAI の分野において「代理モデル (surrogate model) による説明」と呼ばれているが、XAI の分野では他にもさまざまな手法が提案されており、このモデル化の仕方が XAI について考えるための決定版であるわけではないことには注意されたい⁸⁾。

また、以下の分析では、DM の行動が特徴量 $x$ に依存しない場合を考えている。この仮定は例 1 のように社会のすべての人に共通の行動を選択するような問題に関しては問題ないが、異なる特徴 $x$ ごとに違う行動を選びたい (特定のケース・個人ごとに、アルゴリズムの予測結果をもとに個別に行動を決める targeted policy を考えたい) ような問題には不適切である。

3　理論的結果：説明はどのような場合に有用か？

説明が有用な場合：功利主義

まず第 1 に、平均的な利得を最大化したいと思っている功利主義の DM を考えてみよう。仮に真のモデルが $f$ であり、かつ DM が $f$ を理解可能であるならば、DM は次のような最大化問題を解いて最適な行動 $a^*(f)$ を選ぶ。
\begin{align*}
\max_{a\in AX\sim \mu_0}\mathbb{E}[u(X,f(X),a)]
\end{align*}しかし、$f$ がとても複雑である場合、DM は $a^*(f)$ を選ぶことができないかもしれない。次の定理は、もし DM が理解可能なモデル $\varphi\in\varPhi$ に対してはそのモデルが真である場合の最適な行動 $a^*(\varphi)$ を選ぶことが可能である場合、ある説明器 $\overline{\varGamma}$ が存在し、DM は愚直に $f$ の説明 $\varphi=\overline{\varGamma}(f)$ を正しいと信じて最適行動を選ぶことで、真のモデルを知っていてかつ理解可能である場合と同様の期待利得が達成可能であることを主張している。また、そのような説明器 $\overline{\varGamma}$ を具体的に構成することが可能である。

定義1 (OLS 説明器)　$X$ の分布 $\mu_0$ のもとでの OLS (最小 2 乗) 説明器 $\overline{\varGamma}$ は、任 意のモデル $g\in F$ を、理解可能なモデルの集合 $\varPhi$ の中で最も $g$ に「近い」モデル $\varphi$ に写す写像である。ただし、$F$ 上には次のように定義される内積をもとに距離を導入する⁹⁾。
\begin{align*}
\langle g,h\rangle_{\mu_0}:=\mathop{\mathbb{E}}\limits_{X\sim\mu_0}\left[\sum^M_{m=1}g_m(X)h_m(X)\right]
\end{align*}

定理 1 (元論文の定理 2)　$X$ の分布を $\mu_0$、真のモデルを $f$ とし、$\overline{\varGamma}$ で $\mu_0$ のもとでの OLS 説明器
を表す。$u$ が分離可能ならば、$\varphi:=\overline{\varGamma}(f)$ として、次の式が成立する。
\begin{align*}
\max_{a\in AX\sim\mu_0}\mathbb{E}[u(X,\varphi(X),a)]
=\max_{a\in AX\sim\mu_0}\mathbb{E}[u(X,f(X),a)]
\end{align*}

説明が「無用」な場合

効用関数が分離可能でかつ功利主義であるような DM については、OLS 説明器が有用であることを見た。ではそうでない場合に説明器はどの程度有用だろうか？　利得が分離可能で功利主義の DM は、処置効果が異なる特徴量 $x$ を持つ人々の間でどう分布しているかを、期待処置効果が同じである限り気にしない。例として、例 1 で $X\in\{b,r\}$ が人種を表し、人種 $b$ が人口の $10\%$ を占める少数派であるときを考えてみよう。今、2 つの可能なモデル $g,\,h$ が存在し、モデル $g$ が真のときは、$g(b)=(0,-10),\,g(r)=(0,10)$ (行動 $a=1$ は人種 $r$ を 10 人救うが、人種 $b$ を 10 人殺める)、モデル $h$ が真のときは $h(b)=(0,8),\,g(r)=(0,8)$ (行動 $a=1$ は人種 $r$ も人種 $b$ も 8 人ずつ救う) とする。利得が分離可能で功利主義の DM は、真のモデルがどちらであっても $a=1$ を $a=0$ より好むが、「公平性」を気にする DM は真のモデルが $g$ であるときは $a=0$ をより好ましいと思うかもしれない。

たとえば DM が政府のような公的主体の場合、異なる特徴量を持つ人々全員に対して普遍的によい行動を選びたいと思うかもしれない。そのような DM の選好の例として、次のようなロールズ主義の選好が考えられる。
\begin{align*}
R(\varphi,a\,|\,\varGamma):=
\inf\{u(x,f(x),a):x\in X,\,f\in\varGamma^{-1}(\varphi)\}
\end{align*}$R(\varphi,a\,|\,\varGamma)$ は説明器 $\varGamma$ のもとで説明 $\varphi$ が与えられたときに行動 $a$ を選んだときのロールズ主義の DM の利得を表す。すなわち、ロールズ主義の DM は与えられた説明 $\varphi$ と整合的などんなモデル $f$ が真であっても、どんな特徴量 $x$ を持つ人についても最低限の利得を保証したいと考えている。

このように特徴量のみならずモデルに関する不確実性についても頑健でありたいロールズ主義の DM について、説明器による説明は有用だろうか？　「有用である」ためには、少なくともある場合には説明器が DM の行動を、説明器がない場合と比べて変化させる (そうでないと、DM は説明がある場合とない場合で行動を変えない) ことが必要条件である。次の定理は、可能な真のモデルの集合がとても豊かである場合には、説明器が無用であることを主張している。

定理 2 (元論文の定理 4)　$F$ が有界なボレル可測関数をすべて含むとする。今、$\underline{R}(a):=\inf\{u(x,f(x),a): x\in X,\,f\in F\}$ で説明器がない場合にロールズ主義の DM が行動 $a$ をとった場合の利得を表すことにする。このとき、任意の $\varGamma,\,\varphi,\,a$ について、以下の関係が成立する。
\begin{align*}
R(\varphi,a\,|\,\varGamma)=\underline{R}(a)
\end{align*}

この結果をどのように解釈すべきだろうか？　1 つの解釈として、「この結果は理論・知見・常識の重要性を主張している」というものが考えられる。定理 2 は、可能な真のモデルの集合 $F$ がとても豊かであるがゆえに、有限次元の (比較的粗めの) 説明と整合的で、かつ任意の特徴量 $x$ に対して都合の悪い真のモデル $f\in F$ が常に存在してしまうために成立する。しかし、たとえば医学の知見により処置効果と特定の変数の間に成立する関係がわかっている場合、$F$ に含まれる真のモデルの候補を制限する (すべての有界ボレル関数は含まれない) ようにできるだろう。もし理論が真のモデルの候補の集合 $F$ を十分に制限するようであれば、ロールズ主義の DM に対しても有用な説明が存在するかもしれない。

おわりに

本稿では、「説明可能な AI」に関する問題を経済学的な枠組みを用いて議論した論文 Yang et al. (2025) を紹介した。説明可能な AI・安全な AI といった問題は、計算機科学者を中心に近年盛んに議論され、さまざまな手法や評価指標が提案されているが、そもそも「なぜ『説明可能性』が大事なのか？」「どういった『説明』が、なぜ、どういう場合に大事なのか？」といった点は、依然としてきちんと理解されておらず、またそれを議論するための枠組みも整備されていないように見える。関係する主体と各主体の利得を定式化したうえで議論する経済学的枠組みは、そういった論点を明確に議論するうえで有効であり、本論文は、筆者が以前に海外論文 SURVEY コーナーで紹介した Blattner et al. (2024; 2024 年 12 月・25 年 1 月号掲載「ブラックボックス化する AI をどう規制するか？」) と並び、そのような試みの第一歩として価値が高い。

しかしその一方で、説明可能な AI が問題になるような状況に関して経済学が議論・貢献できる論点はまだまだたくさん残っているように思われる。定理 1 は確かに有益な気もするが、targeted policy を許しておらず、また sampling error や selective labels などの問題は捨象されている。定理 2 は説明が無用になる極端な例はつくれたものの、よりおもしろく現実に重要そうな場合に関しては特に何も言っていない。また、提案された枠組みが捉えているのは XAI の分野で提案されている方法の 1 つ (代理モデル) を意思決定者が 1 人の場合に考えたにすぎない。最後に、計算機科学の研究者たちによる説明可能性の定義は「各変数が予測結果に与える影響の定量化」に過剰にこだわりすぎ (その定義に固執しすぎ) なように見える。特に、変数が多くて相互に相関がある場合は、特定の変数 (例：人種) の影響を見ることにあまり意味はない。では、どういう説明 (シグナル) が「複雑なモデルを理解できない DM」にとって有用なのだろうか？　より多様な説明手法や現実的な状況を取り込んだ理論的分析を進めることで、経済学的アプローチが XAI 研究に一層の貢献を果たすことが期待される。

参考文献

• 森下光之助 (2021) 『機械学習を解釈する技術予測力と説明力を両立する実践テクニック』技術評論社。
• Blattner, L., Nelson, S. and Spiess, J.(2024) “Unpacking the Black Box: Regulating Algorithmic Decisions,” arXiv:2110.03443.
• Mienye, I. D., Obaido, G., Jere, N., Mienye, E., Aruleba, K., Emmanuel, I. D. and Ogbuokiri, B.(2024) `ʠA Survey of Explainable Artificial Intelligence in Healthcare: Concepts, Applications, and Challenges,” Informatics in Medicine Unlocked, 51, 101587.
• Yang, K. H., Yoder, N. and Zentefis, A. K. (2025) “Explaining Models,” SSRN Working Paper, 4723587.

(おくむら・きょうへい／ウィスコンシン大学マディソン校ビジネススクール アシスタントプロフェッサー)

続きは『経済セミナー』(2025年10+11月号通巻746号)で御覧ください

「経済セミナー」の記事をすべて見る
「海外論文Survey」をすべて見る

• #海外論文
• #経済
• #経済セミナー