価値のあるAIに説明責任は負えるのか

今週、新聞が取り上げていた政府策定のAIの7原則。

1. AIは人間の基本的人権を侵さない
2. 誰もがAIを利用できるよう教育を充実
3. 個人情報を慎重管理
4. AIのセキュリティーの確保
5. 公正な競争環境の維持
6. AIを利用した企業に決定過程の説明責任
7. 国境を越えてデータを利用できる環境を整備

www.nikkei.com

どういうふうに実行するのか、どれも具体的なことまでは言っていないので今後どうなるかはわからないけれど、謎だと思ったのが、「6. AIを利用した企業に決定過程の説明責任」。

この文言がAIを利用した企業が「決定過程にはこのAIを使いましたよ」と宣言するだけで済むのか、それとも「このAIはこういうふうなロジックでこのような結論を出しました」とAIの“思考過程”にまで踏み込んで説明することを想定しているのかは、勉強不足の私にはわからなかったけれど、
もし後者であるなら、AIの最大のメリットを殺してしまってはいませんか。

今のAIブームの起点となったAlphaGoは、定石からかけ離れていて、人間が悪手だと嗤うような手を打ち、人間に勝った。
言うなればAlphaGoは、AIが人間の直感や想像力を超えられることを示したわけで、その先に私は未来を感じたのです。
人間の想像力は無限大なんて比喩では言われるけれども、重さ1キロ強の脳というハードウェアに縛られているわけで、どうしても限界がある。一方で、シリコンでできたAIの脳はどこまでも大規模化できるわけで、AIの想像力こそ無限大だと。

人間の想像力を超えたAIの判断は、AlphaGoの独創的な一手のように、人間には理解できず、けれど効果はあるというものになるはず。
実際、日立のAI研究でもそういう例は見られるみたいだし。

文庫　データの見えざる手：ウエアラブルセンサが明かす人間・組織・社会の法則 (草思社文庫)

人間にはとうてい理解できない優れた解が生まれることこそが、AIの大きな利点であるはずなのに、そこに説明責任を求められては何もできなくなるのではないでしょうか。
理解できないものは説明のしようがないわけで。 人間の説明できることだけをするAIは、それはもうアルゴリズムの手順に従って動くプログラムとほとんど変わらないのでは。

AIをブラックボックス化させないという意図はわかるけれど、AIを理解して説明するなんて工程を踏んでいるうちに、取り残されてしまうような感じがする。
そもそも人間はAIを理解できるのか、理解できるAIに価値はあるのかという話。
実行してから理解して、可能だったら説明するというのはダメなんでしょうか。