WEBマガジン

「＜Part 2＞人工知能技術の過去と現在（３）」

2018.08.10 株式会社オージス総研　　乾　昌弘

１．はじめに

今回は、ディープラーニングの「Explainable Artificial Intelligence (XAI)」と「見える化」について概要を説明します。

２．「Explainable Artificial Intelligence (XAI)」について

２－１．ＸＡＩとは、

（１）「Back Propagation」が話題になった30年前からそうでしたが、「ディープラーニング」でうまく機械学習できたとしても「なぜそういう結果になったか」を説明することができません。単にそれぞれのリンクの重み付けが変化しただけです。そのため、説明機能を可能にする研究が行われています。これを「ＸＡＩ」と呼んでいます。
(Back Propagationは以下を参照)
４．ニューラルネットワーク（Back Propagation）

（２）図１に「ＸＡＩ」の流れを示します。もし、このような機能が可能になれば「訓練データや機械学習方法を改善していくこと」もできます。

（３）訓練データはRPA (Robotics Process Automation) で自動作成できる可能性もある。

ＸＡＩの概念図
図１．ＸＡＩの概念図

２－２．フィードバック制御との比較

（１）結果をフィードバックするという観点から、フィードバック制御を思い出したので、それとの比較をしてみる。

（２）図２のように目標値に従って制御するのであるが、ノイズや制御対象の特性などにより、誤差が生じる。従って誤差を補正するように制御を行う。

（３）「ＸＡＩ」もこのようなことができれば便利になると思います。

フィードバック制御の概念図
図２．フィードバック制御の概念図

２－３．「ＸＡＩ」の第1歩「見える化」

（１）「教師あり学習」の代表格であるＣＮＮ(Convolutional Neural Network)の説明機能の第1歩として「見える化」を紹介します。これは、画像のどの部分に注目して判断したかがわかる機能です。

（２）「Ｇｒａｄ‐ＣＡＭ」
タグ付けされたクラス（例：犬、猫）に対して影響の大きい画像の箇所を「変化を加えて大きい変化が現れる場所を平均化」して決定するやり方です。変化の大きさは一般的に「Gradient」と呼ばれているので、この方法は「Ｇｒａｄ‐ＣＡＭ」と命名されています。結果は「ヒートマップ」で表され、ソフトウェアは公開されています。
※変化が大きいということは、影響が大きいということに等しいと思われる。

（３）ただし、誤った認識をしている場合に「どのように学習し直したらよいかが、わからない」ことがあるという欠点があります。
　一般的に説明機能は、デバッガーとしての役割を果たす時があるのですが「見える化」だけでは不十分な場合があると言えます。

Grad-CAMによるＣＮＮの注目箇所（Citation from Reference 1. Fig. 1）「再掲」
図３．Grad-CAMによるＣＮＮの注目箇所（Citation from Reference 1. Fig. 1）「再掲」

※「Gradient」:実用的にいろいろな分野で使用されているため、大学入学後すぐに習う。内容は偏微分で分母の変数のみに対して微分を行い、計算方法は高校で習った微分法と同じ。「ｄ」は「ディー」と言うのに対して「デールント」と言う。と習った。ドイツ語で「まるいディー」という意味らしい。

Gradientの例
図４．Gradientの例

（４）ＣＮＮなどディープラーニングは、図５の例に示すようにアプリケーションが広範囲に及ぶので、効果が大きいと考えられる。

ＣＮＮなどの応用例（ご参考）
図５．ＣＮＮなどの応用例（ご参考）

※１２．ＣＮＮ(Convolutional Neural Network)
※２２．エキスパートシステム、BRMS （Business Rule Management System）
※３３．自動運転
※４３．α碁の戦略
※５３．Genetic Algorithm
※６[Topology] 後日、掲載予定。

「Reference」
1. Ramprasaath R. Selvaraju， Michael Cogswell ， et al，: "Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization"， Mar 2017

「余談」
１．「東ベルリン」のはずが「西ベルリン」で論文発表

（１）27年前のことですが、東西ドイツが統一した後、ベルリンの国際ガス会議で「ＩＣＡＩ(Intelligent Computer Aided Instruction)」の論文発表を行いました。事前募集で論文を送った時は、東ドイツの東ベルリン開催予定であったので、採択（accept）の返事は共産圏のため「わら半紙のような」粗悪な紙に印字されていました。

（２）統一後、西ベルリンに会場が変更になりました。西ベルリンは周りを壁で囲まれていたために、ひっそりとした都市という印象でした。東ベルリンは、立派な建物が並んでいましたが、汚いポンコツの車が多数放置されていました。

（３）壁もほとんど残っていましたが、今では見違えるような大都市になっていることでしょう。

※ＩＣＡＩは以下を参照
３－１．ＩＣＡＩ(Intelligent Computer Aided Instruction)とは、

写真１．ベルリンの壁（1991年7月9日現在）
写真１．ベルリンの壁（1991年7月9日現在）

表１．「＜オージス総研をとりまく＞人工知能技術の過去と現在（項目）」
<オージス総研をとりまく>人工知能技術の過去と現在（項目）

表２．「＜Part 2＞人工知能技術の過去と現在（項目）」
＜Part 2＞人工知能技術の過去と現在（項目）

※下記「記事一覧」からリンクが張られている。

*本Webマガジンの内容は執筆者個人の見解に基づいており、株式会社オージス総研およびさくら情報システム株式会社、株式会社宇部情報システムのいずれの見解を示すものでもありません。

『WEBマガジン』に関しては下記よりお気軽にお問い合わせください。

同一テーマ　記事一覧

「人工知能技術の過去と現在（最終回）」

2019.03.15 製造 株式会社オージス総研　　乾　昌弘

「＜Part 2＞人工知能技術の過去と現在（５）」

2018.11.12 製造 株式会社オージス総研　　乾　昌弘

「＜Part 2＞人工知能技術の過去と現在（４）」

2018.09.13 製造 株式会社オージス総研　　乾　昌弘

＜Part 2＞人工知能技術の過去と現在（2）

2018.07.19 製造 株式会社オージス総研　　乾　昌弘

「＜Part 2＞人工知能技術の過去と現在（１）」

2018.06.15 製造 株式会社オージス総研　　乾　昌弘

「人工知能技術の過去と現在（下）」

2018.03.19 製造 株式会社オージス総研　　乾　昌弘

「人工知能技術の過去と現在（上）」

2018.02.20 製造 株式会社オージス総研　　乾　昌弘

「スマートグリッド社会成熟度モデルと人工知能」

2018.01.24 製造 株式会社オージス総研　　乾　昌弘

「AIなどを通じて経験したGlobal Business」

2017.12.15 製造 株式会社オージス総研　　乾　昌弘

「ビジネスを解析する手法とその比較（AI含めて）」

2017.11.17 製造 株式会社オージス総研　　乾　昌弘

「＜オージス総研をとりまく＞人工知能技術の過去と現在（７）」

2017.10.25 製造 株式会社オージス総研　　乾　昌弘

「＜オージス総研をとりまく＞人工知能技術の過去と現在（６）」

2017.09.15 製造 株式会社オージス総研　　乾　昌弘

「＜オージス総研をとりまく＞人工知能技術の過去と現在（５）」

2017.08.28 製造 株式会社オージス総研　　乾　昌弘

「＜オージス総研をとりまく＞人工知能技術の過去と現在（４）」

2017.07.20 製造 株式会社オージス総研　　乾　昌弘

「＜オージス総研をとりまく＞人工知能技術の過去と現在（３）」

2017.06.19 製造 株式会社オージス総研　　乾　昌弘

「＜オージス総研をとりまく＞人工知能技術の過去と現在（２）」

2017.05.19 製造 株式会社オージス総研　　乾　昌弘

「＜オージス総研をとりまく＞人工知能技術の過去と現在（１）」

2017.04.17 製造 株式会社オージス総研　　乾　昌弘