携帯通信網が5Gに移行することによって屋内・屋外問わず高速なデータ通信が可能となり、VR(Virtual Reality)、AR(Augmented reality)、そして両者を掛け合わせたMR(Mixed Reality)の活用の将来性が高いことから国内外の企業がデバイス開発やDX（デジタルトランスフォーメーション）での実用化が活発になっています。
本稿では、Mixed Realityの代表的なデバイスであるマイクロソフト社のHololens 2とDynamics 365 Guidesを活用した、実務へ適用可能な業務可視化・業務改善事例を紹介します。Hololens 2さえあればトライアルできるように、事前準備や作業をわかりやすく丁寧に解説しています。
実施概要
最初に、本稿の実施概要としてHololens 2、Dynamics 365 Guides、適用したユースケースについて説明します。Hololens 2とDynamics 365 Guidesを含む全体像は図 1で、様々なデバイス、アプリ、クラウドサービスが連携することにより実現されています。本章ではまず概要を説明し、それぞれの詳細は事前準備の章で解説します。
※本稿の情報およびリンク先の情報は、執筆時点でのものであり、予告なく変更される場合があります。
Hololens 2
マイクロソフト社が2019年11月に発売を開始したMixed Realityの第2世代のデバイスです。日本のマイクロソフトストアでの発売は2020年7月で、価格は１台40万円くらいしますが個人ユーザーの猛者もおり、日本でもオンラインセミナーやコミュニティが盛んに開催されています。初代Hololensは3年半前の2016年3月発売で、両手の指の動きまでハンドトラッキングできる第2世代と初代ではジェスチャーによる操作方法が異なります。
図 2がHololens 2の前面、図 3が側面で、この中にヘッドトラッキングのための4台の可視光カメラ、アイトラッキングのための2台の赤外線カメラ、深度センサー、加速度計、ジャイロスコープ、磁力計、スピーカーなどが搭載されています。メガネのレンズのような部分はシースルーのホログラフィック・レンズで、ここに3D物体が投影されます。
Dynamics 365 Guides
Dynamics 365 Guidesは、Mixed Realityを使った作業手順書（ガイド）を実現するクラウドサービスです。マイクロソフト社のDynamicsと聞くとCRM（顧客管理）などのERPを想起する人も多いのですが、Dynamics 365は法人向けクラウドサービス全般のブランドとして使われており、Dynamics 365 Guidesはそのひとつです。
ユースケース
Mixed Realityを使った作業手順書の最大のメリットは紙の手順書やエクセル等の手順書のようにPCやタブレット操作に両手を占有されないことです。したがってデスクワークというよりは、両手を使う機器の組み立て、操作、修理といったユースケースに適しています。本稿では図 4のオモチャの自動販売機を使ったドリンクの購入のユースケースで説明します。これを本物の自動販売機に置き換えれば、ジュースの補充方法、現金の回収方法、故障の切り分けと修理といったユースケースにも使えることが想像できると思います。
事前準備
Guidesには無料試用版（フリートライアル）が用意されており、Hololens 2があれば無料で試すことができます。とはいえ、Guidesを初めてセットアップすると筆者がハマった落とし穴がいくつかありましたので、基本的には下記のマイクロソフト社のリンクに書いてある手順で進める前提で、本稿では手順のわかりにくい点を補足します。
Dynamics 365 Guides の設定に関する概要
https://docs.microsoft.com/ja-jp/dynamics365/mixed-reality/guides/setup
Hololens 2の操作練習
筆者は、マイクロソフト社のGuides紹介ビデオを見たら早く試したくなり、すぐにHololens 2でGuidesのセットアップをしようとしました。しかし、Mixed RealityのデバイスはこれまでのPCやスマートフォンとはまったく異なる操作方法なので、まずはHololens 2にビルトインされているチュートリアルで練習しておきましょう。
PCへMicrosoft Edgeのインストール
当初、筆者はChromeを使ってPCで作業をしていたのですが、管理画面で認証エラーが頻発したのでMicrosoft Edgeにしたところ解消しました。障害の切り分けの労力を減らすためにも純正のMicrosoft Edgeで作業することをお勧めします。
法人のメールアドレスの用意
Dynamics 365は法人向けということもあり、フリーメールは不可です。一方で勤務先のメールアドレスの場合、企業によってはマイクロソフト製品のライセンス管理のために従業員が認証できないようにしていることがあります。マイクロソフト社の法人向け製品でありがちな問題なのですが、トライアル目的であれば本番環境の運用担当との大事にはしたくないでしょう。筆者は、勤務先のメールのエイリアスを使うことでこの問題を回避しました。
スマートフォンと認証アプリの用意
Dynamics 365などこの後に利用するクラウドサービスは、2段階認証にMicrosoft Authenticatorというスマートフォン用アプリを使います。Google Authenticatorのようにトークンを生成するだけではなく、アプリがスマートフォンの生体認証機能を使って直接Dynamics 365との間で認証できます。認証のセットアップにあたっては、スマートフォンのSMSも使いますのでスマートフォン本体だけでなく通信キャリアのSIMも必要です。
Dynamics 365 Guidesのサブスクリプションの取得
Dynamics 365 Guidesには、30日間の無料試用版が用意されています。登録するとトライアル用のonmicrosoft.comのサブドメインとIDが発行されます。申し込みに使うメールアドレスは、先ほど用意した法人のメールアドレス（またはエイリアス）を使います。
サブドメイン例） ogis.onmicrosoft.com
ID例） tanakaichiro＠ogis.onmicrosoft.com
マイクロソフト社のいろいろなサービスはMicrosoftアカウント（旧称live ID）を使いますが、すでに別の目的で取得しているIDで自動ログインしてしまいエラーが起きることがあるので、取得済みのIDとは区別できるトライアル用の氏名にすることをお勧めします。
Guidesのサブスクリプションを取得すると、その基盤であるPower Platformが生成されます。Power Platformは、Power Apps、Power Automate、Power BI、Common Data Serviceなどで構成された自動化ソリューションです。
Dynamics 365 Guides を設定する、手順 1: サブスクリプションの購入または無料試用版にサインアップ
https://docs.microsoft.com/ja-jp/dynamics365/mixed-reality/guides/setup-step-oneGuides無料試用版の申し込みURL
https://go.microsoft.com/fwlink/?LinkId=2106016
Power PlatformのDynamics 365 AppsにGuidesを追加
図 5のPower Platform管理センターを開き、①のリソースタブを開いて②のDynamics 365 Guidesをインストールします。この時、トライアル用のonmicrosoft.comのIDでサインインすることを忘れないでください。筆者は勘違いしてGuidesを申し込んだ時のID（法人のメールアドレス）でログインしてしまい、サインインはできるもののDynamics 365アプリの一覧にDynamics 365 Guidesが表示されない症状でかなり悩みました。
Dynamics 365 Guides の設定、手順 2: ソリューションのインストール
https://docs.microsoft.com/ja-jp/dynamics365/mixed-reality/guides/setup-step-twoPower Platform admin center
https://admin.powerplatform.microsoft.com/environments
PCとHololensへGuidesアプリのインストール
WindowsのMicrosoft StoreからGuidesアプリをインストールします。名前が似ているので混乱しますが、先述のDynamics 365 Guidesアプリとは別のものです。同様にHololens 2のGuidesアプリは購入時点でインストール済みですが最新に更新します。筆者の経験では最新にアップデートしないとエラーが起きました。
Dynamics 365 Guides を設定する手順 3: アプリをダウンロードしてインストールする (PC および HoloLens)
https://docs.microsoft.com/ja-jp/dynamics365/mixed-reality/guides/setup-step-three
Power BI Desktopアプリケーションのインストール
Power BIを使ってGuidesの作業状況をダッシュボードで分析するために無償で提供されているPower BI Desktopアプリケーションを使います。分析に使うデータはここまでの準備で既にデータが収集されるように設定できていますので、データベーススキーマを作成するといった作業は必要ありません。
Dynamics 365 Guides 設定の手順 4: Power BI レポートの設定
https://docs.microsoft.com/ja-jp/dynamics365/mixed-reality/guides/setup-step-fourDynamics 365 Guides によって作成されたガイドの分析
https://docs.microsoft.com/ja-jp/dynamics365/mixed-reality/guides/analytics-guidePower BI
https://powerbi.microsoft.com/ja-jp/
PCへHololensアプリのインストール
本稿ではオプションです。Hololens 2から見た画像や動画をPCにダウンロードする場合に必要です。必要な場合は、WindowsのMicrosoft StoreからHololensアプリをインストールします。本稿では、使い方は割愛しています。
ガイドの作成
いよいよHololens 2のMixed Realityを使った作業手順書を作成します。Dynamics 365 Guidesでは、Hololens 2で参照できる作業手順書を"ガイド"と呼んでいます。流れとしては、次の２ステップになります。
PCでアウトラインを作成する
Hololens 2でアウトラインに3Dパーツを配置する
PCでアウトラインの作成
Guideアプリを起動すると図 5のホーム画面になり、作成済みガイドの一覧が表示されます。ここで①の「＋」ボタンで新規作成するか、②の既存のガイドを選ぶとアウトラインが表示されます。
アウトラインでは、3Dパーツの配置以外の作業手順を作成します。アウトラインは“タスク"と"ステップ"で構成され、アウトラインには１つ以上のタスクと完了タスク、タスクには１つ以上のステップの階層構造で作成します。
今回のユースケースである自動販売機の利用方法を分解して、アウトラインのステップとして作成したのが図 7です。①の説明文は一般的なテキストエディタと同様に手打ちしていきます。②の「画像またはビデオ」と「3Dパーツ」は、そのステップで必要なものを右側の③のライブラリから選んで配置します。オリジナルの3Dモデルをライブラリへアップロードして3Dパーツとして配置することも可能です。ただし、ポリゴン数の多い3Dパーツは不可でした。ポリゴン数の上限は見つけられませんでしたが、イスのモデルは正常で、アニメキャラクターはアップロードできませんでした。また3Dパーツの空間への実際の配置は次のHololens 2で行いますので、この作業は候補をライブラリから選んでおくくらいの意味合いしかありません。ここで選んだものの何らかの理由でHololens 2で空間に配置するのをやめるというのも可能です。続くステップ2からステップ4までが、図 8から図 10になります。
Hololens 2とGuidesを導入する現場に既存の作業手順書があるのであれば、アウトラインの説明文と画像はその作業手順書から移植するのが効率的でしょう。
完成した自動販売機の利用方法のアウトラインが図 11です。簡単な作業なのでタスクは「1.ドリンクを買う」と完了タスクだけになりました。もうちょっとリアルな作業手順書から作成したのが図 12です。これは修理手順のクラウドサービスで有名なiFixitで公開されているスマートフォンのバッテリー交換手順を移植したもので、リアルなデバイスの修理手順になるとタスクもステップもかなり多くなっているのがわかります。
iFixitで使われているクラウドファーストの手順書作成プラットフォームDozukiと比較すると、執筆時点のGuidesではタスクを畳んだり、他のガイドとタスクを共有するといった便利な機能がありません。また、説明文のエディタも平文のみで、箇条書きやアイコンなどリッチテキストをサポートしていません。このような操作性の向上は今後に期待したい点です。
Hololens 2で3Dパーツの配置
Hololens 2のGuidesで、作成済みのガイドを"編集モード"で開き3Dパーツを実際の空間に配置していきます。そのためには3D空間の基準点が必要ですが、Guidesでは図 11の画面にある"アンカー"というQRコードを使います。他の方法もありますがQRコードが一般的なので割愛します。
ガイドを開くと、図 13のようにPCのGuidesで作成した１つめのステップが空中に浮遊して表示されます。
図 13の下側に表示されているPCで選択しておいた3Dパーツを、図 14のように手で掴んで適切な位置に配置します。自動販売機の上に設置しているQRコードがアンカーです。Guidesがアンカーの位置を認識すると、アンカーの見えない位置も含む全方位に3Dパーツを配置できます。
次に3Dパーツをエアータップすると、図 15のように青いホログラムのコントロールが表示されて向きやサイズを微調整できます。この作業を必要な３Dパーツについて繰り返して1つのステップが作成完了です。
Hololens 2のGuidesでは両手を極力使わないで操作できるように、図 13のステップの上部の矢印を一定時間見つめると次のステップに切り替わります。この方法でステップを切り替えながら最後のステップまで上記の作業を繰り返してガイドを完成させます。
ガイドの利用
完成したガイドをHololens 2を使って作業しているところは、動画に撮影しているのでご覧ください。従来の紙やエクセルなどの手順書では実現できなかった、両手がフリーで、操作位置は実物を指し示している点が大きなメリットです。Guidesの作業用のモード（処理モード）は、参照のみ可能です。このモードで参照している時は、自動的に次の分析に必要なデータが収集されます。
ガイドの分析
業務可視化と業務改善は、Guidesで手順を可視化したガイドにし、Hololens 2で使って終わりではありません。手順の可視化はスタートラインで、手順の実行状況のモニタリングと業務改善の実施を継続することが重要です。そのためにGuidesはステップ毎の作業時間を自動的に収集しており、そのデータを集計してPower BIで業務可視化することができます。無償で公開されているGuides用のPower BIのテンプレート2つを紹介します。
図 16はガイド単位の分析ダッシュボードで、ガイド毎に以下を把握できます。⑥のフィルターを変更して作業者単位に絞ることもできます。
- 利用者数
- デバイス数
- 実行回数
- 日別の実行回数
- 日別のステップの実行時間
- ドリルダウン等のフィルター設定
図 17は業務全体の分析ダッシュボードで、全ガイドについて以下を把握できます。⑧のフィルターを変更して作業者単位に絞ることもできます。
- ガイド数
- 利用者数
- デバイス数
- 実行回数
- 日別の実行回数
- ガイド別の実行回数
- ガイド別の平均実行時間
これらのダッシュボードを使って、以下のような業務改善活動ができます。
- 作業の遅い利用者を特定しフォローアップを実施
- 時間のかかっているステップの改善
- 作業がピークの日の把握と改善
- 時間のかかっている作業の改善
- 正確な作業コストの把握と改善
おわりに
本稿ではHololens 2とDynamics 365 Guidesを使った業務可視化・業務改善の事例を紹介しました。とても未来的な印象を持ったかもしれませんが、すでに実証実験や本番利用を始めている企業もあります。筆者が意外に楽だと思ったのは、ガイドの作成にかかる手間です。たとえばゼロから作業手順書を作るのであれば、エクセルの手順書のようにわざわざ図を作成したり画像を撮ったりするのではなく実物を指し示して作れるので、図の作成や撮影の手間が削減できます。
準備や手順がわかってしまえば決して難しくないのでHololens 2を手に入れたらぜひトライしてみてください。
参考リンク
Dynamics 365 Guides マイクロソフト （2020年10月6日閲覧）
https://dynamics.microsoft.com/ja-jp/mixed-reality/guides/Power Platform マイクロソフト （2020年10月6日閲覧）
https://powerplatform.microsoft.com/ja-jp/Teams マイクロソフト （2020年10月6日閲覧）
https://www.microsoft.com/ja-jp/microsoft-365/microsoft-teams/group-chat-softwareiFixit （2020年10月6日閲覧）
https://jp.ifixit.com