【HoloLens開発】日本での発売に備える実機開発　基礎知識編 ~ BRILLIANTSERVICE TECHNICAL BLOG

HoloLensとは、特殊なレンズを通して現実世界の上にCGを投影した映像を見ることのできるデバイスです。
HPU（Holographic Processing Unit）やIMU、環境センサーがついており、装着者の頭の動きや周辺環境を常に測定しその動きに連動してディスプレイ内のCGをレンズに投影させることでCGが現実世界の上に張り付いて、あたかもそこに存在するかのように感じることができます。
またOculus,PS VR等のVR（仮想現実）とは違い、分類はARの一種であるMR（複合現実）とされていて、GoogleGlass等のARのように現実世界もレンズを通して透けて見ることができます。

簡単に分けると以下のような分類になります。

項目	AR(拡張現実)	MR（複合現実）	VR（仮想現実）
有益な情報を現実世界に表示(テキスト画像など)	○	○
現実世界にホログラム(CG)を融合		○
仮想世界に引き込む		○	○
現実世界との置き換え			○

Resource: MicrosoftHoloLens

用途

主な用途としては、ゲーム・教育・デザイン・スマートホーム・医療・コミュニケーションなどへの活用が挙げられます。

ゲーム
こういったHoloLens専用に作成されたアプリケーションや、現在ではWindows StoreにあるXBoxのゲームが利用可能です。
医療・教育
医療では、例えば解剖学という分野があり、その分野を学習するには、人の体を解剖する必要があります。しかし、HoloLensを使用することで、本物を利用せずとも実物に近い形で解剖のシミュレレーションが可能になるそうです。
デザイン
HoloLensであればどんなものでも立体的に見ながらデザインしていくことができます。
下記の動画はHoloStudioというWindowsストアでダウンロードできるデザインツールを使っています。
コミュニケーション
下記の動画のようにホロポーテ－ションといって外部センサーとHoloLensを連動させることで、まるでスターウォーズでよくあるホログラムと会話するシーンを再現できてしまうみたいです。現在はMicrosoft Researchという所で研究されているようです。

Resource: コモンポスト

ソフトウェア

ソフトウェアはHoloLens用にカスタマイズされたWindows10が搭載されており独立したコンピュータとして動きます。またUWP形式で開発されたソフトウェア（WindowsStoreにあるソフトウェア）が実行可能になっています。

Resource: MicrosoftHoloLens

入力操作

視線入力（Gaze Input）・・・ディスプレイの真ん中あるカーソルを頭を動かすことで操作します。PCで言うマウス操作のようなものです。
ジェスチャー入力（Gesture Input）・・・AirTapとBloomの2種類のジェスチャーがあり、AirTapはス下記の画像のような指の動きで選択・スクロール・ドラッグ・リサイズなどの操作が可能。Bloomは、ホームボタンのようなもので実行しているアプリを一時停止・停止、メインメニューを表示させる等の操作が可能になっています。
音声入力（Voice Input）・・・コルタナを起動させて音声入力ができます。基本の音声コマンド一覧は下記の表になります。

コマンド	内容
Select	AirTapの代わりに使用します。ホログラムにカーソルを合わせから発音します。
Place	AirTapの代わりにホログラムを配置します。
Face me	ホログラムにカーソルを合わせて発音するとホログラムが自分の方を向きます
Bigger/Smaller	ホログラムをカーソルを合わせて発音すると、大きく/小さくリサイズできます。
Hey Cortana, go to Start.	Bloomの代わりにスタートメニューを表示します。
Hey Cortana, shut down.	電源を落とします。
Hey Cortana, move <アプリ名> here.	動かしたい場所にカーソルを合わせて発音するとその場所にアプリが移動します。
Hey Cortana, take a picture.	写真を撮影します。

またホログラフィックキーボードが起動しているときタイピングの代わりに、音声入力が可能です。
マイクボタンを押すと音声入力がスタートし、Doneを押すことでストップできます。

機能
空間音響（Spatial Sound）・・・３D音響システムに対応しています。
空間マッピング（Spatial Mapping）・・・周辺環境を認識することができます。これがあることで、壁を認識して壁にウィンドウを張り付けたり、机の上にホログラムを置いたりできます。
空間マーカー（Spatial Anchor）・・・認識された空間内のどこに何が置いたのかを記憶できます。また上記の機能の実装方法がMicrosoftの HoloLensAcademyで学ぶことができるようになっています。
アプリケーションの種類
アプリケーションには２種類あり、HolographicViewと2DViewのアプリケーションに分けられます。
Holographic Viewでは、そのアプリの世界観に没入するため、他のアプリのアイコンは表示されないようになります。またシステム通知などはCortanaの音声通知で行われます。
2D Viewは通常のPCで使用しているようなアプリウィンドウが表示されパワーポイントなどのUWP（Windowsアプリ）も使用できます。Holographic Viewからキーボード入力をすることはできないので、この2DViewに切り替える必要があります。
この２種類を１つのアプリに組み込むことも可能で、状況に応じて切り替えることができます。
Windowsデバイスポータル
Wi-FiやUSBを使用して、HoloLensを遠隔操作で管理・設定ができるWindowsデバイスポータルがあります。デバイスポータルはPCのブラウザからアクセスできるHoloLensのウェブサーバーで、ここを通してデバックを行ったり、HoloLensのカメラを利用して写真や動画を撮ったりと様々な操作が可能です。

新しい法人向けHoloLens(Commercial Suite)の新機能

今まで開発者向けのバージョンしかなかったHoloLensですが先日2016/08/18からHoloLensの法人向けバージョン(Commercial Suite)が発売されました。そして今回法人向け用にアップデートされた機能が以下になります。

機能	説明
KIOSKモード	起動できるアプリを制限する機能。
MDM（Moblie Device Management）	Microsoft In Tuneのように複数のHoloLensデバイスの設定・アプリのインストール・セキュリティ設定をIT部門で一元管理できるようになります。
ID管理	Azure Active Directory*とPINアンロックシステムを使用
ビジネス向けWindows Update	OSアップデートがコントロールされておりLTSB*となっている
データセキュリティ	他のWindowsデバイスと同レベルのセキュリティ保護であるBitlockerによるデータ暗号化とセキュアブートが利用可能。
ワークアクセス	組織内の誰もがHoloLensの仮想プライベートネットワークを通して組織のネットワークに遠隔で接続可能。また認証が必要ですが、Wi-Fiネットワークからのアクセスも可能です。
ビジネス向けWindowsストア	企業専用のWindowsストアを開設可能で、そこに企業のHoloLens用のアプリを入れておくことができます。また選ばれたユーザグループのみしかアクセスできないなどのセキュリティも可能。

Resource: Microsoft

*Azure Active Directory

マイクロソフトが提供する、マルチテナントに対応したクラウドベースのディレクトリと ID の管理サービス

*LTSB(Long Term Servicing Branch)

新機能へのアップグレードを行わずに、現状のバージョンを使い続けることができる。

開発環境

HoloLensは、PC上のエミュレータで動かすことができるので実機を持っていなくても開発可能です。

基本的な開発環境は以下の表の通りになります。アプリケーションとしてはUWPアプリ、UWPDirectXアプリなどが実行できます。

ソフトウェア	メモ
Visual Studio 2015 Update 3	カスタムインストールを選んだ場合、Universal Windows App Developmentツール下でTools (1.4) と Windows 10 SDK (10.0.10586)有効になっているか確認。
HoloLens Emulator(build 10.0.14393.0)	エミュレータのインスト－ルにはHyper-V必須。
Unity HoloLens Technical Preview	最新版バージョンは5.4.0f1（2016/07/22）

ハードウェア

ハードウェアの中で特に注目したいのがHoloLensの肝であるMicrosoft独自開発のHPU（HolographicProcessingUnit）です。これは、HoloLensに多数取り付けられた各種センサーデータの処理を主に行う部分であり、構成は24基のDSPコアを持つHoloLens用にカスタマイズされたTSMC製28nmのプロセッサで約6500万個の論理回路・SRAM(8MB)・DDR3RAM(1GB)・BGAパッケージ(12mm×12mm)をもつそうです。（ Resource:The Register）

項目	内容
重さ	579g ・・・iPadProとiPad Airの間くらいの重さ
連続駆動時間	5.5時間 (高負荷時2.5時間)　実際の使用感は３～４時間くらいのイメージ
OS	Windows 10.0.11802.1033（32-bit）
CPU	Intel 1.04GHz駆動 64-bit クアッドコア Atom x5-Z8100
GPU / HPU	HoloLens Graphics *1
専用ビデオメモリ	114MB
共有システムメモリ	980MB
RAM	2GB
ストレージ	64GB (54.09GB　利用可能)
アプリメモリ使用上限	900MB
バッテリー	16,500mAh
画素数	静止画 2.4MP（2048×1152） / 動画 : 1.1MP（1408×792）
映像フレームレート	60fps
センサー	環境光センサー×1、環境理解カメラ×4、マイク×4、IMU、MRキャプチャ、深度カメラ