ドワンゴと NTT は、ネットワーク技術革新や「ニコニコ生放送」「ニコニコ動画」といった映像サービスの利用者満足度を高める目的で2013年7月より業務提携して共同研究/開発に取り組んできたが、11月20日に都内で第二弾となる成果発表会を開催した。発表内容は、（1）11月17日に行われた小林幸子さんの武道館ライブにおける全天球映像を使ったバーチャル リアリティ（VR）ライブ配信、（2）通信環境に応じて配信レートを予測する「視聴品質最適化技術」、（3）映像圧縮技術「H.265/HEVC」のニコニコ生放送への適用、の3テーマだ。

【限られた通信帯域での全天球 VR ライブの生放送を実用化】

全天球映像を使った VR ライブ配信は、全方位リアルタイム撮影が可能なカメラからの映像データを送出し、ヘッドマウント ディスプレイ（HMD）を着けたユーザーがニコニコ生放送で楽しむというもの。ユーザーの見る方向に合わせて HMD に表示される映像の方向も変わるので、まるでライブ会場にいるような新しい映像体験が可能となる。今回が実用化して初の「実戦投入」だった。


全天球映像をそのまま配信すると、通信データ量は膨大になる。だからといって、転送レートを下げて映像品質を落とすと臨場感の得られないサービスになってしまう。そこで NTT とドワンゴは、限られた通信帯域でも臨場感のある映像を配信できる「全天球映像向けインタラクティブ配信技術」を開発した。

この技術は、全天球映像を複数の領域に分割し、各領域に高品質と低品質のエンコードをかけておき、ユーザーの見ている方向は高品質映像、それ以外の方向は低品質映像を配信するという内容。これにより、ユーザーがどの方向を見ても高品質な映像を楽しめると同時に、全体的な通信データ量を抑えることが可能で、帯域は3分の1に減らせるという。実際のニコニコ生放送で使うことから、ドワンゴの商用システムに組み込んでおり、同時に数万人、数十万人の VR ライブ視聴に耐えるそうだ。また、数か月にはフレームレートを改善できるとした。

今回の VR ライブは全方位カメラ「Ladybug」（ビュープラス製）を使って撮影したが、リアルタイムに全天球映像が撮影できる能力があればカメラの種類は問われない。また、ドワンゴは HMD「Oculus Rift」用の「バーチャルリアリティ生放送視聴アプリケ―ション」を用意していた。

なお、ドワンゴはこの配信システムが実用化できたことを強調し、「できるだけ高頻度に（VR ライブ放送を）やりたい」と述べたが、「こればかりは採用していただくところがないと……」と話し、外部へのサービス提供に前向きな姿勢を示した。

【視聴品質最適化技術でいつでも快適な視聴を】

これは、「niconico（ニコニコ動画/ニコニコ生放送）」視聴時の「快適さ」を高めるために、視聴者の接続環境や時間帯、ネットワーク混雑度などの条件に合わせて最適な配信レートを予測する技術。特にスマートフォン視聴環境を想定しており、通信帯域に余裕がない場合の再生停止回数の低減、余裕がある場合の映像品質向上を目指した。

両社が実験したところ、最繁時に33％のユーザーが再生停止を体験している状況でも、同技術を適用すると再生停止の発生率が1％から2%に下がったという。ユーザーの体感品質（QoE）スコアは、最繁時で35％、1日平均で20％向上可能とした。さらに、無駄に高い配信レートで通信する場面を減らすことができるので、通信データの総量が17％低減する効果も得られた。


こうした成果を踏まえ、ドワンゴは実際の視聴者へ同技術を適用する実証実験を11月20日に開始した。Android 用公式アプリケーションのユーザーから無作為に抽出した視聴者の再生状況を確認し、QoE を調べて品質向上に役立てる考え。なお、ドワンゴから NTT には視聴者が接続している基地局の情報だけを通知し、ユーザーの個人情報などは知らせない。

【PC で次世代動画圧縮「H.265/HEVC」をリアルタイム実行】

H.265/HEVC は、現在広く使われている動画圧縮技術「H.264/MPEG-4 AVC」の次世代版。H.264 と同等品質の映像を半分のデータ量で再生するとされる映像符号化規格だ。ただし、H.264 に比べ計算量が膨れ上がっているため、生放送で必要とされるリアルタイム エンコードの実現が難しかったという。

例えば、今回の発表会はニコニコ生放送でライブ中継されていたが、このような映像を標準化団体の配布している圧縮ソフトウェアで処理すると「5日間くらいかかる」という状況だった。これに対し NTT は、ニコニコ生放送でも使えるような H.265/HEVC リアルタイム エンコード ソフトウェアを開発した。

NTT は、これまで 4K などの大画面向けにチューニングしていた圧縮ソフトウェアだが、ニコニコ生放送のスマートフォン視聴を想定して、低ビットレート/小画面動作向けに最適化を図った。具体的には、以下に示す工夫で H.265/HEVC のリアルタイム圧縮を実現させ、画質を向上させた。

（1）映像を解析し、動きのある前景は小さなブロック、変化の少ない背景は大きなブロックといった具合に分割し、無駄な処理を削減

（2）マルチコア プロセッサの処理能力をいかすため、パイプライン処理をチューニングして空き時間を最小限に抑え、高い並列化効率を維持

（3）人間の視覚特性を利用し、人間が気付きにくい領域は高圧縮、よく気付く領域は低圧縮にする「局所 QP 変動処理」により、全体のデータ量を下げつつ高画質を実現

その結果、パソコンでも H.265/HEVC のリアルタイム圧縮が可能になり、高画質のライブ配信サービスを安価なシステムで構築できるとしている。一方、デコード速度の処理負荷は H.264 と大差なく、「既存のスマホ、それなりのスペック（スマホ）であれば十分再生は可能」とした。


両社は同技術をニコニコ生放送に適用し、処理性能、画質、帯域削減効果などを実証する共同実験を進める。