OTT QoE計測の実際

QoE計測の目的

QoE計測の目的は、チャーン(解約)対策とバグ対策であり、QoEの悪いセッションをあぶり出し、その要因分析を行い、対策を行うこと

動画配信サービスにおけるQoE計測の実際

評価対象

• コンテンツ品質
  • 画面サイズ
  • フレームレート
• 再生のスムーズさ
  • バッファリング待ち
    • 初期バッファリング時間
    • 再生中バッファリング
      • 総バッファリング時間
      • 総バッファリング回数
      • バッファリング割合
  • エラー中断
    • 再生前エラー
    • 再生中エラー

スコア評価

現状、国内の動画サービスにおいては、ほとんどの視聴セッションがサービス想定の最高画質で再生中中断(バッファリング)無く視聴できている。ただし、固定では数パーセント、モバイルでは10%程度の視聴セッションで再生中の中断等の問題が発生している。現状のQoE計測の目的は、これら問題セッションをあぶり出し、何らかの対策を行う事である。

ここで、ITU MOSやNPAWハピネススコアのような数値化(1.0～5.0)されたQoEスコアもあるが、指標としては使いづらい(サービス提供の参考値にならない）。例えば、MOS スコアが4.0だったとしても、実際的なユーザフラストレーションを想定できない。

現実的な評価方法としては、以下のように視聴セッションを分類することである：

• 例：TV向け1080p配信のQoE評価
  • ゼロフラストレーション：以下のAND条件
    • 画面サイズ：1080p
    • 初期バッファリング:1秒以内
    • 再生中バッファリング：0回
    • エラー：0回
  • 高フラストレーション：以下のOR条件
    • 画面サイズ：480p以下
    • 初期バッファリング：8秒以上
    • 再生中バッファリング：30秒以上
    • エラー：1回以上
  • 中フラストレーション
    • ゼロフラストレーションと高フラストレーションの中間値

エラー要因

QoE悪化の原因としては、以下のような要因が考えられる。すべてに対する解析が必要である：

• 時間
  • 昼休み、通勤時間帯、ゴールデンタイム
• ネットワーク
  • AS等
• ユーザ(固有の要因)
  • 宅内ネットアークの不良、端末故障
  • 海外在住(海外からのVPN接続)
• メディアプレイヤーバージョン、OSバージョン、OS種別
  • 特定環境におけるソフトウェアバグ

解析タイミングと内容

• リアルタイム
  • 配信オペレーションセンターで悪QoEセッション率(全体割合)の急増等が無いかを常時監視する
• 日報
  • 全要因における悪QoE率の急増が無いか機械的にチェックする(基本的にバッチ処理)
    • 例：特定OSでのQoE悪化等
• 週報・月報
  • 全要因における悪QoE率について長期的な動向解析を行う

補足：QoE解析の結果はOTT事業のみならず、Internet全体の健全性把握にも役に立つ。また、ISP等のネット事業者にとっても自社ネットサービスの品質把握になる。そのため、可能な限り一般公開した方が良い。

解析ツール

NPAW等のQoE解析サービスの標準ツールでは、このような独自のQoE評価を行うことはできない。独自にQoE生データから解析を行う必要がある。