multimedia分野とは - waseda university...multimedia分野とは...
TRANSCRIPT
Multimedia分野とは
• 画像処理の研究を中心に扱っています
• 主な研究分野
▫ 動画像圧縮符号化
▫ 画像認識
▫ 画像鮮明化
▫ 4K, 8K, HDR
• 画像信号処理からコンピュータビジョンまで、動画像に関する研究を幅広く扱っています
▫ 動画像に関係するものであれば、何でも研究できる！
1
動画像圧縮符号化• 符号化とは
▫ 情報をデジタル化し、データの圧縮を行う技術のこと
▫ 現行の方式として、MPEG-2（地上デジタル放送）や、H.264/AVC（インターネット動画共有サービス、ブルーレイディスク）等がある
2
746Mbps⇒ 20Mbps
約1/40に圧縮！
746Mbps⇒ 10Mbps
約1/80に圧縮！
ブルーレイディスクレコーダ
H.264/AVC方式
MPEG-2方式
東京スカイツリー
動画像圧縮符号化• 最新の動画圧縮符号化方式 →H.265/HEVC
▫ 2013年1月に国際規格として承認された
▫ H.264/AVCの約2倍の圧縮効率を実現している
▫ 4Kや8K（2020年本放送）等の、高解像度動画像の圧縮に対応
【 H.264/AVC】 【H.265/HEVC】引用：https://www.ntt-at.co.jp/product/rfs_hevc_sdk/detail.html
地上デジタル放送の16倍の解像度
3
動画像圧縮符号化• 甲藤研の研究内容
▫ H.265/HEVCの性能をさらに改善する手法の提案
▫ H.265/HEVCに対し、最新の8K動画像をテスト動画として使用しながら研究しています！
• 甲藤研における研究例
▫ H.265/HEVC符号化の画質改善
原画像 符号化ブロック分割画像 フレーム間・内予測画像 動きベクトル画像
4
動画像圧縮符号化
5映像の動きベクトルの可視化結果
• H.265/HEVC符号化の画質改善▫ 符号化時の動き推定に用いるCUサイズは、高解像度映像を符号化する場合において、大きい値をとる必要がある
▫ 事前に映像が持つ動きベクトルを測定しておき、それによって
CUサイズや予測モードの切り替えを行う
CUサイズ：大フレーム間予測：有り
フレーム間予測：無し
動きベクトルの多くがほぼ同一
動きベクトルの多くがランダム
画像圧縮符号化
6
• Neural Networkを用いた画像圧縮符号化▫ GAN(Generative Adversarial Network)を用いて画像を圧縮
▫ レート歪みグラフで比較すると、JPEGよりも良く、
JPEG-2000と同程度の圧縮効果
圧縮に使用するGAN
画像品質評価
7
• Neural Networkを用いた画像品質評価▫ CNNによりパッチレベルで品質評価スコアを計算
▫ パッチレベルの品質評価スコアとPre-Saliency Mapを
組み合わせて最終的な品質評価スコアを導出
画像認識• 画像認識 （ コ ン ピ ュ ー タ ビ ジ ョ ン ） と は
▫ 人間が当たり前に行っている視覚の機能を、なんとかコンピュータに持たせよう という研究分野
• 甲藤研における研究例
▫ 温度情報を用いた、画像内の人物検出の精度改善
▫ 監視映像からの不審行動検出
人間 コンピュータ
？？？女の人だ！
8
画像認識• 2次元画像を使用した仮想試着システム
▫ 2次元服画像を用いた仮想試着は体の回転に対応していない▫ より検出精度を高めるために、温度情報や類似度等に基づいて
誤検出判定を行う手法を提案する
9引用：http://www.virtualfashion.jp/KINESYS VIRTUAL FASHION2.5D
画像認識• 姿勢推定技術を用いた人物動作の検知
10
監視カメラが普及しているがリアルタイム監視において警備員による監視では限界
行動検知
踊っている 走っている
座っている
姿勢を推定
間接の動きから行動を検知
画像引用元：https://arxiv.org/pdf/1611.08050.pdf
• 脈波測定による感情推定▫ 監視システムのほとんどは、有事後に不審者へ注目する
→事件が起きる前に不審者を自動特定する
▫ 脈波からストレス量を検知し、感情推定をする
→最終的に事前の不審者検出へ
11
脈波変換
ストレス量の測定
画像認識
画像認識• 監視映像からの不審行動検出
▫ 監視映像に写る人物を追跡し、心拍を計測して特徴量を得ることにより、情動を検出して不審行動の検出を目指す
監視映像人物追跡
顔表面の輝度変化を利用した心拍計測
特徴量取得
心拍数 ピーク間隔変化量
不審行動検出
画像鮮明化• 画像鮮明化とは
▫ 夜間映像などの、視認性が低い映像において、一部の信号を増幅する等して、視認性を上げる技術
• 甲藤研における研究例
▫ 鮮明化処理を考慮した高品質かつ低通信量な２４時間の監視映像システム
▫ 画風変換を用いた画像鮮明化
輝度線形変換法 ヒストグラム平均化法
画像鮮明化▫ 夜間映像などの、視認性が低い映像における、鮮明化処理を
考慮した高品質かつ低通信量な２４時間の監視映像システム
14
画像鮮明化• 画風変換を用いた画像鮮明化
15
Content Image Style Image
Style-transferred Image
原画像画風変換手法
画像引用元：https://research.preferred.jp/2015/09/chainer-gogh//
画風変換
16
Content Image Style Image
Style-transferred Image
画像引用元：https://research.preferred.jp/2015/09/chainer-gogh//
▫ 2枚の入力画像の特徴を併せ持つ画像を生成
両者の特徴に近づくように徐々に更新
4K, 8K, HDR
• 4K, 8K
▫ 地上波デジタル放送の4倍、16倍の解像度を持つ、次世代の超高精細映像
▫ 4K放送、配信は一部で既に開始
▫ 2020年に8K本放送開始予定
17画像引用元：http://www.apab.or.jp/4k-8k/appeal/
4K, 8K, HDR
• HDR(High Dynamic Range)
▫ 超高精細化に加え、表現可能な”色”、ダイナミックレンジも拡大
▫ より実世界に近い映像表現が可能に
18画像引用元：http://www.apab.or.jp/4k-8k/appeal/
4K, 8K, HDR
• 甲藤研での研究内容
▫ 数多く存在する現行のSDR(Standard Dynamic Range)画像をHDR画像相当にする手法を検討
• 甲藤研での研究例1
▫ 既存のテクスチャ修復を伴った画像のHDR化手法を改良、精度を向上させる手法を提案
19
4K, 8K, HDR
• 甲藤研での研究例2
▫ Deep Neural Networksを用いて単一SDR画像からHDR画像を生成する手法について検討
対応するSDR,HDR画像の学習
表現できる明るさを拡大