Computer Vision #4A State-of-the-Art

4.2 多視点幾何

Presented by K. Kawamura

Twitter & hatena: kkei

Outline

カメラによる射影と逆射影

2視点幾何と2重線形拘束

3視点幾何と3重線形基本拘束

4視点幾何と4重線形基本拘束

3視点拘束と4視点拘束

まとめ

2010-07-19 Computer Vision: A State-of-the-Art, 4 2/20

カメラによる射影と逆射影

射影：画像空間

逆射影：画像空間

2010-07-19 Computer Vision: A State-of-the-Art, 4 3/20

射影の導出

空間中の点

画像中の点

画像と空間の射影関係

空間中と画像中の点の関係

画像中の直線

点を通る直線の拘束条件

空間中の点を通る平面の拘束条件

画像中の直線を通る平面

2010-07-19 Computer Vision: A State-of-the-Art, 4 4/20

2視点幾何と2重線形拘束

私的考え方– 2枚の画像における特定の2点を一致させる射影行列を作るのは簡単

– 2枚の画像における，任意の2点を常に一致させる射影行列は難しい＝拘束条件

私的手順– 画像中の点を特定するには，2本の直線が必要

– 空間中の点を特定するには，4枚の平面が必要

– 4枚の平面の交点が一致すれば良い

2010-07-19 Computer Vision: A State-of-the-Art, 4 5/20

2視点幾何と2重線形拘束

2010-07-19 Computer Vision: A State-of-the-Art, 4 6/20

2重線形拘束の導出（1/2）

目標

まずは，直線の交点

次に，平面の交点

さらに，平面を直線と射影に変換

2010-07-19 Computer Vision: A State-of-the-Art, 4 7/20

Levi-Civitaの記号＠物理屋さんエディントンのイプシロン＠数学屋さん

2重線形拘束の導出（2/2）

改めて，平面の交点が一致

並べ替えると

改めて，点と直線の関係，および特殊なテンソルより

直線のテンソルを消去して整理すると

目標達成！

2010-07-19 Computer Vision: A State-of-the-Art, 4 8/20

補足

2重線形拘束はエピポーラ拘束とも呼ばれる

は

– 基礎行列（fundamental matrix）

– 2焦点テンソル（bifocal tensor）

2台のカメラを射影的に校正することと同じ

2010-07-19 Computer Vision: A State-of-the-Art, 4 9/20

小休止

多重線形拘束の導出

– 4枚の平面が，1点で交差すること

– 平面の作り方は自由だが，4枚に限定される

予告

– 適当な平面から拘束条件を導出

– 平面の作り方に応じて複数の拘束タイプを列挙

2010-07-19 Computer Vision: A State-of-the-Art, 4 10/20

3視点幾何と３重線形拘束

2010-07-19 Computer Vision: A State-of-the-Art, 4 11/20

3重線形拘束の導出

平面の交点が一致する

4直線に関するテンソル表記の拘束式に変換

2直線を点に関する拘束式に変換

2010-07-19 Computer Vision: A State-of-the-Art, 4 12/20

目標達成！

を3焦点テンソルと呼ぶ

4視点幾何と4重線形拘束

2010-07-19 Computer Vision: A State-of-the-Art, 4 13/20

4重線形拘束の導出

平面の交点が一致する

4直線に関するテンソル表記の拘束式に変換

2010-07-19 Computer Vision: A State-of-the-Art, 4 14/20

目標達成！

を4焦点テンソルと呼ぶ

別式の立て方

直線 の自由度

– 点 を通過すれば良い

– 他点 を通過すると考える

導出

2010-07-19 Computer Vision: A State-of-the-Art, 4 15/20

直線と2点の関係

直線を点に関する拘束式に変換

は任意でよいので，他の項が0のはず

3視点拘束

対応 線形拘束 独立な式の数

3点 4

2点1直線 2

1点2直線 1

3直線 2

2010-07-19 Computer Vision: A State-of-the-Art, 4 16/20

対応 線形拘束 独立な式の数

4点 16

3点1直線 8

2点2直線 4

1点3直線 2

4直線 1

4視点拘束

2010-07-19 Computer Vision: A State-of-the-Art, 4 17/20

自由度

カメラ行列 11

3次元射影変換 15

2視点 11x2-15=7

– 2焦点テンソル 3x3=9

3視点 11x3-15=18

– 3焦点テンソル 3x3x3=27

4視点 11x4-15=29

– 4焦点テンソル 3x3x3x3=81

2010-07-19 Computer Vision: A State-of-the-Art, 4 18/20

まとめ

多視点幾何における拘束条件の導出

– 拘束条件をテンソル表記で記述

– 平面4枚の交点が一致する拘束

– 平面の作り方による複数タイプの存在

– 自由度の列挙

テンソルってもしかしてすごい便利かも!?

2010-07-19 Computer Vision: A State-of-the-Art, 4 19/20

「なんだか前にはよくわかんなかったテンソルってやつの存在も、近頃はなんとなくわかる気がしてきたんだ

もしかしたらだけどさ、多次元配列に似た概念なんじゃないかなぁって……

要するに、次元数を次元数たらしめるために要請される添え字の不在を否定する表記なんだよ

その2次元なのが行列で、3次元以上なのがテンソル どうかな？」

2010-07-19 Computer Vision: A State-of-the-Art, 4 20/20