1. ステレオビジョン技術の紹介
このサイトの目的
右画像のピクセルに正の視差（対応する点が左画像で何ピクセル右にあるかの値）を割り当てる（pixel-disparity model）のではなく， 両目の中心から遠方に至る注視線に奥行き番号を割り当てる（gaze_line-depth model）という新しい考え方によって グラフカットの能力を最大限に生かすことができる，高い精度のステレオビジョン技術について紹介したいと思っています．
このアニメーションはステレオビジョンベンチマークとして有名なTSUKUBA画像の 左右二枚のカメラ画像から復元した立体を様々な角度から見ているものです．
特徴1: 対応点を見つけようとしないステレオビジョン
ステレオビジョンは別名ステレオマッチングとも言われ 左右の画像のどの部分が対応しているかを見つける技術であると考えられてきました． この考え方を捨てて，最初から空間を処理の対象とする新しいステレオビジョン技術です． 次の動画はこの新しいステレオビジョンシステムをリアルタイムで動作させているところです．
特徴2: 階層的近似GPUグラフカットによる高速処理
GPUによるWave-Front-Fetch方式とPush-Relabel方式のグラフカットを実装しました． このグラフカットは ビジョンの分野では最速と考えられているCPUによる BKアルゴリズム(Boykov-Kolmogorov algorithm) に比べて20倍程度高速です． 階層的近似処理を行うとさらに10倍高速となります．Wave-Front-Fetch方式のグラフカットは 独自に考案したものでグラフカットの前半に使うと高い性能を得ることができます． 次の2つの動画のうち最初のものは中心部分の解像度が高くなっていることを示しています． 後のものはカメラを動かす場合を示しています．
特徴3: 安価なウェブカメラ2台でOK
キャリブレーションボード等を使用せずに ステレオ処理を行う景色を使って ステレオレクティフィケーションを行います． このため安価なウェブカメラ2台をステレオカメラとして利用できます． 次の動画はキャリブレーションの様子を示したものです．
自己紹介
長崎大学名誉教授の小栗清と申します． 平成29年(2017)の3月までは長崎大学工学部工学科情報工学コースの教授でしたが， 現在は退職して悠々自適の生活を送っています． 元々の専門はコンピュータの設計や設計手法でした． SFL (Structured Function description Language) はその昔私が中心となって研究開発したハードウェア記述言語です． この7，8年はステレオビジョンと音源定位に興味を持って研究を続けて来ました． 動的再構成可能アーキテクチャ PCA (Plastic Cell Architecture) を随分前に提唱したのですが， これでCPUを作るなど本末転倒な使われ方もあって， アーキテクトもアプリケーションを知らねばなるまいと思って始めたのがステレオビジョンと音源定位の研究です． どんなアプリケーションでも良かったのですが， 一番興味を引いたのがステレオビジョンと音源定位でした． きちんとサーベイをしてからというスタイルは面白くありませんので， とりあえず独自に考えてみるという風に研究を進めてしまったので， 出来上がってから比較してみるとずいぶん違うものが出来たようです． この独自に開発したステレオビジョンはOpenCVのサンプルより少しうまくいっているのではと思える部分もあるので， ここでアイデアやソースコードを紹介したいと思っています． 基本的な考え方は 情報処理学会のCVIM研究会の論文 「対応という概念を使わないステレオビジョン」 に書いています． このタイトルは今考えれば「対応を見つけようとしないステレオビジョン」の方が適切だったように思います． 自宅に「私設ステレオビジョン研究所」を開いて，研究三昧の生活を送っています．