2020.08.05祝！新事務所 神戸にかかる虹

最近幸福の兆しを探すことに目覚めた開発の小林です。前回の青い鳥から続いて今回は二重虹です。本社事務所の移転が決まり皆さまにお伝えしたその日、こちら神戸では大きな二重の虹が出て祝福しました。

その虹を自宅にセットした定点カメラがとらえていましたので早送りで紹介します。

すみません。カメラは南を向いていますが虹は東の空に出ましたので半分だけです。(^^;)

この定点カメラはGoProという小型のアクションカメラを窓にくっつけて撮影していますが、実際はものすごい超広角カメラ（魚眼レンズ）でもっと広い範囲が映っています。でもそこは画像処理のプロでありますので虹を出来るだけ綺麗に処理して公開しました。今回は撮影された映像からこの動画が出来るまでの過程をご紹介いたします。

まず、実際に撮影された画像はこんな感じで広くそして歪んでいます。

虹は端っこに控えめに映っていますね・・・

魚眼レンズなので真っすぐな水平線が曲がっています。まずはレンズ歪みを補正します。魚眼レンズの画像は球面に張り付いた絵なので、これを平面に引き延ばすような計算をします。地球儀を世界地図に変換するような感じです。

水平線が真っすぐになりました。しかし垂直の線が台形のように傾いています。透視変換すると消失点が発生するため、平行線は放射状になります。

次に虹の部分だけを切り出します。

左上を基準にほぼ倍の大きさに拡大されました。拡大に伴って遠くの街並みや山の木々がぼけてしまいました。

ここに、現在開発中の劣化復元処理を施します。倍に拡大されたので、解像度が倍に近づくようにパラメータを調整して処理します。これで画素数に相当する解像度になるはずです。

はい。出来上がり。

背景の街並みや木々のディテールが復元されています。虹はもともとぼんやりしたものなのであまり効果がはっきりしませんが、よ～く見ると若干彩度が上がっています。

今回は劣化復元処理の最適パラメータを手作業で探して処理しました。実はパラメータは複数あってその組み合わせすべてで結果確認が必要なので、この作業が非常に大変です。今回の作業もいい加減なパラメータで手を打ちました(^^;)

今季後半はこの大変な手作業パラメータ探しを機械学習と人工知能で解決させる「AI劣化復元処理」をプロジェクトとして立ち上げたいと考えています。

虹の紹介記事なので復元のサンプルとしては全く不向きですが、動画作成の過程で劣化復元を使用したのでご紹介させていただきました。近日中に劣化復元の面白いサンプル画像なども載せていきたいと思います。

コロナ禍で大変な中、暑さも昨年より厳しく感じられます。皆様におかれましてもお身体を大切にお過ごしください。