機械視覚アプリケーションの広角画像で歪みを排除する
By Mark Peterson, VP Advanced Technology at Theia Technologies.
紹介:
今日のビジョンシステムは、適切なレンズがあれば多くの利点を提供します。自律移動ロボット（AMR）、ビンピッキング、ステレオビジョン、農業モニタリングなどのアプリケーションはすべて広角レンズを必要とします。最近まで、超広角の視野を撮影するためのレンズは魚眼レンズのみでした。しかし、魚眼レンズは高いバレル歪みを持ち、画像の端で解像度に影響を与え、最終的にはこれらのレンズの用途を制限していました。
直線レンズだけが超広角の視野を提供し、解像度を損なうことなく、従来の広角レンズに固有のバレル歪みを修正します。このレポートでは、従来の広角レンズを使用する際の課題を提示し、機械視覚アプリケーションでの広角光学の実用化を進めるためにこれらの問題に対処する技術革新について論じます。
広角レンズの設計:
三次元の世界を二次元の平面に表現する際には、異なる光学効果を生む広角レンズの設計において、一般的に二つのアプローチがあります：
- 等角スライス: 各ピクセルが同じ角度を受けるため、画像にバレル歪みが生じます。これは「魚眼」スタイルのレンズです。
- 等平面距離: 各ピクセルが平面上の同じ距離を画像化します。これは直線レンズです。
直線レンズは、現実世界の直線を画像センサー上でも直線として保ちます。これにより、「傾き」や「キー ストーン効果」と呼ばれる現象が生じることがあります。これは、2本の平行線が地平線で収束しているように見える現象です。これらの2本の線がセンサー上で直線として画像化されるため、カメラから遠くなるにつれてキーストーン形状に収束して見えます。このため、物体が視聴者から遠ざかっているように見えます。例外的に、直線レンズが優れているのは、光学軸に対して垂直な平面にある線が対象の場合です。例えば、LCDスクリーンの欠陥を画像化する場合などです。この場合、LCDの直線はセンサー上でも直線として画像化されます。画像センサーの各ピクセルはLCDオブジェクトの同じエリアをカバーし、画像は直線的に見えます。もし同じオブジェクトが等角魚眼レンズで画像化されると、LCDの端が曲がって圧縮されます。画像の端のLCDオブジェクトのエリアは、LCDの中心と同じサイズのエリアに比べて、画像センサーのピクセル数が少なくなります。
また、直線レンズの広い視野の端にある物体によってもこの傾き効果が顕著になります。平行線が収束して見えるため、画像の端にある物体は3Dの伸びを示し、物体が「平坦化」されてレンズからの接線角度に沿って平面に投影されるため、伸びて見えるのです。視野が広いほど（直線レンズの場合）、この効果はより顕著になります。
以下の画像では、直線レンズで撮影されたもので、2台の車は同じ幅ですが、車Bは非常に斜めから見られるため、伸びて見えます。車は同じ幅ですが、カメラに対して同じ平面上にあり、直線レンズはこれらの平面測定をセンサー上の等距離に画像化します。車の長さはセンサー平面に平坦化されるために伸びて見えます。
「図1. 超広角直線レンズによる3D伸びを示す画像」
これにより、等角レンズと比較してエッジ解像度が向上します。この解像度の向上により、物体の検出、識別、位置決めがより正確に行えるようになり、正確かつ同時の位置特定と地図作成が必要な状況認識およびナビゲーションアプリケーションにとって重要です。
光学的歪み:
視野角が80度を超える一般的な広角レンズ、特に魚眼スタイルのレンズは、よく知られている曲がったバレル歪みを持っています。この歪みは、レンズがセンサー上で等角スライスで画像化するために生じます。これにより、画像が圧縮され、曲がって見えるようになり、画像の中心から遠くなるにつれて解像度が低下します（図2参照）。画像の端にある物体は圧縮され、詳細な情報が失われます。この情報はレンズを通過する際に失われたものであり、ソフトウェアによる補正では失われた情報を再取得す ことはできません。
図2. 圧縮により、画像中心から遠くなるにつれて物体の幅が減少し、解像度が低下する。
バレル歪みはソフトウェアで補正することができます（直線レンズ画像を作成することが可能です）が、その際には時間や処理能力が必要となります。これらのコストは、自律移動ロボット（AMR）や無人車両（UV）のナビゲーションなど、リアルタイムアプリケーションでは特に重要になります。
一方、直線レンズはレイテンシーがないという利点があります—補正が不要なため、システムに遅延が導入されることはありません。直線レンズでは、バレル歪みがレンズの設計において光学的に補正されるため、ソフトウェアの介入は必要ありません。
図3. 直線レンズで撮影された同じ視野は、画像の端に向かって解像度が向上していることを示しています。
技術革新:
Theia Technologiesは、産業用途での超広角光学の課題に対応する革新的な技術を開発し、商業化しています。Theiaの特許技術であるLinear Optical Technology® は、直線的で超広角、低歪みまたは歪みのないレンズを実現します。この受賞歴のある技術プラットフォームは、非常に低いバレル歪みで最大135度の水平視野を持つレンズを、さまざまな画像センサー形式および多メガピクセル解像度で提供しています。可視光およびNIR補正モデルで利用可能です。レンズは、最小作動距離が10cmまで対応し、短距離での広範なカバレッジを実現し、狭い検査アプリケーションに適しています。これらのレンズは、最大200lp/mmの解像度性能を提供し、NIR補正により、435nmから940nmの範囲で同様の解像度性能を提供します。
アプリケーション:
超広角で歪みのないレンズは、多くのアプリケーションで利益をもたらします。機械視覚、ロボティクス、自動化アプリケーションにおいて、直線レンズは以下のように役立ちます：
- 物体位置のマッピング支援: 自律移動ロボットや無人車両のリアルタイムナビゲーションに必要な状況認識を高めます。超広角で歪みのない視野を提供する直線レンズ技術により、車両は物体の位置をより正確に検出・計算し、障害物を回避することができ、結果として安全で効率的なナビゲーションが実現します。
- ロボットのエフェクター端での近接焦点と広範なカバレッジ: ピックアンドプレースアプリケーションで、作業面の盲点なしに、色、形、サイズ、バーコードなどに基づいて物体の識別や選別を行うことができます。
- リアルタイムの物体追跡: バレルや魚眼歪みの補正に伴う遅延やレイテンシーなしで物体追跡を実現します。作業面の広角カバレッジにより、物体の位置決めのタイミングやロボットのアクションの精度が向上します。
- 広い範囲でのアイテムの測定と検査: 近距離から広いエリアでアイテムを測定・検査し、異なる種類のパッケージやパッケージの損傷を識別するなどの用途に対応します。
- 遠隔地のパイプラインの高解像度モニタリング: 広い視野が複数のカメラを必要とせずに良好な状況認識を提供します。
- ポータブル/移動可能なセットアップによる人体動作分析: カメラは任意の適切な顧客環境に設置でき、直線レンズにより画像をつなぎ合わせる前に画像の歪み補正が不要になり、システムの迅速かつ正確なキャリブレーションが可能になります。
結論:
現代のビジョンシステムは、大面積の高解像度画像をリアルタイムで表示できる高性能な広角レンズを必要としています。魚眼スタイルのレンズは画像を圧縮し、解像度が失われることでバレル歪みのある画像を作成します。このため、ソフトウェアによる画像補正が必要となり、レイテンシーが生じます。一方、直線レンズは光学的に歪みを補正し、ソフトウェアやそれに伴うレイテンシーなしで、圧縮による解像度の損失もなく、優雅かつ効率的な解決策を提供します。