japan

東芝トップページ > 企業情報 > 研究開発・技術 > 研究開発センター > 研究開発ライブラリ > 単眼カメラで撮影した1枚の画像からカラー画像と距離画像を同時に取得できる撮像技術を開発

AI Technology

単眼カメラで撮影した1枚の画像からカラー画像と距離画像を同時に取得できる撮像技術を開発

2016年6月

概要

当社は、単眼カメラで撮影した1枚の画像から、カラー画像と距離画像を同時に取得できる撮像技術を開発しました。レンズの工夫と画像処理を組み合わせることで、ステレオカメラ並みの高精度な距離検出を実現しました。本技術について、2016年6月8日からパシフィコ横浜で開催される「第22回 画像センシングシンポジウム(SSII2016)」で発表します。

開発の背景

近年、自動車では、前方、後方、周辺に複数のカメラやセンサが搭載され、自動運転などの運転支援の高度化が進みつつあります。また、ドローンやロボットなどの遠隔操作によるインフラ点検など、カメラによる画像センシングの重要性が増しています。これらの用途では、2次元の映像を撮影するだけでなく、対象物の形状、動き、距離などの動的な3次元空間の把握が求められます。従来から、ステレオカメラ(注1)、赤外線デプスセンサ(注2)、超音波センサ(注3)、ミリ波レーダ(注4)、LiDAR(注5)、SfM技術(注6)など、対象物までの距離を計測するさまざまな方式が提案されています。ステレオカメラでは、高い距離精度を得るためには、2つのカメラ間の距離を30cm程度まで離す必要があり、小型化が困難です。赤外線デプスセンサや超音波センサは、それぞれ赤外線パターン光や超音波を対象物に照射して距離を測るため、数10m以上の長距離の対象物の測定が困難になります。ミリ波レーダやLiDARは、装置コストが高く、また小型化が困難です。SfM技術は、カメラを動かしながら撮影した複数枚の画像から対象物の距離を測定するため、動きのある対象物の距離を高精度に検出することが困難となります。
このように、従来の様々な距離センサはそれぞれ一長一短あり、小型・低コストで高精度に距離を取得することが困難でした。

本技術の特徴

そこで当社は、独自のカラーフィルタと画像処理の組み合わせにより、単眼カメラで撮影した1枚の画像から、カラー画像と高精度な距離画像が得られる独自の撮像技術を開発しました。レンズ開口部に、水色と黄色のカラーフィルタからなる独自のカラー開口フィルタを取り付けることで、物体までの距離に応じたボケと色ズレが発生します。撮影された1枚の画像から得られるボケと色ズレを画像解析することで、物体までの距離が画素毎に検出可能となります。本カラーフィルタは、明るさへの寄与率が高い緑色の光を透過させるため、撮像した画像の画質劣化も抑えられます。市販カメラを用いた試作により、カメラ間距離35cmのステレオカメラ並みの距離精度が、単眼カメラで撮影した1枚の画像から得られることを確認しました。本方式は、レンズと画像処理で構成されるため、一般的な安価なイメージセンサを利用して構成することが可能です。

技術イメージ

(左)撮影画像 (右)距離画像 1

(左)撮影画像 (右)距離画像 2

※再生ボタンをクリックすると、YouTubeに掲載している動画が再生されます。
※YouTubeは弊社とは別企業のサービスであり、各サービスの利用規約に則りご利用ください。

今後の展望・予定・目標

今後、カメラの小型化および画像処理の高速化を行い、早期の実用化を目指します。

(注1)2つのカメラで撮影し三角測量の原理で距離を検出

(注2)赤外線のパターンを照射し、赤外線カメラ撮影して照射パターンのずれから距離を検出

(注3)超音波を発信し、反射波の受信時間から距離を検出

(注4)ミリ波を発信し、反射波の受信時間から距離を検出

(注5)Light Detection and Ranging レーザー光を照射して反射波の受信時間から距離を検出

(注6)Structure from Motion カメラを動かしながら撮影した複数視点の画像から距離を計算


  • 「研究開発センター」のトップへ
  • このページのトップへ