japan

東芝トップページ > 企業情報 > 研究開発・技術 > 研究開発センター > 研究開発ライブラリ > 通常のカメラの画像から個々の荷物の領域を世界最高精度で推定するAIを開発−現場での事前学習なしで乱雑に積み重なった荷物を高精度に認識する物流ロボットを2021年度に実用化。ロジスティクスオートメーションの加速化を目指す−

知能化システム

通常のカメラの画像から個々の荷物の領域を世界最高精度で推定するAIを開発
−現場での事前学習なしで乱雑に積み重なった荷物を高精度に認識する物流ロボットを2021年度に実用化。ロジスティクスオートメーションの加速化を目指す−

2020年11月30日
株式会社東芝

当社は、通常のカメラ(可視光カメラ)で撮影した画像から、不規則に積み重なった物体の個々の領域(注1)を高精度に推定するAIを開発しました。本AIを自動荷降ろしロボットなどの物流ロボットに搭載することで、荷降ろしやピッキングを正確に行うことが可能になります。公開データ(注2)を用いた本AIの実証実験においては、物体領域の推定における推定精度を従来方式から45%改善する世界トップの性能を達成しました。(注3)また、本AIは通常のカメラによる画像から領域を推定するため、従来の3次元センサーを用いたAIと比較して事前学習の手間を大幅に削減することができます。現場での事前学習も必要なく、導入が容易です。当社は、本AIを組み込んだ荷降ろしロボットを2021年度に市場投入する予定です。
なお、当社は本AIの詳細を、11月30日から12月4日までオンラインで開催されるコンピュータビジョンの国際会議ACCV 2020で発表します。

物流現場における自動化が進む中、倉庫内の荷物の搬送のみならず、荷降ろしやピッキング等の作業もロボットによる自動化が進められています。こうした物流ロボットの市場は、2030年度に、2020年度の約8倍の1,500億円規模になると予測(注4)されています。
また、コロナ禍においては、倉庫のソーシャルディスタンスの確保のための物流ロボット導入がさらに加速することも想定されます。
作業の自動化には、自動荷降ろしロボットやピッキングロボットが多種多様な荷物の領域を正しく認識し、的確につかむことが必要です。このためには、対象となる荷物を上から撮影した場合に、乱雑に積み重なり荷物同士が大きく重なった画像からでも個々の荷物の領域を特定する技術が不可欠です。
荷物の領域の特定には3次元センサーを用いた手法があります。奥行きの測定に優れているため重なり合う荷物の領域を高精度に特定することができますが、センサーのコストと事前学習のために必要となる3次元データの収集負担が高いという課題があります。低コストで荷物の領域を特定する方法として通常のカメラで撮影した画像を使用する技術が注目されていますが、コスト・効率と精度はトレードオフの関係にあり、荷物同士が大きく重なった画像においてはAIが1つの物体であると誤認してしまう危険性がありました。

そこで当社は、物体の候補を点で推定する物体領域抽出方式を開発することで、乱雑に積み重なり荷物同士が大きく重なっているような状況においても、通常のカメラで上から撮影した画像から個々の荷物の領域を高精度に推定することに成功しました。
従来の物体領域抽出技術(注5)は、まず、画像内に含まれる各物体を長方形で囲み、物体の領域の候補に挙げます。次に、その長方形内に含まれる物体の領域を画素単位で推定することで、個々の物体の領域として認識します。しかし、荷物同士が大きく重なっていると物体を囲む長方形も大きく重なり1つの物体であると誤認してしまうなど、個々の荷物の領域を正しく認識できませんでした(図1)。

図1:従来の物体領域推定方式の課題

今回開発した方式では、まず事前学習をしたニューラルネットワークを用いて、画像内の画素ごとに、物体の特徴を示す特徴値を求めます。同じ物体に属する点であれば似た特徴値を、違う物体に属する点であれば異なる特徴値を出力します。次に、似た特徴値となった画素同士をまとめ、その中の代表点を物体の候補点とします。最後に、その候補点に対する物体の領域を画素ごとに推定します。従来方式と比較してより微小な範囲を物体の候補点として捉えるため、上下に重なる2つの物体においても1つの物体としてまとめて捉えることなく、それぞれの領域を正しく推定することができます。これらの技術をベースとしたAIの開発により、荷物同士が大きく重なっているような状況においても、上から撮影した画像から個々の荷物の領域を高精度に推定します(図2)。
当社は、公開データ(注2)を用いた本AIの実証実験において、推定精度を従来方式から45%改善する世界トップの性能を達成しました(図3)。

図2:開発した物体領域推定AIの特徴

図3:ピッキングロボット向け公開データセットによる実証結果

当社は、本AIを組み込んだ荷降ろしロボットを2021年度に市場投入し、ロジスティクスオートメーションの加速化に貢献します。

(注1)物体の領域
「物体の領域を認識する」とは、形などの特徴から、仮に物体が他のものに遮られて部分的にしか見えなくても、実際にそこにあるということを認識すること。

(注2)公開データ
WISDOMデータセット。https://sites.google.com/view/wisdom-dataset/dataset_links

(注3)推定した領域と正解領域の重なりが75%以上であるときを正解としたときの正解率を比較したときの値。当社調べ(2020年11月)

(注4)物流ロボットの市場規模
https://www.yano.co.jp/press-release/show/press_id/2526

(注5)物体領域抽出技術
He et al. “Mask-RCNN”, ICCV2017

お問い合わせ先

株式会社東芝 広報室 小林、山本、本行 03-3457-2100


  • 「研究開発センター」のトップへ
  • このページのトップへ