切れ目のない安全安心を提供するためには、人や建物、敷地など対象の状況を正確に把握することが重要です。センサは状況把握のための手段として利用されています。ただし、センサの視野や稼働範囲、空間分解能に限界があるため、対象の面積が広い場合、カバーしうる数のセンサを用いて把握の網羅性を担保するのが一般的です。またセンサの種類ごとに、把握できる情報が異なるため、把握したい内容に応じて複数のセンサを併用する場合があります。セキュリティ以外にも車の自動運転やロボットなどでも、複数のセンサの融合が用いられています。
複数のセンサの融合は、状況把握の正確性と網羅性を高める重要な技術であるため、本テーマではより高度なサービス提供に繋がる基盤技術の実現を目指しています。
本テーマの成果は、広大な敷地のカメラによる状況把握に応用できます（例：港湾、ショッピングセンター駐車場など）。出入りが禁止されている場所や時間帯に、人や車が存在していれば、明らかに異常だといえます。一方で、人や車の行き来が許容されている場所や時間帯では、人や車が存在するだけでは異常とはいえません。状況を調べ、詳細を把握したうえではじめて異常かどうかが判断できます（例：人がうずくまっている、不審物が放置されているなど）。広大な敷地の状況を隅々まで把握するには、一般的には膨大な数の防犯カメラが必要であり、設置及び運用のコスト費用増大が問題になります。
そこで本テーマでは、疎に設置した固定カメラ（地上設置の防犯カメラ）と移動カメラ（ドローンや自走式ロボット）を併用し、両カメラで得られる情報を融合して、常時広範囲を監視しつつ、いざとなったら詳細に状況が把握できる技術の実現を目指します。この技術により、現実的なコストと高効率・高品質な状況把握が両立できると考えています。
固定カメラと移動カメラは、それぞれ得手不得手があります。固定カメラは広範囲を常時撮影し続けるため異常を見つけやすい反面、環境の条件によっては物体が見えにくくなる場合があります。一方で移動カメラは、バッテリーなどの制約で常時移動し続けることは難しく、ある瞬間に監視できる範囲は限られています。しかし、任意の場所に移動できるため状況把握に適した場所から撮影できます。
例えば、固定カメラで異常なもの（うずくまった人や不審物など）を発見したとき、その物体（以下、目標物）がカメラから遠く離れていたり、照明条件が悪かったりすると、目標物を詳細に捉えられなくなります。この解決方法として、固定カメラの画像情報をもとに、移動カメラを目標物の近くに移動させて撮影することを考えます。しかし、固定カメラの画像情報だけでは、目標物の正確な座標の把握が困難であることや、目標物の外観特徴が鮮明とは限らないなどの問題があります。目標物は多種多様であり、外観特徴の情報が乏しい場合は、近年のAIによる画像認識でも容易ではありません。そのため移動カメラで目標物を特定するのは困難です。
そこで本テーマでは、目標物だけでなく固定カメラと移動カメラに共通に写っている物体（以下、参照物）の画像特徴を利用し、目標物が移動カメラ画像にどのように映るか推定します。さらに移動カメラが移動した際の、推定した画像の動きの情報を組み合わせることで、移動カメラ画像中の目標物を特定します。
目標物が特定できたら、次に目標物の詳細を把握するため移動カメラを制御します。ここでは三次元復元技術を応用した目標物の座標を特定する技術、目標物の座標に対して移動カメラを最適なルートで移動させる技術、目標物の特徴を好適に捉えるための移動カメラの位置・姿勢の最適化技術も活用します。固定カメラだけでは困難だった詳細な状況把握を、移動カメラと協調させることで大きく改善できます。