Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7784239B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents
[go: Go Back, main page]

JP7784239B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム

Info

Publication number
JP7784239B2
JP7784239B2 JP2021073655A JP2021073655A JP7784239B2 JP 7784239 B2 JP7784239 B2 JP 7784239B2 JP 2021073655 A JP2021073655 A JP 2021073655A JP 2021073655 A JP2021073655 A JP 2021073655A JP 7784239 B2 JP7784239 B2 JP 7784239B2
Authority
JP
Japan
Prior art keywords
tracking
classifier
subject
information processing
completion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021073655A
Other languages
English (en)
Other versions
JP2022167689A (ja
Inventor
茜 井関
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021073655A priority Critical patent/JP7784239B2/ja
Priority to US17/723,853 priority patent/US12406378B2/en
Publication of JP2022167689A publication Critical patent/JP2022167689A/ja
Priority to US19/292,362 priority patent/US20250363646A1/en
Application granted granted Critical
Publication of JP7784239B2 publication Critical patent/JP7784239B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。
近年、Deep Neural Network(DNN)を利用した技術が、高精度な追尾技術として注目を集めている。識別結果を学習用に蓄積し、追尾しながら追尾対象/非追尾対象の識別器を逐次更新するオンライン学習は、学習回数又は学習用データの確保が十分な場合には、追尾精度向上に有用である。非特許文献1には、非特許文献2に記載されるような予め学習済みの追尾方法と、オンライン学習を行う追尾方法とを組み合わせることにより、高精度な追尾を行う技術が開示されている。ここでは、非特許文献2に記載されるオフラインの学習方法は、Fully-Convolutional Siamese Networks fоr Object Tracking(Siam追尾法)と呼ぶ。また、特許文献1では、追尾精度を向上させるために、オンライン学習を行う追尾方法とオフライン学習のみを行う追尾方法とを組み合わせる技術が開示されている。
特開2008-262331号公報
Jinghao Zhou,"Discriminative and Robust Online Learning for Siamese Visual Tracking",[online],令和2年4月3日,AAAI,[令和3年4月1日検索],インターネット<URL:https://ojs.aaai.org//index.php/AAAI/article/view/7002> Luca Bertinetto,"Fully-Convolutional Siamese Networks fоr Object Tracking",[online],平成28年6月30日,AAAI,[令和3年4月1日検索],インターネット<URL:https://arxiv.org/abs/1606.09549>
しかしながら、オンライン学習による追尾は、学習回数又は学習データの確保が不十分な場合には、オンライン学習を用いない場合よりも却って追尾精度が低下する可能性が可能性がある。結果、追尾初期など、学習用データ又は学習回数の確保が十分でない段階においては、オンライン学習による追尾を組み合わせた場合にむしろ追尾精度が低下してしまう恐れが生じてしまう。
本発明は、被写体の追尾を行うために、オンライン学習を行う識別器を含む複数の識別器を有する情報処理装置において、オンライン学習の完成度に応じて、追尾に用いる識別器を適切に選択することを目的とする。
本発明の目的を達成するために、例えば、一実施形態に係る情報処理装置は以下の構成を備える。すなわち、入力画像の内の被写体の追尾を行う第1の識別器と、前記被写体の追尾を行う、前記第1の識別器とは異なる第2の識別器と、の何れか又は両方を用いて前記被写体の追尾を行う追尾手段と、前記第1の識別器の追尾の学習に用いる学習データを取得する取得手段と、前記学習データを用いて、前記被写体の追尾中に前記第1の識別器を学習させるオンライン学習を行う学習手段と、前記オンライン学習の完成度の評価を行う評価手段と、前記完成度の評価に応じて、前記追尾手段が、前記被写体の追尾において、前記第1の識別器を用いるか否かを判断する判断手段と、をさらに備えることを特徴とする。
被写体の追尾を行うために、オンライン学習を行う識別器を含む複数の識別器を有する情報処理装置において、オンライン学習の完成度に応じて、追尾に用いる識別器を適切に選択する。
実施形態1に係る情報処理装置のハードウェア構成の一例を示す図。 実施形態1に係る情報処理装置の機能構成の一例を示す図。 実施形態1に係る処理方法の一例を示すフローチャート。 実施形態1に係る尤度マップの統合処理の一例を示すフローチャート。 実施形態1に係る情報処理装置が生成する尤度マップの一例を示す図。 実施形態1に係る、時間経過に応じた尤度マップの一例を示す図。 実施形態1に係るオンライン学習における損失の時間変化の一例を示す図。 実施形態4に係る処理方法の一例を示す図。
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
[実施形態1]
本実施形態においては、オンライン学習によって、入力画像中の被写体(追尾対象)の追尾を行いながら、画像中の追尾対象/非追尾対象を識別する識別器が逐次更新される。以下、被写体の追尾としては、被写体の探索範囲となる画像の中から追尾対象の候補領域を抽出し、抽出した候補領域それぞれに対して追尾対象らしさを算出することにより、追尾対象の存在する領域を決定する。しかしながら、オンライン学習を行う識別器による被写体の追尾の方法は特にこれには限定されず、例えばテンプレートマッチングを用いた追尾など、任意の公知手法を用いた追尾が行われてもよい。
一方で、オンライン学習では、学習回数が極端に少ない段階では、学習データに対して識別器が適合しにくい。また、オンライン学習では、学習用データが極端に少ない段階では学習が不安定になりやすい。さらに、追尾対象及び非追尾対象の取り得る見た目の分布と、学習データの分布と、の間に解離があるなど、学習データに識別器を適合させても適切な識別面が得られない場合が存在する。以下、このような状態を指して、オンライン学習が完成していない状態と呼ぶものとする。
本実施形態に係る情報処理装置1は、オンライン学習による追尾を行う第1の追尾部(識別器)と、第1の追尾部とは異なる第2の識別器と、を備え、これらの識別器の何れか又は両方を用いて被写体の追尾を行う。情報処理装置1は、第1の追尾部のオンライン学習が完成していない場合には、第1の追尾部を追尾に用いず、第2の追尾部による被写体の追尾を行うことにより、誤追尾の発生を抑制する。このようなことに鑑みて、本実施形態に係る情報処理装置は、オンライン学習による追尾を行う第1の追尾部におけるオンライン学習の完成度の評価を行う。次いで、情報処理装置は、完成度の評価に応じて、被写体の追尾のために第1の追尾部を用いるか否かを判断する。以下、そのような情報処理装置の構成及び処理について、図1~図7を参照して説明を行う。
なお、本実施形態においては第2の追尾部はオンライン学習を行わず、予め学習されているものとして説明を行う。ここで、第2の追尾部の学習の方法は特に限定はされず、また、第2の追尾部の学習の形式(オンライン学習を行うか否か)も特に限定されるわけではない。本実施形態においては、第2の追尾部は、非特許文献2に記載される、追尾対象のテンプレート画像と各候補領域とからCNNによって抽出した特徴同士の相互相関を追尾対象らしさとして検出する、Siam追尾法によって追尾を行うよう予め学習されている。なお、第2の追尾部の学習の形式が異なる場合、又は第2の追尾部の個数の数が2以上ある場合については、実施形態3において説明を行う。
図1は、本実施形態に係る情報処理装置の有するハードウェア構成の一例を示すブロック図である。本実施形態に係る情報処理装置1は、CPU101、ROM102、RAM103、記憶部104、入力部105、表示部106、及び通信部107を備える。SPU101は、ROM102に格納されている制御プログラムを実行し、情報処理装置1の行う処理全体の制御を行う。RAM103は、各機能部が行う処理による各種データを一時記憶する記憶領域、又はワークエリアとして機能する。記憶部104は各種データを格納する記憶領域であり、媒体としては例えばHDD、フラッシュメモリ、各種光学メディアなどが用いられる。入力部105は、例えばキーボード・タッチパネル又はダイヤルなどで構成され、ユーザからの入力を受け付ける。ユーザは、入力部105を介して、追尾対象の設定などのユーザ入力を行うことができる。表示部106は、例えば液晶ディスプレイであり、被写体、及び追尾結果など、各種処理結果をユーザに対して提示する。また、情報処理装置1は、通信部107を介して、撮像装置などの外部の装置を通信を行うこtができる。この通信は、ネットワークを介した無線の通信であってもよく、優先の通信であってもよく、また、情報処理装置1が撮像機能を有していてもよい。
続いて、図2及び図3を参照して、本実施形態に係る情報処理装置1の機能について説明を行う。図2は、本実施形態に係る情報処理装置1の機能構成の一例を示すブロック図である。また、図3は、本実施形態に係る情報処理装置1が行う処理の一例を示すフローチャートである。本実施形態に係る情報処理装置1は、上述のようなオンライン学習による追尾を行う第1の追尾部と、第1の追尾部とは異なる第2の追尾部と、を備えており、これらの追尾部を用いて追尾対象の追尾を行う。なお、本実施形態においては
第2の追尾部はオンライン学習は行わず、予め被写体を検出するように学習されているものとする。
ステップS301で画像取得部201は、追尾対象を設定するための画像を取得する。画像取得部201は、情報処理装置1に接続された撮像装置から画像を取得してもよく、記憶部104に格納されている画像を取得してもよく、不図示の撮像部によって画像を撮像してもよい。
ステップS302で対象指定部202は、ステップS301で取得した画像内の追尾対象を決定する。ここでは、対象指定部202は、入力部105により指定された支持に従って(例えば、表示部106に表示されている被写体をタッチすることにより)、追尾対象を決定することができる。また、対象指定部202は、決定した追尾対象の特徴を表したテンプレートを生成する。以降の追尾処理では、ステップS302で決定された追尾対象についての追尾を行う。
ステップS303で画像取得部201は、追尾を行う画像(ここでは、ステップS302で決定された追尾対象を撮像範囲に含む画像)の取得を行う。ステップS304で領域取得部203は、追尾対象を探索する領域(探索領域)を決定し、ステップS303で取得した画像から決定した領域を切り出す。ここで、領域取得部203は、探索領域を、ステップS303で取得した画像全体としてもよく、直前の処理での追尾対象の位置周辺(例えば、追尾対象を中心とする所定範囲)としてもよい。
ステップS305で結果取得部204は、第1の追尾部と第2の追尾部とのそれぞれを用いて被写体の追尾を行う。ここでは、第1の追尾部はステップS303で取得された探索領域の画像から、ターゲット判定器を用いて尤度マップを作成する。また、第2の追尾部は、ステップS302において得られたテンプレートとステップS303において得られた探索領域の画像との相互関係を計算し、位置ごとに被写体が存在する確率を示す尤度マップを得る。第1の追尾部が行う処理の詳細は、図3の説明において後述するが、これらの追尾部による追尾方法は特に限定されず、任意の公知の追尾方法が採用されてよい。ここでは、第2の追尾部は、上述したように、非特許文献2に記載されるSiam追尾法を用いて、追尾対象と非追尾対象の区別を追尾対象のテンプレートを少なくとも1枚用いて行う手法によって追尾を行うものとする。
ステップS306で完成度判定部205は、第1の追尾部の完成度を算出する。ステップS307で組合わせ部206は、ステップS305で算出した追尾部の完成度に基づいて、追尾対象の追尾に第1の追尾部を用いるか否かを判断し、その判断結果に応じて最終的に追尾に用いる最終尤度マップを算出する。完成度の算出処理、及び完成度に基づく第1の追尾部を用いるか否かの判断処理については後述する。ここでは、組合わせ部206は、第1の追尾部を追尾に用いるものとし、各追尾部の完成度に基づいて、ステップS305で各追尾部から取得された尤度マップを統合して1つの尤度マップを作成するものとして説明する。その後組合わせ部206は、最も尤度の高い領域を追尾対象として検出する。ステップS308で組合わせ部206は、第1の追尾部のターゲット判定器の学習に用いる学習データを、探索領域の画像から取得して記憶部207に格納する。次いでステップS309で組合わせ部206は、記憶部207に格納した学習データを用いて学習を行う。第1の追尾部の学習処理についての詳細な説明は後述する。ステップS310で組合わせ部206は、追尾処理を終了するかどうかを決定する。終了しない場合S303に戻り、追尾処理を継続する。組合わせ部206は、追尾処理を終了するか否かを、例えばユーザの入力を取得することによって判断してもよく、所定の時間追尾を行った場合に終了すると判定してもよく、その基準はユーザによって任意に定められてもよい。
以下で、第1の追尾部における、ステップS306、S307、S308、及びS309における学習の詳細について説明する。第1の追尾部は、探索領域の画像からCNNなどを用いて算出した特徴マップを、ターゲット判定器に入力し、尤度マップを得る。ここで、特徴マップは、幅Wf×高さHf×チャネル数Cfの3次元テンソルであり、探索領域の画像を幅Wf、高さHfの格子状に分割して得られる各小領域の特徴を表すC次元ベクトルを並べたものである。尤度マップとは、探索領域内で追尾対象の存在確率の高い領域に強く反応するマップである。特徴マップ、尤度マップの各セル(小領域)は、それぞれ探索領域の画像を格子状に分割して得られる小領域の特徴と尤度とに相当する。
ステップS306で完成度判定部205は、オンライン学習の学習状況に応じて、第1の追尾部のオンライン学習の完成度を算出する。本実施形態では、新たに学習データが入力された前後の、第1の追尾部の学習において算出する損失の変化量を算出し、この変化量が所定の閾値以下の場合には完成度が1であるとし、そうでなければ完成度が0であるとする。なお、ここでは、完成度が1である(オンライン学習が完成している)か、完成度が0である(オンライン学習が完成していない)かの2値判別による評価が行われる。追尾開始時の画像に対しては、完成度判定部205は、第1の追尾部の完成度は0とする。例えば、第1の追尾部の学習におけるパラメータ更新の前後で、損失値の合計の変化量ΔLが所定の値よりも小さいときに完成と判定して、完成度を1とする。ΔLは、例えば以下のように計算する。
ΔL=|Lt-1ーL| 式(1)
ここで、Lはtイテレーション目の損失値である。イテレーションとは、追尾開始時からのパラメータの更新回数のことである。ここでは、ΔLが所定の閾値未満となった場合に、完成度が1であるとされ、t回目の学習によって第1の追尾部の学習が十分に完成されたものと判断されるが、判定の基準は特にそのようには限定はされない。例えば、完成度判定部205は、数イテレーションにおけるΔLの平均が所定の閾値よりも小さいときに完成度が1であるとしても良い。また、完成度判定部205は、損失値が所定の値より小さくなった場合に、完成度が1であると判定しても良い。
なお、ここでは第1の追尾部について完成度を算出すればいいものとするが、後述する尤度マップの重みづけ和に用いることを考えて、第2の追尾部についても完成度を取得してもよい。また、上述した通り、本実施形態に係る完成度判定部205は、第1の追尾部が完成しているか否かを2値判別するものとして説明を行うが、損失値の大きさなどに基づいて、完成度を0以上1以下の連続値(1に近いほど完成度が高い)で出力しても良い。また、オンライン学習を行わない第2の追尾部については、追尾開始時から完成度を1としてよく、一方で第1の追尾部については、追尾開始時は完成度を0としてよい。
ステップS307における、追尾結果の組み合わせ処理の一例を図4のフローチャートに示す。まず、ステップS401で組合わせ部206は、S305において各追尾部が出力した尤度マップの解像度を、バイリニア補完などの任意の手法を用いて揃える。次いでステップS402で組合わせ部206は、ステップS306で算出した各追尾部の完成度に基づいて、最終的に用いる尤度マップ(最終尤度マップ)の各セルの値を取得する。ここで組合わせ部206は、第1の追尾部が算出した尤度マップと第2の追尾部が算出した尤度マップとを統合することによって最終尤度マップを取得する。また、組合わせ部206は、第1の追尾部の完成度が0である場合には、第2の追尾部が算出した尤度マップを最終尤度マップとして採用する。
ここでは、完成度が連続値で出力されており、組合わせ部206は、各追尾部が算出した完成度の値を重みづけ係数として、尤度マップの各セルの値の重みづけ和を算出し、最終尤度マップを得る処理を行った。このような処理によれば、第1の追尾部による追尾結果の最終尤度マップへの反映率を、第1の追尾部のオンライン学習の完成度が低いうちには制限し、完成度が向上していくにつれて上昇させていくことが可能となる。
その後、ステップS403において組合わせ部206は、最も尤度が高い領域を追尾対象として、その他の領域を非追尾対象として推定し、処理をステップS308へと進める。統合した尤度マップの例を図5に示す。尤度マップ501においては、追尾対象502が表示されており、追尾対象502の中心付近のセル503の尤度が高い値を示すものとして黒色に表示されている。この場合では、追尾対象502は、この相関値が最も高いセル503に位置していると推定できる。ここでは、尤度マップを1つの最終尤度マップに統合する方法として、尤度マップの重みづけ和を算出する方法を一例として挙げたが、尤度マップ同士の積を取るなど、それぞれの尤度の値が反映される統合方法であれば特にこれに限定されるわけではない。
ステップS308で組合わせ部206は、まず、探索領域の画像の各セルに対して、ステップS403で追尾対象/非追尾対象の識別を行った結果を、ラベルとして付与する。また、組合わせ部206は、上述したように、識別結果として、第1の追尾部のみの結果、又は第2の追尾部のみの結果を、完成度に応じて選択的に用いても良い。
次いでステップS309における第1の追尾部による学習処理の詳細について説明する。まず組合わせ部206は、学習データである特徴量とラベルの組を記憶部207から複数取得する。次いで組合わせ部206は、特徴量をターゲット判定器に入力し、追尾対象らしさの尤度を得た後、尤度とラベルに基づいて損失を算出する。次に組合わせ部206は、算出した損失に基づいて、勾配法を用いてターゲット判定器のパラメータを更新する。この処理は一般的な学習処理と同様であり、詳細な説明は省略する。
損失関数は、追尾対象を正しく推定できた場合は損失が小さくなり、非追尾対象を追尾対象であると推定した場合や追尾対象を非追尾対象であると推定した場合は、損失値が大きくなるように設計する。損失値Lは、例えば次の式(2)のように記述できる。
ここでLはtイテレーション目の損失値であり、Nはtイテレーション目に損失値の計算に用いた学習データの数であり、loss はi番目の学習データに関する損失である。また、CinはステップS308で算出したi番目の学習データの追尾対象の尤度であり、Cgtはi番目の学習データのラベルである。ここで算出した損失値Lが、完成度判定に用いられる。式(2)は一例であり、損失の計算式はこれには限定されない。
なお、ここでは、第1の追尾部の完成度が1となった時がオンライン学習が完成したタイミングであり、学習終了のタイミングであるものとして説明を行うが、オンライン学習が完成する条件は特にこれに限定されるわけではない。例えば、組合わせ部206は、パラメータ更新回数をあらかじめ決めておき、イテレーション数tが所定の値に到達した段階でオンライン学習が完成したものとして学習処理を終了させてもよい。
また、情報処理装置1は、ステップS303、又はステップS304などの処理と並行して学習を継続しても良く、これらに限定しない。更新されたパラメータは、学習済みパラメータとして、記憶部207に記憶する。また、第1の追尾部は勾配法によってターゲット判定器のパラメータを逐次更新するものとして説明を行ったが、追尾中に得られる追尾対象/非追尾対象のデータを用いて、追尾対象/非追尾対象の識別面を逐次更新する方法であれば、異なる方法を用いてもよい。
このような構成によれば、オンライン学習を行う第1の追尾部の完成度を算出し、算出した完成度に応じて第1の追尾部と第2の追尾部とを組み合わせて、又は何れか片方を追尾に用いることができる。したがって、第1の追尾部が完成していない場合には、追尾に第1の追尾部を用いないことによって、完成度の低い追尾手段を用いることによる追尾精度の低下を抑制することが可能となる。また、第1の追尾部を追尾に用いる場合であっても、算出した完成度に応じた尤度マップの重みづけ統合を行うことによって、第1の追尾部による追尾結果の最終的な追尾結果への反映率を、完成度に応じて調整することが可能となる。
本実施形態に係る情報処理装置1は、上述したように、オンライン学習を行う第1の追尾部の完成度に応じて、追尾に用いる追尾部を組み合わせる。以下、そのような処理によって追尾精度の低下を抑制する原理について、図6及び図7を参照して説明する。図6は、時刻tがそれぞれ0,1,2,及び3の時における、第1の追尾部の出力として得られた尤度マップと、第2の追尾部の出力として得られた尤度マップとを示す。尤度マップは、追尾対象の尤度が高い領域の色を濃い色で示してある。図7は、時刻tに対応する、第1の追尾部による損失の時間変化を示している。
図6の例において、まず学習初期(t=0)では、第2の追尾部では尤度マップのピーク位置が追尾対象の位置と一致している。一方で第1の追尾部においては、図7に示すように追尾対象と非追尾対象を区別する識別器の学習が進んでおらず、尤度マップ中の追尾対象以外の領域の尤度も高くなりやすい。したがって、第1の追尾部の尤度マップを追尾に用いると誤追尾が起こる可能性が高くなる。
しかしながら、追尾初期(例えば、tが0から2までの期間)以降のオンライン学習が進んだ後には、第1の追尾部の尤度マップは追尾対象と非追尾対象を区別できている。特に、追尾対象とその類似物が近接している時刻t=3では、第2の追尾部の尤度マップでは追尾対象とその類似物との両方に追尾処理が反応し、誤追尾が発生する恐れがある。一方で、第1の追尾部の尤度マップでは、十分なオンライン学習によって追尾対象とその類似物とが区別出来ている。したがって、この場合には第1の追尾部の尤度マップを用いる(又は、両追尾部の尤度マップを統合する)ことにより、誤追尾を抑制することが可能となる。
[変形例1]
また、組合わせ部206は、記憶部104に格納した学習データの数Nが所定の数を超えた場合に、又は学習データの特徴量のバリエーションσが所定の数を超えた場合に、オンライン学習が完了したものとしてもよい。バリエーションσは、例えば以下の式(3)によって、特徴量の共分散行列の固有値λ(i=1,2、……、d)の和として算出することができる。
ここで、特徴量のdは次元数である。このバリエーションαとしては、式(3)のように固有値全てを用いてもよく、固有値が大きい順に並べた上位所定数のみを用いてもよく、所望の抽出処理を行うことができる。この例では、閾値thN、又はthσを用いて、N>thN、若しくσ>thσの何れか、又はその両方が満たされた場合に、第1の追尾部の完成度が1とされ、そうでない場合には完成度が0とされる。
また、本実施形態においては、学習データの数、特徴量のバリエーションの計測、閾値の設定、及び閾値との比較の処理について、追尾対象ごとに行うものとして説明を行ったが、この処理が追尾対象と非追尾対象とのそれぞれに対して行われてもよい。また、本実施形態に係る情報処理装置1によるカテゴリの分類対象は追尾対象/非追尾対象には限らず、例えば追尾対象/その類似物/背景など、3個以上の任意の分類区分が設けられてもよい。
また、本実施形態においては、第1の追尾部における完成度の判定、パラメータの更新は追尾の開始時点から行われるものとして説明を行ったが、これらの処理の開始タイミングは特にこれには限定されず、例えば学習の収束と連動していてもよい。すなわち、学習データが集まったとされたタイミングで第1の追尾部のパラメータの更新を開始してもよく、学習が収束したタイミングから第1の追尾部による追尾を開始してもよい。
追尾初期で、学習データが少数である場合又は追尾対象の見えが激しく変化する場合には、オンライン学習によるターゲット判定器の学習が不安定になりやすい。例えば、追尾初期の画像だけモーションブラーが生じたなど、追尾初期に特殊な見た目の学習データを用いて学習を行うと、その特殊な見た目の追尾対象以外を識別できなくなってしまう可能性がある。一方で、上述の処理によれば、学習データ数、又は特徴量のバリエーションがある程度大きくなってから第1の追尾部による追尾結果を用いることにより、学習データの分布が追尾対象/非追尾対象の取り得る分布に近づき、誤追尾を抑制しやすくなる。
[変形例2]
また、完成度判定部205は、ステップS306の処理で、完成度を、以下に説明する適合度合いに応じて算出しても良い。ここでは、適合度合いとは、新しく追加された学習データの特徴量と、記憶しておいた学習データの特徴量と、の分布の近さの度合いであるものとする。この例では、完成度判定部205は、新しく追加された学習データと記憶しておいた学習データとの分布の相違を定量化し、この相違が所定の値よりも小さいときにオンライン学習が完成したと判定する。定量化の方法としては、新しく追加された学習データと記憶しておいた学習データとの両者を識別するようなCNNを別途用いても良く、Kernel Mean Matchingなどの分布間距離の指標を用いても良い。
このような処理によれば、オンライン学習による追尾結果を追尾に用いることで、学習データの分布が追尾対象/非追尾対象の取りうる分布に近づき、誤追尾を抑制しやすくなる。
[変形例3]
また、完成度判定部205は、ステップS306における完成度判定において、記憶部207に蓄えている学習データに新たに学習データを追加した時の、学習データの特徴量の分布の変化がある程度小さくなった時に、オンライン学習が完成したと判定してもよい。
例えば完成度判定部205は、特徴量の分布の変化を、分布の中心の変化量Δcとばらつきの変化量Δσとで定義する。そして、完成度判定部205は、それらの変化量の何れか、又は両方が所定の閾値(thc、thσ)よりも小さくなった場合に完成度を1とし、それ以外の場合には完成度を0とする。なお、ΔcとΔσとは以下のように定義するものとする。
Δσ=|σ-σt-1| 式(5)
ここで、時刻tは現在時刻、Nは時刻tに得られた学習サンプルの数、f(i=1、2、……、N)は時刻tに得られた学習サンプル、ct-1及びcは時刻t-1と時刻tに得られた学習サンプルのばらつきである。また、σt-1とσとは、式(1)によって算出されてもよい。なお、特徴量の分布の変化はこれに限定されるわけではなく、例えば特徴量の平均又は分散などを用いるなど、分布により変動する他の値を用いて分布の変化を定義してもよい。
このような処理によれば、学習データの特徴量の分布の変化が所定の値よりも小さくなった時にオンライン学習が完成したと判定することができる。したがって、第1の追尾部の学習データの分布が追尾対象/非追尾対象の取り得る分布に適合した段階で、第1の追尾部による追尾結果を用いた追尾を開始することができ、誤追尾を抑制することができる。
[変形例4]
また、完成度判定部205は、一度第1の追尾部の学習が完成した後でも、第1の追尾部の完成度が変動した時は、その完成度に応じて尤度マップにおける追尾結果組み合わせの重みづけを調整してもよい。例えば、完成度判定部205は、第1の追尾部の完成度が低下した場合には、第1の追尾部についての尤度マップでの重みを低下させてもよく、また、重みを0にしてもよい。また、完成度判定部205は、第1の追尾部の完成度が低下した場合に、ターゲット判定器を初期化して学習しなおしてもよい。すなわち完成度判定部205は、既に保存されている学習データの一部又はすべてを記憶部207から削除し、ステップS308~309の処理によってふたたび学習データを取得し学習してもよい。
このような処理によれば、一度第1の追尾部による追尾結果が追尾に用いられた後に、第1の追尾部の完成度が変動した場合に、変動した完成度に応じて再度第1の追尾部と第2の追尾部とを組み合わせて被写体の追尾を行うかの判断を行ってもよい。したがって、追尾初期以外でも、完成度が低い追尾部の出力の尤度マップへの反映率を下げる(又は、追尾に用いない)ことで、追尾精度低下を抑制できる。これは例えば、追尾中に追尾対象の見た目が大幅に変わるときなど、一度完成したとされる追尾部であっても、追尾対象と非追尾対象の識別が困難になりうる場合を想定している。ここで完成度判定部205は、例えば変形例3と同様の算出方法によって完成度を算出することができる。
[変形例5]
また、第1の追尾部は、第2の追尾部で追尾対象の候補を複数抽出した後にターゲット判定を行い追尾対象を検出してもよい。この例では、結果取得部204は、まずは第1の追尾部の尤度マップを出力せず、第2の追尾部についてのみ尤度マップを出力する。組合わせ部206は、第1の追尾部の完成度が低い場合には、第2の追尾部の尤度マップで最も尤度が高い領域を追尾対象として検出する。一方で、第1の追尾部の完成度が高い場合には、組合わせ部206は、まず第2の追尾部の尤度マップの中から、尤度が閾値以上の領域を追尾対象の候補として抽出する。次いで、組合わせ部206は、抽出した各領域に対し、第1の追尾部を用いて特徴抽出とターゲット判定を行って尤度を算出し、最も尤度の高い領域を追尾対象として検出する。また、組合わせ部206は、学習データ取得は、追尾対象として検出した領域だけでなく、その周囲の領域にも追尾対象のラベルを付与しても良い。
[変形例6]
本実施形態においては、第1の追尾部のパラメータは勾配法によって逐次更新され、更新されたパラメータによる検出結果に基づいて完成度の評価が行われた。しかしながら、第1の追尾部のオンライン学習はこの形式には限定されない。例えば、第1の追尾部は、“Sauer,Tracking Holistic Object Representations. In: BMVC2019”に示される方法により、複数のテンプレートを用いる追尾方法についてオンライン学習を行ってもよい。この場合、情報処理装置1は、追尾に用いるテンプレートについて学習を行い、学習したテンプレートに応じて完成度を算出する。例えば組合わせ部206は、テンプレートの個数が所定の値を超えた場合、又はテンプレートの特徴量のバリエーションが所定の値を超えた場合に、オンライン学習が完成したとすることができる。また例えば、完成度判定部205は、テンプレートの個数、又はテンプレートの特徴量のバリエーションに応じて、オンライン学習の完成度を0以上1以下の連続値で出力しても良い。
また例えば、第1の追尾部は、k近傍法を用いて追尾対象の追尾を行う追尾方法についてオンライン学習を行ってもよい。この場合、完成度判定部205は、変形例1又は変形例2と同様の処理によって、温来学習の完成度を算出することができる。
[実施形態2]
実施形態1においては、オンライン学習開始時の、オンライン学習を行う第1の追尾部の完成度を0とし、予め学習されている第2の追尾部の完成度を1とした。また、実施形態1では、オンライン学習が完成した場合に、第1の追尾部の完成度を1とする例について説明を行った。本実施形態においても情報処理装置1は、上述の例と同様の処理を行うが、オンライン学習が完成した場合に、第2の追尾部の完成度を0とする。すなわち、結果取得部204は、オンライン学習が完成した次のフレームから、第1の追尾部の尤度マップのみを用いて被写体の追尾を行う。なお、本実施形態においても、基本的には実施形態1の図3と同様の処理によって追尾処理、及びオンライン学習の学習処理が行われるため、重複する説明は省略する。
このような処理によれば、オンライン学習が完成した場合に、オンライン学習を行う第1の追尾部のみを用いて被写体の追尾を行うことができる。したがって、オンライン学習を行わない第2の追尾部と比較して、第1の追尾部の計算量、又はパラメータのデータ量などが小さい場合に、第1の追尾部のみを用いた追尾に切り替えることにより、処理をより軽量にした追尾を実現することができる。よって、速度の向上及びメモリの節約が可能となる。
[実施形態3]
実施形態1に係る情報処理装置1は、被写体の追尾を行うために、オンライン学習を行う第1の追尾部と、予め学習されている第2の追尾部と、の2つの追尾部を備える。一方で、本実施形態に係る情報処理装置は、被写体の追尾を行うための追尾部を複数有しているが、オンライン学習を行う第1の追尾部を備えているのであれば、他の追尾部の数、及びそれらの追尾部の形式(オンライン学習を行うか否か)は特に制限しない。3つ以上の追尾部が用いられる場合、ステップS305~ステップS307で情報処理装置は、実施形態1と同様の処理により、各追尾部を用いて被写体の追尾を行う。すなわち、各追尾部から尤度マップが取得され、第1の追尾部の完成度に応じて、第1の追尾部と他の追尾部とを組み合わせるか否かが判断される。なお、本実施形態においても、基本的には実施形態1の図3と同様の処理によって追尾処理、及びオンライン学習の学習処理が行われるため、重複する説明は省略する。
ここで、各追尾部ごとに完成度と尤度マップが出力されており、組合わせ部206は、完成度を重みづけ係数としたそれぞれの尤度マップの重みづけ和による統合を行うことにより、追尾に用いる最終尤度マップを出力してもよい。また、組合わせ部206は、実施形態1と同様にして第1の追尾部のオンライン学習が完成したか否か(完成度が1か0か)の判断を行い、完成している場合には第1の追尾部を用いて追尾を行い、そうでない場合には他の追尾部による追尾を行ってもよい。他の追尾部による追尾を行う場合には、それらの追尾部のうちで優先的に使用される追尾部が予め定められてもよく、追尾結果に基づいて追尾に使用される追尾部が選択されてもよい。例えば、組合わせ部206は、各追尾部の完成度を参照して、最も完成度の高い追尾部を追尾に用いるものとして選択することができる。
また、情報処理装置1が、第1の追尾部以外にもオンライン学習を行う追尾部(以下、第3の追尾部と呼ぶ)が有する場合が考えられる。その場合、第3の追尾部は、学習データ、入力データの解像度、又はパラメータの更新頻度などについて、第1の追尾部に対して差異を設けた学習が行われる。この場合でも、組合わせ部206は、第1の追尾部及び第3の追尾部(1つとは限らない)の尤度マップに基づいて最終尤度マップを出力する。ここでは、各追尾部について完成度が算出され、組合わせ部206は、それぞれの完成度を重みづけ係数とした尤度マップの重みづけ和によって最終尤度マップを出力してもよく、最も完成度が高い追尾部の尤度マップを最終尤度マップとして採用してもよい。
さらに、第1の追尾部と第3の追尾部とで探索範囲の大きさが異なる場合が考えられる。この場合、探索範囲のより小さい追尾部で追尾対象を見失った際に、探索範囲の大きい追尾部による追尾に切り替える(探索範囲の大きい追尾部の尤度マップを最終尤度マップとする)ことにより、継続して追尾を行いやすくすることが可能となる。なお、ここでは追尾部は2つであるものとするが、探索範囲の異なる追尾部が3以上存在する場合には、組合わせ部206は、最も探索範囲の小さい追尾部から順に、探索範囲を大きくしていくように追尾部を切り替えて追尾を行ってもよい。また、探索範囲の大きい方の追尾部による追尾を行っている間に、探索範囲のより小さい追尾部によっても追尾対象が検出可能である場合には、組合わせ部206は、探索範囲のより小さい追尾部による追尾に切り替えてもよい。追尾を行う探索範囲を小さくすることにより、探索範囲内に追尾対象の類似物が存在する可能性が減り、誤追尾を抑制することが可能となる。
ここでは、完成度判定部205は、追尾初期には探索範囲が小さい方の追尾部(追尾部A)の完成度を1とし、探索範囲が大きい追尾部(追尾部B)の完成度を0とする。次いで完成度判定部205は、結果取得部204が取得する最終尤度マップに基づいて追尾結果の信頼度を算出し、算出した信頼度が所定の値未満である場合には、追尾部Aの完成度を0とし、追尾部Bの完成度を1とする。その後に信頼度が所定の値以上となった場合には、完成度判定部205は、再び追尾部Aの完成度を1とし、追尾部Bの完成度を0とする。完成度判定部205は、例えば、最終尤度マップのセル中のもっとも大きい値を信頼度として取得してもよい。
このような処理によれば、複数の追尾部について、完成度に応じて使用する追尾部の選択を行い、尤度マップを出力することができる。したがって、追尾性能を向上させることができる。
[実施形態4]
本実施形態に係る情報処理装置1は、被写体の追尾を行うために、ともにオンライン学習を行う追尾部L及び追尾部Sを備える。追尾部Lは、追尾部Sに対してパラメータの更新頻度が低い追尾部であり、追尾対象及び非追尾対象の長期的な特徴(見た目など)の変化を学習する。一方で追尾部Sは、追尾部Lに対してパラメータの更新頻度が高い追尾部であり、追尾対象及び非追尾対象の特徴の急な変化を学習する。なお、追尾部L及び追尾部Sは、基本的にはそれぞれ実施形態1の第1の追尾部と同様にオンライン学習の処理を行うため、重複する説明は省略する。
本実施形態においては、追尾部L及び追尾部Sは、実施形態1の変形例1、又は変形例2と同様の処理によって完成度の判定を行うものとして説明を行う。すなわち、これらの追尾部は、学習回数、学習データの数、学習データの特徴量のバリエーション、又は特徴量の分布の変化に応じて学習が完成したか否かの判定を行う。ここでは、追尾部Lにおいては、この判定に用いられる閾値が、追尾部Sにおいて用いられる閾値よりも高く設定されるものとする。追尾部Sにおいて、完成度の要求水準を追尾部Lよりも低く設定することによって、より追尾部として完成しやすくすることができ、より即応的な学習が可能となる。
なお、この例では、実施形態1の第1の追尾部の代わりに追尾部Sを用いるものとして以下の説明を行う。すなわち、追尾部Sの完成度に応じて、追尾部Sと追尾部Lとを組み合わせて追尾を行うか否かが判断される。しかしながら、この判断は追尾部Lの完成度に応じて行われてもよく、所望の設定がなされてよい。
以下、図8を参照して、本実施形態に係る情報処理装置1の組合わせ部206が行うターゲット判定器の学習処理(ステップS308~ステップS309)の一例について説明を行う。この処理は、ステップS307の処理に後続して行われるものとする。ステップS801で組合わせ部206は、パラメータ更新を行うタイミングを、追尾部ごとに制御する。ここでは、組合わせ部206は、追尾部Lと追尾部Sとのそれぞれに対して、パラメータの更新を行うか否かの判定を行う。パラメータの更新を行うと判定された追尾部については、処理がステップS802へと進み、そうでない判定部については処理が終了する。
上述したように、本実施形態においては追尾部Lよりも追尾部Sの方がパラメータの更新頻度が高い。図3の処理では、学習のループ処理が追尾処理を終了するまで行われる。各追尾部のパラメータの更新頻度は特に限定はされないが、ここでは、組合わせ部206は、追尾部Sについては各ループ処理ごとにパラメータの更新を行うものとし、追尾部Lについてはループの処理の一部のみでパラメータの更新を行うものとする。例えば、組合わせ部206は、追尾精度を更新する方が好ましいことを示すイベントの発生を検知したループにおいて、追尾部Lのパラメータを更新するようにしてもよい。組合わせ部206は、追尾部Lについて、例えば追尾結果の信頼度が低い場合(実施形態3と同様に判定)にのみパラメータを更新するものとしてもよい。また、組合わせ部206は、ステップS305において追尾対象とは別に追尾対象の尤度が高い類似物が検出された場合に、追尾部Lのパラメータを更新するようにしてもよい。なお、組合わせ部206は、例えばループ処理2回ごとなど、所定の間隔を設けて追尾部Lのパラメータを更新するようにしてもよい。
ステップS802で組合わせ部206は、追尾部のターゲット判定器の学習に用いる学習データを、記憶部207に格納されたデータの内から取得する。この処理は、図3のステップS309において行われる処理と同様の処理であるが、追尾部Lと追尾部Sとで、記憶部207内の参照されるデータの範囲が異なる。組合わせ部206は、追尾部Lについては、現在時刻からN時刻前までに取得された学習データを順に取得し、追尾部Sについては現在時刻からM時刻前(N>M)までに取得された学習データを順に取得する。後続するパラメータの更新処理は、図3のステップS309における処理と同様に行われるため、説明は省略する。
このような処理によれば、追尾部ごとにパラメータの更新頻度の異なるオンライン学習を行い、その学習の完成度に応じて、それらの追尾部を組み合わせて追尾を行うか否かを判断することができる。追尾部Lを用いて追尾を行うことにより、追尾対象/非追尾対象について、長期的に維持される(変化しにくい)特徴から追尾を行うことができる。また、追尾部Lよりも短い期間に収集されたデータのみを用いて学習する追尾部Sを用いて追尾を行うことにより、追尾対象/非追尾対象の激しい特徴の変化に素早く対応し、追尾性能を向上させることができるようになる。
また、組合わせ部206は、追尾に用いている追尾部の追尾結果の信頼度が低い場合に、その追尾部よりもパラメータの更新頻度の高い追尾部を追尾に用いるよう切替を行ってもよい。追尾に用いる追尾部を、より高頻度でパラメータの更新を行う追尾部へと切り替えることにより、追尾結果の信頼度が低い場合であってもよい早期の改善を期待することができる。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
1:情報処理装置、201:画像取得部、202:対象指定部、203:領域取得部、204:結果取得部、205:完成度判定部、206:組合わせ部、207:記憶部

Claims (21)

  1. 入力画像の内の被写体の追尾を行う第1の識別器と、前記被写体の追尾を行う、前記第1の識別器とは異なる第2の識別器と、の何れか又は両方を用いて前記被写体の追尾を行う追尾手段と、
    前記第1の識別器の追尾の学習に用いる学習データを取得する取得手段と、
    前記学習データを用いて、前記被写体の追尾中に前記第1の識別器を学習させるオンライン学習を行う学習手段と、
    前記オンライン学習の完成度の評価を行う評価手段と、
    前記完成度の評価に応じて、前記追尾手段が、前記被写体の追尾において、前記第1の識別器を用いるか否かを判断する判断手段と、
    をさらに備えることを特徴とする、情報処理装置。
  2. 前記評価手段は、前記オンライン学習の学習状況に応じて、前記オンライン学習の完成度の評価を行うことを特徴とする、請求項1に記載の情報処理装置。
  3. 前記評価手段は、前記オンライン学習において新たに学習データが入力された前後の前記第1の識別器による追尾結果に基づいて、前記オンライン学習の完成度の評価を行うことを特徴とする、請求項2に記載の情報処理装置。
  4. 前記学習データと、前記学習データを入力とする追尾結果とに基づいて、前記追尾結果における損失を算出する算出手段をさらに備え、
    前記評価手段は、前記オンライン学習において新たに学習データが入力された際の、前記オンライン学習を行う前の第1の識別器において算出された前記損失と、前記オンライン学習を行った後の前記第1の識別器において算出された前記損失と、の変化量に基づいて、前記オンライン学習の完成度の評価を行うことを特徴とする、請求項3に記載の情報処理装置。
  5. 前記評価手段は、前記学習データそれぞれの特徴量の分布に基づいて、前記オンライン学習の完成度の評価を行うことを特徴とする、請求項2に記載の情報処理装置。
  6. 前記評価手段は、前記オンライン学習において新たに学習データが入力された際の、前記学習データの特徴量の分散の変化量に基づいて、前記オンライン学習の完成度の評価を行うことを特徴とする、請求項5に記載の情報処理装置。
  7. 前記オンライン学習の完成度の評価に前記追尾手段による追尾結果の信頼度を用い、
    前記信頼度が所定の値以上の前記追尾手段に、完成していることを示す完成度を付与することを特徴とする、請求項2に記載の情報処理装置。
  8. 前記入力画像の内の領域ごとの前記被写体の尤度を示す第1の尤度マップを作成する第1の作成手段をさらに備え、
    前記信頼度は、前記第1の尤度マップに示される前記被写体の尤度に基づいて設定されることを特徴とする、請求項7に記載の情報処理装置。
  9. 前記第1の識別器による、前記入力画像の内の領域ごとの前記被写体の尤度を示す第2の尤度マップを作成する第2の作成手段と、
    前記第2の識別器による、前記入力画像の内の領域ごとの前記被写体の尤度を示す第3の尤度マップを作成する第3の作成手段と、をさらに備え、
    前記第1の作成手段は、前記第2の尤度マップと前記第3の尤度マップとを用いて前記第1の尤度マップを作成することを特徴とする、請求項8に記載の情報処理装置。
  10. 前記第1の作成手段は、前記評価手段が、前記被写体の追尾において前記第1の識別器を用いると判断した場合に、前記第2の尤度マップと前記第3の尤度マップとを、前記完成度に基づく重みを用いて統合することにより、前記第1の尤度マップを作成することを特徴とする、請求項9に記載の情報処理装置。
  11. 前記第1の作成手段は、
    前記評価手段が前記被写体の追尾において前記第1の識別器を用いないと判断した場合に、前記第3の尤度マップを前記第1の尤度マップとして設定し、
    前記評価手段が前記被写体の追尾において前記第1の識別器を用いると判断した場合に、前記第2の尤度マップを前記第1の尤度マップとして設定することを特徴とする、請求項9に記載の情報処理装置。
  12. 前記評価手段は、前記オンライン学習が完成しているか否かの2値判別によって前記完成度の評価を行い、
    前記判断手段は、前記オンライン学習が完成していないと判別されている場合には前記被写体の追尾において前記第1の識別器を用いないと判断し、前記オンライン学習が完成していると判別されている場合には前記被写体の追尾において前記第1の識別器を用いると判断することを特徴とする、請求項2乃至11の何れか一項に記載の情報処理装置。
  13. 前記追尾手段は、前記第1の識別器を用いないと判断されている場合には、前記第2の識別器のみを用いて前記被写体の追尾を行い、前記第1の識別器を用いると判断されている場合には、前記第1の識別器のみを用いて前記被写体の追尾を行うことを特徴とする、請求項12に記載の情報処理装置。
  14. 前記評価手段は、前記追尾手段による追尾結果の信頼度が所定の閾値未満である場合には前記オンライン学習が完成していないと判別し、前記追尾手段による追尾結果の信頼度が所定の閾値以上である場合には前記オンライン学習が完成していると判別することを特徴とする、請求項12又は13に記載の情報処理装置。
  15. 前記第2の識別器は、前記第2の識別器による前記被写体の追尾中にオンライン学習によって学習される識別器であり、
    前記第1の識別器と前記第2の識別器とで、前記被写体の検出を行う探索範囲が異なり、
    前記追尾手段が、前記被写体の追尾のために、前記第1の識別器及び前記第2の識別器のうちの前記探索範囲が小さい方の識別器を用いている間に、前記被写体が検出されなくなった際に、前記追尾手段が用いる識別器を、前記第1の識別器及び前記第2の識別器のうちの前記探索範囲が大きい方の識別器へと切り替え、
    前記追尾手段が、前記被写体の追尾のために、前記探索範囲が大きい方の識別器を用いている間に、前記探索範囲が小さい方の識別器においても前記被写体が検出可能である場合には、前記追尾手段が用いる識別器を、前記探索範囲が小さい方の識別器へと切り替える、切替手段をさらに備えることを特徴とする、請求項1乃至14の何れか一項に記載の情報処理装置。
  16. 前記第2の識別器が、前記被写体の追尾を行うよう予め学習されている識別器であることを特徴とする、請求項1乃至14の何れか一項に記載の情報処理装置。
  17. 前記第2の識別器が、前記第1の識別器とはオンライン学習によるパラメータの更新頻度が異なる識別器であることを特徴とする、請求項1乃至15の何れか一項に記載の情報処理装置。
  18. 前記追尾手段は、前記被写体の追尾のために前記第1の識別器及び前記第2の識別器の両方を用いている間に、前記追尾手段による追尾結果の信頼度が低いと判断された場合に、前記第1の識別器及び前記第2の識別器のうちの前記更新頻度が高い方の識別器のみを用いて追尾を行うよう切り替えることを特徴とする、請求項17に記載の情報処理装置。
  19. 前記第1の識別器と前記第2の識別器とは、オンライン学習に用いる学習データを収集する期間の長さが異なることを特徴とする、請求項17又は18に記載の情報処理装置。
  20. 入力画像の内の被写体の追尾を行う第1の識別器と、前記被写体の追尾を行う、前記第1の識別器とは異なる第2の識別器と、の何れか又は両方を用いて前記被写体の追尾を行う工程と、
    前記第1の識別器の追尾の学習に用いる学習データを取得する工程と、
    前記学習データを用いて、前記被写体の追尾中に前記第1の識別器を学習させるオンライン学習を行う工程と、
    前記オンライン学習の完成度の評価を行う工程と、
    前記完成度の評価に応じて、前記被写体の追尾において前記第1の識別器を用いるか否かを判断する工程と、
    をさらに備えることを特徴とする、情報処理方法。
  21. コンピュータを、請求項1乃至19の何れか一項に記載の情報処理装置の各手段として機能させるためのプログラム。
JP2021073655A 2021-04-23 2021-04-23 情報処理装置、情報処理方法、及びプログラム Active JP7784239B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021073655A JP7784239B2 (ja) 2021-04-23 2021-04-23 情報処理装置、情報処理方法、及びプログラム
US17/723,853 US12406378B2 (en) 2021-04-23 2022-04-19 Information processing apparatus, information processing method, and storage medium
US19/292,362 US20250363646A1 (en) 2021-04-23 2025-08-06 Information processing apparatus, information processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021073655A JP7784239B2 (ja) 2021-04-23 2021-04-23 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2022167689A JP2022167689A (ja) 2022-11-04
JP7784239B2 true JP7784239B2 (ja) 2025-12-11

Family

ID=83694388

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021073655A Active JP7784239B2 (ja) 2021-04-23 2021-04-23 情報処理装置、情報処理方法、及びプログラム

Country Status (2)

Country Link
US (2) US12406378B2 (ja)
JP (1) JP7784239B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005044352A (ja) 2003-07-10 2005-02-17 Advanced Telecommunication Research Institute International 推定装置、推定方法および推定プログラム
JP2008262331A (ja) 2007-04-11 2008-10-30 Toshiba Corp オブジェクト追跡装置およびオブジェクト追跡方法
JP2011034244A (ja) 2009-07-30 2011-02-17 Fujifilm Corp 画像解析装置、画像解析方法およびプログラム
JP2020046928A (ja) 2018-09-19 2020-03-26 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101325691B (zh) * 2007-06-14 2010-08-18 清华大学 融合不同生存期的多个观测模型的跟踪方法和跟踪装置
US9791541B2 (en) * 2014-12-19 2017-10-17 The Boeing Company System and method to improve object tracking using multiple tracking systems
JP6768620B2 (ja) * 2017-09-27 2020-10-14 富士フイルム株式会社 学習支援装置、学習支援装置の作動方法、学習支援プログラム、学習支援システム、端末装置及びプログラム
JP6924413B2 (ja) * 2017-12-25 2021-08-25 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム
WO2020140223A1 (en) * 2019-01-03 2020-07-09 Intel Corporation Continuous learning for object tracking
CN112703513B (zh) * 2019-03-04 2025-05-13 松下电器(美国)知识产权公司 信息处理方法及信息处理系统
CN111242973A (zh) * 2020-01-06 2020-06-05 上海商汤临港智能科技有限公司 目标跟踪方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005044352A (ja) 2003-07-10 2005-02-17 Advanced Telecommunication Research Institute International 推定装置、推定方法および推定プログラム
JP2008262331A (ja) 2007-04-11 2008-10-30 Toshiba Corp オブジェクト追跡装置およびオブジェクト追跡方法
JP2011034244A (ja) 2009-07-30 2011-02-17 Fujifilm Corp 画像解析装置、画像解析方法およびプログラム
JP2020046928A (ja) 2018-09-19 2020-03-26 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Also Published As

Publication number Publication date
US20250363646A1 (en) 2025-11-27
US12406378B2 (en) 2025-09-02
US20220343511A1 (en) 2022-10-27
JP2022167689A (ja) 2022-11-04

Similar Documents

Publication Publication Date Title
US9323337B2 (en) System and method for gesture recognition
CN105654139B (zh) 一种采用时间动态表观模型的实时在线多目标跟踪方法
CN112836639A (zh) 基于改进YOLOv3模型的行人多目标跟踪视频识别方法
CN102982315B (zh) 一种自动检测非手势模式的手势分割识别方法及系统
CN111476817A (zh) 一种基于yolov3的多目标行人检测跟踪方法
CN113327272B (zh) 一种基于相关滤波的鲁棒性长时跟踪方法
CN110147768B (zh) 一种目标跟踪方法及装置
CN114743124B (zh) 一种弹载平台实时目标跟踪方法
CN115527269A (zh) 一种人体姿态图像智能识别方法及系统
CN110689044A (zh) 一种结合目标间关系的目标检测方法及系统
Agha et al. A comprehensive study on sign languages recognition systems using (SVM, KNN, CNN and ANN)
CN112381047B (zh) 一种人脸表情图像的增强识别方法
CN107194413A (zh) 一种基于多特征融合的判别型级联外观模型的目标匹配方法
CN113936246A (zh) 基于联合局部特征判别性学习的无监督目标行人重识别方法
Masood et al. Measuring and reducing observational latency when recognizing actions
JP7784239B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN115761393A (zh) 一种基于模板在线学习的无锚目标跟踪方法
CN119741683B (zh) 基于面部情绪识别的驾驶行为分析方法及相关装置
Alamgir et al. A novel deep learning-based bidirectional elman neural network for facial emotion recognition
CN108520205B (zh) 一种基于Citation-KNN的人体动作识别方法
CN105118073A (zh) 基于Xtion摄像机的人体头部目标识别方法
CN113936336A (zh) 一种基于机器视觉的动车司机疲劳驾驶检测方法
CN114067429A (zh) 动作识别处理方法、装置及设备
Bai et al. Dynamic hand gesture recognition based on depth information
Yang et al. Salient object detection via double random walks with dual restarts

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240423

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250715

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20251031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20251201

R150 Certificate of patent or registration of utility model

Ref document number: 7784239

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150