JP4139990B2

JP4139990B2 - Image processing apparatus, image processing method, image processing program, and image processing program storage medium

Info

Publication number: JP4139990B2
Application number: JP2002166374A
Authority: JP
Inventors: 哲二郎近藤; 幸一藤島
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-06-06
Filing date: 2002-06-06
Publication date: 2008-08-27
Anticipated expiration: 2022-06-06
Also published as: JP2004013544A

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理装置、画像処理方法、画像処理プログラム及び画像処理プログラム格納媒体に関し、例えばパーソナルコンピュータに適用して好適なものである。
【０００２】
【従来の技術】
従来、パーソナルコンピュータ等の情報処理装置の入力装置として、マウスに代表されるポインティングデバイスが広く用いられている。
【０００３】
かかるマウスが接続された情報処理装置においては、例えば机やマウスパッド等の平面上で当該マウスがユーザによって移動操作されると、表示画面上に表示した例えば矢印形状のマウスカーソルを当該操作に応じて移動表示し、これによりユーザが表示画面上の任意の位置を容易かつ直感的に位置指定して各種操作を行い得るようになされている。
【０００４】
【発明が解決しようとする課題】
ここで、例えばＵＳＢ（Universal Serial Bus）等のインターフェースを介することにより情報処理装置に複数のマウスを接続することができる。そして、情報処理装置に接続した複数のマウスをそれぞれ別個のユーザが操作して、複数のユーザによる共同作業を行うことが考えられる。
【０００５】
ところが実際上、このように複数のマウスを情報処理装置に接続したとしても、表示画面に表示されるマウスカーソルは一つであり、当該マウスカーソルは複数のマウスそれぞれに対する操作の合成結果として移動される。このため、情報処理装置に複数のマウスを接続したとしても、複数のユーザが同時にそれぞれ独立した操作を入力することはできず、複数のユーザによる共同作業を行い得ないという問題があった。
【０００６】
本発明は以上の点を考慮してなされたもので、複数のユーザが同時にそれぞれ独立した操作を入力して画像に対する共同作業を行い得る画像処理装置を提案しようとするものである。
【０００７】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、第１のユーザに対して処理対象画像を表示すると共に、第２のユーザに対して処理対象画像を表示し、処理対象画像中のオブジェクト画像の輪郭として予め指定された輪郭線の一部を第１のユーザによる入力に応じて操作される第１のカーソルに応じて修正処理し、当該第１のカーソルと当該処理結果を第１及び第２の表示部に表示し、処理対象画像の輪郭として予め指定された輪郭線の一部が修正処理されているとき、第２のユーザによる入力に応じて操作される第２のカーソルが示す処理対象画像中のオブジェクト画像の輪郭として予め指定された輪郭線の他部を修正処理し、当該第２のカーソルと当該処理結果を第１及び第２の表示部に表示し、第１及び第２のユーザによる完了操作が行われるまで、第１又は第２のユーザによる入力に応じて、オブジェクト画像の輪郭として予め指定された輪郭線に対する修正処理を繰り返すようにした。
【０００８】
第１のユーザによる入力に応じて処理対象画像の一部を処理すると同時に、第２のユーザによる入力に応じて処理対象画像の他部を処理し、これらの処理結果を同時に第１及び第２の表示部に表示するようにしたことにより、複数のユーザが同時にそれぞれ独立した操作を入力して処理対象画像に対する共同作業を行うことができる。
【０００９】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【００１０】
（１）画像処理システムの構成
図１において、１は全体として本発明による画像処理システムの全体構成を示し、画像処理装置２に、４台の同一構成でなるユーザ端末３（３Ａ〜３Ｄ）が接続されて構成される。ユーザ端末３は、キーボード１１及びマウス１２からなる操作入力部１３と、例えば液晶ディスプレイでなる表示部１４とで構成される。
【００１１】
図２に示すように画像処理装置２は、入力インターフェース部２０、情報処理部２１及び表示インターフェース部２２で構成される。入力インターフェース部２０は、各ユーザ端末３Ａ〜３Ｄのキーボード１１及びマウス１２を介して入力された操作を情報処理部２１に供給する。
【００１２】
情報処理部２１は、画像処理装置２の各種機能を所定の画像処理プログラムに従ってソフトウェア的に実行するようになされている。すなわち情報処理部２１は画像処理プログラムに従い、図３に示すように、各ユーザ端末３Ａ〜３Ｄのマウス１２を介してそれぞれ操作されるマウスカーソルＭｃ１〜Ｍｃ４と、処理対象画像Ｓ１とを合成して表示画像を生成し、これを表示インターフェース部２２を介して各ユーザ端末３Ａ〜３Ｄの表示部１４に表示する。
【００１３】
この状態において、ユーザ端末３Ａ〜３Ｄの各ユーザはそれぞれマウスカーソルＭｃ１〜Ｍｃ４を操作し、共同して処理対象画像Ｓ１中のオブジェクト画像Ｏｂｊの輪郭線を指定する。そして情報処理部２１は、各ユーザによる輪郭指定操作によって確定された指定輪郭線に基づいて処理対象画像Ｓ１からオブジェクト画像Ｏｂｊを抽出し、これを合成対象画像に合成して合成画像Ｓ２を生成する。
【００１４】
（２）複数ユーザによるオブジェクト輪郭指定処理
まず、画像処理システム１におけるオブジェクト輪郭指定処理について説明する。上述したようにこの画像処理システム１においては、複数のユーザが共同してオブジェクト画像Ｏｂｊの輪郭線を指定することにより、高い能率で精度良く画像抽出を行い得るようになされている。
【００１５】
この複数ユーザによるオブジェクト輪郭指定処理を、図４に示すフローチャートを用いて説明する。ここで画像処理システム１においては、オブジェクト輪郭指定処理に先立って、ユーザ端末３Ａ〜３Ｄの各ユーザを、最初にオブジェクト画像の輪郭線を指定していく輪郭指定ユーザと、当該輪郭指定ユーザが指定した指定輪郭線を修正する他の輪郭修正ユーザとに割り当てておく。以下、例としてユーザ端末３Ａ（マウスカーソルＭｃ１）のユーザを輪郭指定ユーザとし、他のユーザ端末３Ｂ〜３Ｄ（マウスカーソルＭｃ２〜Ｍｃ４）のユーザを輪郭修正ユーザとして説明する。
【００１６】
図４において、画像処理装置２の情報処理部２１は、ルーチンＲＴ１の開始ステップから入ってステップＳＰ１に移る。ステップＳＰ１において、第１の画像処理手段としての情報処理部２１は、図５に示すように、第１のユーザとしての輪郭指定ユーザによる輪郭指定操作に応じたマウスカーソルＭｃ１の軌跡を指定輪郭線ＢＬとして描画し、第１の表示手段としてのユーザ端末３Ａの表示部１４と、第２の表示手段としてのユーザ端末３Ｂ〜３Ｄの表示部１４とに表示して次のステップＳＰ１に移る。
【００１７】
この状態において各輪郭修正ユーザは、それぞれマウスカーソルＭｃ２〜Ｍｃ４を操作し、指定輪郭線ＢＬにおけるオブジェクト画像とのずれを修正する。
【００１８】
すなわちステップＳＰ２において、第２の画像処理手段としての情報処理部２１は、第２のユーザとしての輪郭修正ユーザによるマウスカーソルＭｃ２〜Ｍｃ４の操作に応じて指定輪郭線ＢＬを修正し、次のステップＳＰ３に移る。
【００１９】
ステップＳＰ３において情報処理部２１は、輪郭指定ユーザ又は輪郭修正ユーザによって所定の輪郭指定完了操作が入力されたか否かを判断する。ステップＳＰ３において否定結果が得られた場合、このことは輪郭指定完了操作が入力されていないことを表しており、このとき情報処理部２１はステップＳＰ１に戻り、再度ステップＳＰ１〜ＳＰ３を繰り返す。
【００２０】
これに対してステップＳＰ３にいて肯定結果が得られた場合、このことは輪郭指定完了操作が入力されたことを表しており、このとき情報処理部２１はステップＳＰ４に移り、指定輪郭線ＢＬを確定して記憶部（図示せず）に記憶し、次のステップＳＰ５でオブジェクト輪郭指定処理を終了する。
【００２１】
かくして画像処理システム１においては、複数のユーザが共同して、高い能率で精度良くオブジェクト画像の指定輪郭線ＢＬを生成することができる。
【００２２】
（３）複数ユーザによる空間混合比の調整処理
続いて情報処理部２１は、このようにして確定された指定輪郭線ＢＬに基づいて処理対象画像Ｓ１からオブジェクト画像Ｏｂｊを抽出し、さらに当該抽出したオブジェクト画像Ｏｂｊを合成対象画像に合成して合成画像Ｓ２を生成する。
【００２３】
ここで、実際の光景をＣＣＤ（Charge Coupled Device ）で撮像した場合、前景の輪郭線の画素（輪郭画素）には、前景と背景の画素値（色成分）が混合されて撮像される。例えば、図６（Ａ）に示すように赤い背景Ｖｂに黒い前景Ｖｌが重なった光景を撮像した場合、撮像画像における輪郭画素Ｐｍには背景の赤色成分と前景の黒色成分とが混合され、暗い赤色となる（図６（Ｂ））。
【００２４】
この輪郭画素Ｐｍの画素値Ｍは、背景画素Ｐｂの画素値をＢ、前景画素Ｐｌの画素値をＬ、空間混合比をαとすると次式で求められる。
【００２５】
【数１】

【００２６】
このような輪郭線を用いて画像抽出した前景を新たな背景画像に合成して合成画像を生成した場合、輪郭画素Ｐｍに含まれる旧背景の色成分が合成画像に持ち込まれてしまう。例えば、図５（Ｂ）の画像から抽出した黒色の前景を、白色の新たな背景に合成した場合、当該前景の輪郭画素Ｐｍには旧背景の赤色成分が含まれるが、当該赤色成分は本来ならば合成画像（白色の背景に黒色の前景）には存在しないものであり、画像品質を低下させたり、合成画像に違和感を生じさせる原因となる。
【００２７】
このためオブジェクト輪郭抽出装置１においては、合成画像における輪郭画素の空間混合比等のパラメータ等を、複数ユーザで共同して調整し得るようになされている。以下に、この複数ユーザによる空間混合比調整処理を図７に示すフローチャートを用いて説明する。
【００２８】
図７において、情報処理部２１はルーチンＲＴ２の開始ステップから入ってステップＳＰ１１に移る。ステップＳＰ１１において情報処理部２１は、図８に示す空間混合比調整画面１００を各ユーザ端末３Ａ〜３Ｄの表示部１４に表示する。
【００２９】
この空間混合比調整画面１００の中央部には、合成画像Ｓ２を表示するための合成画像表示部１０１が設けられているとともに、当該合成画像表示部１０１の右側に、上述した空間混合比αを調整するための混合比操作部１０２、前景の画素値（明度、色相等）を調整するための前景操作部１０３、背景の画素値を調整するための背景操作部１０４及び画像表示部１０１の表示倍率を調整するための倍率操作部１０５が設けられている。
【００３０】
この画素値調整画面１００上において、ユーザ端末３Ａ〜３Ｄの各ユーザはそれぞれマウスカーソルＭｃ１〜Ｍｃ４を操作して輪郭画素Ｐｍのパラメータ（空間混合比α及び画素値）を調整する。ここで画像処理システム１においては、ユーザ端末３Ａ〜３Ｄの各ユーザを、調整対象となる輪郭画素Ｐｍを指定する画素指定ユーザと、当該画素指定ユーザが指定した輪郭画素Ｐｍのパラメータを調整する画素調整とに予め割り当てておく。以下、例としてユーザ端末３Ａ（マウスカーソルＭｃ１）のユーザを画素指定ユーザとし、他のユーザ端末３Ｂ〜３Ｄ（マウスカーソルＭｃ２〜Ｍｃ４）のユーザを画素調整ユーザとして説明する。
【００３１】
続くステップＳＰ１２において情報処理部２１は、画素指定ユーザがマウスカーソルＭｃ１で指定した画素を調整対象画素Ｐｔとして設定し、次のステップＳＰ１３に移る。この状態において、各画素調整ユーザはそれぞれマウスカーソルＭｃ２〜Ｍｃ４を用いて混合比操作部１０２、前景操作部１０３、背景操作部１０４を操作し、調整対象画素Ｐｔの各種パラメータを調整する。
【００３２】
そしてステップＳＰ１３において、第１及び第２の画像処理手段としての情報処理部２１は（１）式に基づき、各画素調整ユーザによってそれぞれ設定されたパラメータに応じて調整対象画素Ｐｔの新たな画素値を算出し、当該画素値に基づいて調整対象画素Ｐｔの表示色を変更して次のステップＳＰ１４に移る。
【００３３】
ステップＳＰ１４において情報処理部２１は、輪郭指定ユーザ又は輪郭修正ユーザによって所定の混合比調整完了操作が入力されたか否かを判断する。ステップＳＰ１４において否定結果が得られた場合、このことは混合比調整完了操作が入力されていないことを表しており、このとき情報処理部２１はステップＳＰ１２に戻り、再度ステップＳＰ１２〜ＳＰ１４を繰り返す。
【００３４】
これに対して、ステップＳＰ１４において肯定結果が得られた場合、このことは混合比調整完了操作が入力されたことを表しており、このとき情報処理部２１はステップＳＰ１５に移り、合成画像Ｓ２を確定して記憶部（図示せず）に記憶し、次のステップＳＰ１６で空間混合比調整処理を終了する。
【００３５】
かくして画像処理システム１においては、複数のユーザが共同して、合成画像における輪郭画素の空間混合比を調整することができる。
【００３６】
（４）動作及び効果
以上の構成において、画像処理装置２の情報処理部２１は、複数のユーザによってそれぞれ操作されるマウスカーソルＭｃ１〜Ｍｃ４とオブジェクト画像Ｏｂｊを含む処理対象画像Ｓ１とを合成して表示画像を生成し、これを各ユーザ端末３Ａ〜３Ｄの表示部１４に表示する。
【００３７】
そして情報処理部２１は、輪郭指定ユーザによるマウスカーソルＭｃ１の操作に応じて指定輪郭線ＢＬを描画していくと同時に、他の輪郭修正ユーザによるマウスカーソルＭｃ２〜Ｍｃ４の操作に応じて指定輪郭線ＢＬを修正する。
【００３８】
これにより画像処理システム１においては、複数のユーザが同時に共同して作業を行うことができ、高い能率で精度良くオブジェクト画像Ｏｂｊの指定輪郭線ＢＬを生成することができる。
【００３９】
そして画像処理装置２の情報処理部２１は、指定輪郭線ＢＬに基づいて処理対象画像Ｓ１からオブジェクト画像Ｏｂｊを抽出し、当該オブジェクト画像Ｏｂｊを合成対象画像に合成して合成画像Ｓ２を生成する。
【００４０】
更に画像処理装置２の情報処理部２１は、合成画像Ｓ２における輪郭画素Ｐｍの空間混合比を調整するための空間混合比調整画面１００においても、複数のユーザによってそれぞれ操作されるマウスカーソルＭｃ１〜Ｍｃ４を表示する。
【００４１】
そして情報処理部２１は、画素指定ユーザによって指定された調整対象画素Ｐｔのパラメータを、他の画素調整ユーザによるマウスカーソルＭｃ２〜Ｍｃ４の操作に応じて調整する。
【００４２】
これにより画像処理システム１においては、複数のユーザが同時に共同して作業を行うことができ、高い能率で合成画像Ｓ２における輪郭画素Ｐｍの空間混合比を調整することができる。
【００４３】
（５）他の実施の形態
なお上述の実施の形態においては、複数のユーザ端末３を直接画像処理装置２に接続した場合に付いて述べたが、本発明はこれに限らず、図９に示すように、画像処理装置２及び複数のユーザ端末３にそれぞれネットワークインターフェース４を接続し、当該ネットワークインターフェース４及びネットワーク５を介してユーザ端末３と画像処理装置２とを接続するようにしてもよい。この場合、複数のユーザ端末３をそれぞれ異なる場所に配置することができ、遠隔地にいるユーザ同士がそれぞれのユーザ端末３を操作して共同作業を行うことができる。
【００４４】
また上述の実施の形態においては、４台のユーザ端末３を画像処理装置２に接続し、４人のユーザで共同して輪郭指定等の画像処理を行う場合について述べたが、本発明はこれに限らず、２台又は３台、あるいは４台以上のユーザ端末３を画像処理装置２に接続し、２人又は３人、あるいは４人以上のユーザで共同して輪郭指定等の画像処理を行うようにしてもよい。
【００４５】
さらに上述の実施の形態においては、１人のユーザを輪郭指定ユーザに割り当て、その他のユーザを輪郭修正ユーザに割り当てるようにしたが、本発明はこれに限らず、複数人のユーザを輪郭指定ユーザに割り当てるようにしてもよい。同様に上述の実施の形態においては、１人のユーザを画素指定ユーザに割り当て、その他のユーザを画素調整ユーザに割り当てるようにしたが、本発明はこれに限らず、複数人のユーザを画素指定ユーザに割り当てるようにしてもよい。
【００４６】
また上述の実施の形態においては、マウス１２を介してユーザの操作を入力するようにした場合について述べたが、本発明はこれに限らず、トラックボールやタッチパッド、あるいはタブレットやジョイスティック等、他の種々のポインティングデバイスを介してユーザの操作を入力するようにしても良い。
【００４７】
また上述の実施の形態においては、画像からオブジェクトを抽出して他の画像に合成する画像処理装置に本発明を適用した場合について述べたが、本発明はこれに限らず、複数のユーザで画像に対する操作を行う他の種々の画像処理装置に本発明を適用しても良い。
【００４８】
さらに上述の実施の形態においては、予め設定された画像処理プログラムに従って上述のオブジェクト輪郭指定処理及び空間混合比調整処理を行うようにした場合について述べたが、本発明はこれに限らず、画像処理プログラムが格納されたプログラム格納媒体を画像処理装置２にインストールすることにより、オブジェクト輪郭指定処理及び空間混合比調整処理を行うようにしてもよい。
【００４９】
上述した表示制御プログラムを画像処理装置２にインストールして実行可能な状態にするためのプログラム格納媒体としては、例えばフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory ）、ＤＶＤ（Disital Versatile Disc）等のパッケージメディアのみならず、表示制御プログラムが一時的もしくは永続的に格納される半導体メモリや磁気ディスク等で実現しても良い。また、これらプログラム格納媒体に表示制御プログラムを格納する手段として、ローカルエリアネットワークやインターネット、ディジタル衛星放送等の有線及び無線通信媒体を利用しても良く、ルータやモデム等の各種通信インターフェースを介して格納するようにしても良い。
【００５０】
【発明の効果】
上述のように本発明によれば、第１のユーザに対して処理対象画像を表示すると共に、第２のユーザに対して処理対象画像を表示し、処理対象画像中のオブジェクト画像の輪郭として予め指定された輪郭線の一部を第１のユーザによる入力に応じて操作される第１のカーソルに応じて修正処理し、当該第１のカーソルと当該処理結果を第１及び第２の表示部に表示し、処理対象画像の輪郭として予め指定された輪郭線の一部が修正処理されているとき、第２のユーザによる入力に応じて操作される第２のカーソルが示す処理対象画像中のオブジェクト画像の輪郭として予め指定された輪郭線の他部を修正処理し、当該第２のカーソルと当該処理結果を第１及び第２の表示部に表示し、第１及び第２のユーザによる完了操作が行われるまで、第１又は第２のユーザによる入力に応じて、オブジェクト画像の輪郭として予め指定された輪郭線に対する修正処理を繰り返すようにしたことにより、複数のユーザが同時にそれぞれ独立した操作を入力して、処理対象画像に対する共同作業を行い得る画像処理装置、画像処理方法、画像処理プログラム及び画像処理プログラム格納媒体を実現することができる。
【図面の簡単な説明】
【図１】本発明による画像処理システムの全体構成を示すブロック図である。
【図２】画像処理装置の構成を示すブロック図である。
【図３】表示画像の構成を示す略線図である。
【図４】オブジェクト輪郭指定処理手順を示すフローチャートである。
【図５】輪郭指定と輪郭修正の説明に供する略線図である。
【図６】輪郭画素における成分の混合の説明に供する略線図である。
【図７】空間混合比調整処理手順を示すフローチャートである。
【図８】空間混合比調整画面の構成を示す略線図である。
【図９】他の実施の形態の画像処理システムの全体構成を示すブロック図である。
【符号の説明】
１、１０……画像処理システム、２……画像処理装置、３……ユーザ端末、４……ネットワークインターフェース、５……ネットワーク、１１……キーボード、１２……マウス、１３……入力部、１４……表示部、２０……入力インターフェース、２１……情報処理部、２２……表示インターフェース。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus, an image processing method, an image processing program, and an image processing program storage medium, and is suitable for application to, for example, a personal computer.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, pointing devices represented by mice have been widely used as input devices for information processing apparatuses such as personal computers.
[0003]
In an information processing apparatus to which such a mouse is connected, for example, when the mouse is moved by a user on a plane such as a desk or a mouse pad, an arrow-shaped mouse cursor displayed on the display screen is displayed according to the operation. Thus, the user can easily and intuitively specify an arbitrary position on the display screen and perform various operations.
[0004]
[Problems to be solved by the invention]
Here, for example, a plurality of mice can be connected to the information processing apparatus via an interface such as a USB (Universal Serial Bus). Then, it is conceivable that separate users operate a plurality of mice connected to the information processing apparatus to perform joint work by a plurality of users.
[0005]
However, even if a plurality of mice are connected to the information processing apparatus in this way, there is only one mouse cursor displayed on the display screen, and the mouse cursor is moved as a result of combining the operations for each of the plurality of mice. The For this reason, even if a plurality of mice are connected to the information processing apparatus, a plurality of users cannot input independent operations at the same time, and there is a problem that a plurality of users cannot collaborate.
[0006]
The present invention has been made in consideration of the above points, and an object of the present invention is to propose an image processing apparatus in which a plurality of users can simultaneously input independent operations and perform collaborative work on images.
[0007]
[Means for Solving the Problems]
In order to solve such a problem, in the present invention, the processing target image is displayed to the first user, the processing target image is displayed to the second user, and the contour of the object image in the processing target image is displayed. A part of the contour line designated in advance is corrected according to the first cursor operated in response to the input by the first user , and the first cursor and the processing result are displayed in the first and second displays. In the processing target image indicated by the second cursor operated in response to an input by the second user when a part of the contour line that is displayed on the screen and specified in advance as the contour of the processing target image has been corrected The other part of the contour line designated in advance as the contour of the object image is corrected , the second cursor and the processing result are displayed on the first and second display units, and the first and second users Complete operation is line Until, in response to an input by the first or second user, and repeats the correction processing for the pre-specified contour as the contour of the object image.
[0008]
A part of the processing target image is processed according to the input by the first user, and at the same time, the other part of the processing target image is processed according to the input by the second user. By displaying on the display unit, a plurality of users can simultaneously input independent operations and perform collaborative work on the processing target image.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
An embodiment of the present invention will be described in detail below with reference to the drawings.
[0010]
(1) Configuration of Image Processing System In FIG. 1, 1 indicates the overall configuration of the image processing system according to the present invention as a whole, and four user terminals 3 (3A to 3D) having the same configuration are included in the image processing apparatus 2. Connected and configured. The user terminal 3 includes an operation input unit 13 including a keyboard 11 and a mouse 12, and a display unit 14 including, for example, a liquid crystal display.
[0011]
As shown in FIG. 2, the image processing apparatus 2 includes an input interface unit 20, an information processing unit 21, and a display interface unit 22. The input interface unit 20 supplies an operation input via the keyboard 11 and the mouse 12 of each user terminal 3 A to 3 D to the information processing unit 21.
[0012]
The information processing unit 21 is configured to execute various functions of the image processing device 2 in software according to a predetermined image processing program. That is, according to the image processing program, the information processing unit 21 synthesizes the mouse cursors Mc1 to Mc4 respectively operated via the mouse 12 of each user terminal 3A to 3D and the processing target image S1, as shown in FIG. A display image is generated and displayed on the display unit 14 of each of the user terminals 3 A to 3 D via the display interface unit 22.
[0013]
In this state, the users of the user terminals 3A to 3D operate the mouse cursors Mc1 to Mc4, respectively, and jointly specify the contour line of the object image Obj in the processing target image S1. Then, the information processing unit 21 extracts the object image Obj from the processing target image S1 based on the designated contour line determined by the contour designation operation by each user, and synthesizes the object image Obj with the synthesis target image to generate the composite image S2. .
[0014]
(2) Object contour designation processing by a plurality of users First, the object contour designation processing in the image processing system 1 will be described. As described above, in the image processing system 1, a plurality of users can jointly specify the contour line of the object image Obj so that image extraction can be performed with high efficiency and high accuracy.
[0015]
The object contour designation processing by a plurality of users will be described using the flowchart shown in FIG. Here, in the image processing system 1, prior to the object contour designation processing, each user of the user terminals 3A to 3D is designated by the contour designation user who first designates the contour line of the object image and the contour designation user. The designated contour line is assigned to another contour correcting user who corrects the specified contour line. Hereinafter, as an example, the user of the user terminal 3A (mouse cursor Mc1) will be described as a contour designation user, and the users of the other user terminals 3B to 3D (mouse cursors Mc2 to Mc4) will be described as contour correction users.
[0016]
In FIG. 4, the information processing section 21 of the image processing apparatus 2 enters from the start step of the routine RT1 and proceeds to step SP1. In step SP1, the information processing section 21 serving as the first image processing means designates the locus of the mouse cursor Mc1 according to the contour designating operation by the contour designating user as the first user as shown in FIG. Drawing as BL, and displaying on the display unit 14 of the user terminal 3A as the first display unit and the display unit 14 of the user terminals 3B to 3D as the second display unit, the process proceeds to the next step SP1.
[0017]
In this state, each contour correction user operates the mouse cursors Mc2 to Mc4, respectively, to correct the deviation of the designated contour line BL from the object image.
[0018]
That is, in step SP2, the information processing section 21 as the second image processing means corrects the designated contour line BL according to the operation of the mouse cursors Mc2 to Mc4 by the contour correcting user as the second user, and the next step Move to SP3.
[0019]
In step SP3, the information processing section 21 determines whether or not a predetermined contour designation completion operation has been input by the contour designation user or the contour correction user. If a negative result is obtained in step SP3, this indicates that no contour designation completion operation has been input. At this time, the information processing section 21 returns to step SP1 and repeats steps SP1 to SP3 again.
[0020]
On the other hand, when an affirmative result is obtained in step SP3, this indicates that the contour designation completion operation has been input. At this time, the information processing section 21 moves to step SP4 and sets the designated contour line BL. The data is confirmed and stored in a storage unit (not shown), and the object contour designation process is terminated in the next step SP5.
[0021]
Thus, in the image processing system 1, a plurality of users can jointly generate the designated contour BL of the object image with high efficiency and high accuracy.
[0022]
(3) Spatial mixing ratio adjustment processing by a plurality of users Subsequently, the information processing unit 21 extracts the object image Obj from the processing target image S1 based on the designated contour line BL thus determined, and further extracts the object image Obj The composite image S2 is generated by combining the object image Obj with the composite target image.
[0023]
Here, when an actual scene is imaged by a CCD (Charge Coupled Device), the foreground and background pixel values (color components) are mixed and imaged in the foreground contour pixel (contour pixel). For example, as shown in FIG. 6A, when a scene in which a black foreground Vl overlaps a red background Vb is captured, the contour pixel Pm in the captured image is mixed with a red component in the background and a black component in the foreground. It becomes red (FIG. 6B).
[0024]
The pixel value M of the contour pixel Pm is obtained by the following equation, where B is the pixel value of the background pixel Pb, L is the pixel value of the foreground pixel Pl, and α is the spatial mixing ratio.
[0025]
[Expression 1]

[0026]
When a foreground extracted using such a contour line is combined with a new background image to generate a composite image, the color component of the old background included in the contour pixel Pm is brought into the composite image. For example, when the black foreground extracted from the image of FIG. 5B is combined with a new white background, the foreground contour pixel Pm includes the red component of the old background, but the red component is originally Then, it does not exist in the composite image (white background and black foreground), which causes a reduction in image quality or a feeling of strangeness in the composite image.
[0027]
For this reason, in the object contour extracting apparatus 1, parameters such as a spatial mixing ratio of contour pixels in a composite image can be adjusted jointly by a plurality of users. Hereinafter, the spatial mixing ratio adjustment processing by a plurality of users will be described with reference to the flowchart shown in FIG.
[0028]
In FIG. 7, the information processing section 21 enters from the start step of the routine RT2, and proceeds to step SP11. In step SP11, the information processing section 21 displays the spatial mixing ratio adjustment screen 100 shown in FIG. 8 on the display sections 14 of the user terminals 3A to 3D.
[0029]
A composite image display unit 101 for displaying the composite image S2 is provided at the center of the spatial mixture ratio adjustment screen 100, and the above-described spatial mixture ratio α is displayed on the right side of the composite image display unit 101. Display of a mixture ratio operation unit 102 for adjustment, a foreground operation unit 103 for adjusting foreground pixel values (brightness, hue, etc.), a background operation unit 104 for adjusting background pixel values, and an image display unit 101 A magnification operation unit 105 for adjusting the magnification is provided.
[0030]
On the pixel value adjustment screen 100, each user of the user terminals 3A to 3D operates the mouse cursors Mc1 to Mc4 to adjust the parameters (spatial mixture ratio α and pixel value) of the contour pixel Pm. Here, in the image processing system 1, each user of the user terminals 3 A to 3 D is a pixel designated user that designates the contour pixel Pm to be adjusted, and a pixel that adjusts the parameters of the contour pixel Pm designated by the pixel designated user. It is assigned in advance to the adjustment. Hereinafter, as an example, the user of the user terminal 3A (mouse cursor Mc1) will be described as a pixel designation user, and the users of the other user terminals 3B to 3D (mouse cursors Mc2 to Mc4) will be described as pixel adjustment users.
[0031]
In subsequent step SP12, the information processing section 21 sets the pixel designated by the pixel cursor with the mouse cursor Mc1 as the adjustment target pixel Pt, and proceeds to the next step SP13. In this state, each pixel adjustment user uses the mouse cursors Mc2 to Mc4 to operate the mixture ratio operation unit 102, foreground operation unit 103, and background operation unit 104 to adjust various parameters of the adjustment target pixel Pt.
[0032]
In step SP13, the information processing unit 21 serving as the first and second image processing means, based on the expression (1), sets a new pixel value of the adjustment target pixel Pt according to the parameters set by each pixel adjustment user. And the display color of the adjustment target pixel Pt is changed based on the pixel value, and the process proceeds to the next step SP14.
[0033]
In step SP14, the information processing section 21 determines whether a predetermined mixture ratio adjustment completion operation has been input by the contour designation user or the contour correction user. If a negative result is obtained in step SP14, this indicates that the mixing ratio adjustment completion operation has not been input. At this time, the information processing section 21 returns to step SP12 and repeats steps SP12 to SP14 again.
[0034]
On the other hand, when a positive result is obtained in step SP14, this indicates that the mixture ratio adjustment completion operation has been input. At this time, the information processing section 21 moves to step SP15 and displays the composite image S2. It is confirmed and stored in a storage unit (not shown), and the spatial mixing ratio adjustment process is terminated in the next step SP16.
[0035]
Thus, in the image processing system 1, a plurality of users can cooperate to adjust the spatial mixing ratio of the contour pixels in the composite image.
[0036]
(4) Operations and Effects In the above configuration, the information processing unit 21 of the image processing apparatus 2 combines the mouse cursors Mc1 to Mc4 operated by a plurality of users and the processing target image S1 including the object image Obj. A display image is produced | generated and this is displayed on the display part 14 of each user terminal 3A-3D.
[0037]
The information processing unit 21 draws the designated contour line BL according to the operation of the mouse cursor Mc1 by the contour designation user, and at the same time, designates the designated contour line according to the operations of the mouse cursors Mc2 to Mc4 by other contour correction users. Correct BL.
[0038]
As a result, in the image processing system 1, a plurality of users can work together simultaneously, and the designated contour BL of the object image Obj can be generated with high efficiency and high accuracy.
[0039]
Then, the information processing unit 21 of the image processing apparatus 2 extracts the object image Obj from the processing target image S1 based on the designated contour BL, and combines the object image Obj with the synthesis target image to generate a composite image S2.
[0040]
Furthermore, the information processing unit 21 of the image processing apparatus 2 also uses mouse cursors Mc1 to Mc4 operated by a plurality of users on the spatial mixture ratio adjustment screen 100 for adjusting the spatial mixture ratio of the contour pixels Pm in the composite image S2. Is displayed.
[0041]
Then, the information processing unit 21 adjusts the parameter of the adjustment target pixel Pt designated by the pixel designation user according to the operation of the mouse cursors Mc2 to Mc4 by other pixel adjustment users.
[0042]
Thereby, in the image processing system 1, a plurality of users can work together simultaneously, and the spatial mixing ratio of the contour pixels Pm in the composite image S2 can be adjusted with high efficiency.
[0043]
(5) Other Embodiments In the above-described embodiment, the case where a plurality of user terminals 3 are directly connected to the image processing apparatus 2 has been described. However, the present invention is not limited to this, and FIG. As shown, the network interface 4 may be connected to the image processing apparatus 2 and the plurality of user terminals 3, and the user terminal 3 and the image processing apparatus 2 may be connected via the network interface 4 and the network 5. . In this case, a plurality of user terminals 3 can be arranged in different places, and users in remote places can operate each user terminal 3 to perform joint work.
[0044]
Further, in the above-described embodiment, the case where four user terminals 3 are connected to the image processing apparatus 2 and image processing such as contour designation is performed jointly by four users has been described. Not limited to this, two, three, or four or more user terminals 3 are connected to the image processing apparatus 2, and image processing such as contour designation is performed jointly by two, three, or four or more users. You may make it perform.
[0045]
Furthermore, in the above-described embodiment, one user is assigned to the contour designation user, and the other users are assigned to the contour correction user. However, the present invention is not limited to this, and a plurality of users are assigned to the contour designation user. You may make it allocate to. Similarly, in the above-described embodiment, one user is assigned to the pixel designation user and the other users are assigned to the pixel adjustment user. However, the present invention is not limited to this, and a plurality of users are designated as the pixel designation. You may make it allocate to a user.
[0046]
In the above-described embodiment, the case where the user's operation is input via the mouse 12 has been described. However, the present invention is not limited to this, and a trackball, a touch pad, a tablet, a joystick, or the like is used. The user's operation may be input through the various pointing devices.
[0047]
In the above-described embodiment, the case where the present invention is applied to an image processing apparatus that extracts an object from an image and combines it with another image has been described. The present invention may be applied to various other image processing apparatuses that perform operations on the above.
[0048]
Furthermore, in the above-described embodiment, the case where the above-described object contour designation processing and spatial mixing ratio adjustment processing are performed according to a preset image processing program has been described. However, the present invention is not limited to this, and image processing is performed. By installing the program storage medium in which the program is stored in the image processing apparatus 2, the object contour designation process and the spatial mixing ratio adjustment process may be performed.
[0049]
As a program storage medium for installing the above display control program in the image processing apparatus 2 and making it executable, for example, a flexible disk, a CD-ROM (Compact Disc-Read Only Memory), a DVD (Distal Versatile Disc) The display control program may be realized not only by a package medium such as a semiconductor memory or a magnetic disk in which the display control program is temporarily or permanently stored. Also, as means for storing the display control program in these program storage media, a wired and wireless communication medium such as a local area network, the Internet, and digital satellite broadcasting may be used, and via various communication interfaces such as a router and a modem. You may make it store.
[0050]
【The invention's effect】
As described above, according to the present invention, the processing target image is displayed to the first user, the processing target image is displayed to the second user, and the contour of the object image in the processing target image is previously displayed. A part of the designated contour line is corrected according to the first cursor operated in response to an input by the first user , and the first cursor and the processing result are displayed in the first and second display units. In the processing target image indicated by the second cursor operated in response to the input by the second user when a part of the contour line designated in advance as the contour of the processing target image is corrected . Correct processing other part of the pre-specified contour as the contour of the object image, and displays the second cursor and the processing result to the first and second display unit, completed by the first and second user Until the operation is performed Or in response to an input by a second user, by having to repeat the correction process for the pre-specified contour as the contour of the object image, and inputs an operation in which a plurality of users and independently at the same time, the processing target image An image processing apparatus, an image processing method, an image processing program, and an image processing program storage medium capable of performing joint work on the above can be realized.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an overall configuration of an image processing system according to the present invention.
FIG. 2 is a block diagram illustrating a configuration of an image processing apparatus.
FIG. 3 is a schematic diagram illustrating a configuration of a display image.
FIG. 4 is a flowchart showing an object contour designation processing procedure.
FIG. 5 is a schematic diagram for explanation of contour specification and contour correction.
FIG. 6 is a schematic diagram for explaining mixing of components in a contour pixel;
FIG. 7 is a flowchart showing a spatial mixing ratio adjustment processing procedure.
FIG. 8 is a schematic diagram illustrating a configuration of a spatial mixing ratio adjustment screen.
FIG. 9 is a block diagram illustrating an overall configuration of an image processing system according to another embodiment.
[Explanation of symbols]
DESCRIPTION OF

SYMBOLS

1,10 ... Image processing system, 2 ... Image processing apparatus, 3 ... User terminal, 4 ... Network interface, 5 ... Network, 11 ... Keyboard, 12 ... Mouse, 13 ... Input part, 14 ... Display unit, 20... Input interface, 21... Information processing unit, 22.

Claims

A first display unit for displaying a processing target image for a first user;
A second display unit that displays the processing target image to a second user;
A part of the contour line designated in advance as the contour of the object image in the processing target image is corrected according to the first cursor operated in response to the input by the first user , and the first cursor And first image processing means for displaying the processing result on the first and second display units,
When a portion of the first image processing means by predesignated the contour as a contour of the object image in the process target image has been modified process, previously designated as the contour of the object image in the processing target image The other part of the contour line is corrected according to the second cursor operated in response to the input by the second user , and the second cursor and the processing result are converted into the first and second Second image processing means for displaying on the display unit,
The first and second image processing means include:
Until the completion operation by the first and second users is performed, the correction process for the contour line designated in advance as the contour of the object image is repeated according to the input by the first or second user.
Images processing device.

The processing target image is
Combining the foreground object image extracted from the original image composed of the first background image and the foreground object image with the second background image;
The first and second image processing means are configured to output the second background image component and the foreground object image component in the contour pixel of the foreground object image in response to inputs from the first user and the second user, respectively. Adjusting one of the mixture ratios of the second background image component and the foreground object image component.
The image processing apparatus according to 請 Motomeko 1.

An image display step of displaying the processing target image for the first user and displaying the processing target image for the second user;
A part of the contour line designated in advance as the contour of the object image in the processing target image is corrected according to the first cursor operated in response to the input by the first user , and the first cursor And a first image processing step for displaying the processing result on the first and second display units,
The second cursor operated in response to an input by the second user when a part of the contour line previously designated as the contour of the processing target image is corrected in the first image processing step. The other part of the contour line specified in advance as the contour of the object image in the processing target image indicated by is corrected , and the second cursor and the processing result are displayed on the first and second display units. A second image processing step,
In the first and second image processing steps,
Until the completion operation by the first and second users is performed, the correction process for the contour line designated in advance as the contour of the object image is repeated according to the input by the first or second user.
Images processing method.

Against the computer
An image display step of displaying the processing target image for the first user and displaying the processing target image for the second user;
A part of the contour line designated in advance as the contour of the object image in the processing target image is corrected according to the first cursor operated in response to the input by the first user , and the first cursor And a first image processing step for displaying the processing result on the first and second display units,
The second cursor operated in response to an input by the second user when a part of the contour line previously designated as the contour of the processing target image is corrected in the first image processing step. The other part of the contour line specified in advance as the contour of the object image in the processing target image indicated by is corrected , and the second cursor and the processing result are displayed on the first and second display units. A second image processing step,
In the first and second image processing steps,
Until completion operation by the first and second user is performed in response to input by the first or second user to repeat the adjustment process for the pre-specified the contour as the contour of the object image
Images processing program.

An image display step of displaying the processing target image for the first user and displaying the processing target image for the second user;
A part of the contour line designated in advance as the contour of the object image in the processing target image is corrected according to the first cursor operated in response to the input by the first user , and the first cursor a first image processing step of displaying the processing result to the first and second display portions above and,
The second cursor operated in response to an input by the second user when a part of the contour line previously designated as the contour of the processing target image is corrected in the first image processing step. The other part of the contour line specified in advance as the contour of the object image in the processing target image indicated by is corrected , and the second cursor and the processing result are displayed on the first and second display units. A second image processing step,
In the first and second image processing steps,
Until the completion operation by the first and second users is performed, the correction process for the contour line designated in advance as the contour of the object image is repeated according to the input by the first or second user.
The image processing program storage medium for executing the images processing program to the information processing apparatus.