JP4063147B2

JP4063147B2 - Portable information terminal and program

Info

Publication number: JP4063147B2
Application number: JP2003146140A
Authority: JP
Inventors: 一快山根
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2003-05-23
Filing date: 2003-05-23
Publication date: 2008-03-19
Anticipated expiration: 2023-05-23
Also published as: JP2004350113A

Description

【０００１】
【発明の属する技術分野】
この発明は、陳列製品を撮影した撮影画像を出力する携帯情報端末およびプログラムに関する。
【０００２】
【従来の技術】
近年、インターネットおよびブロードバンド環境の普及によって、ＰＤＡ等の情報処理端末や携帯電話等からでもカメラ画像を誰でも自由に閲覧したり、ダウンロードすることができるようになり、また、カメラ画像の利用も様々であり、例えば、店舗内の商品陳列棚をカメラ撮影することによって商品の陳列状況を報告したり、工事現場をカメラ撮影することによって工事状況を報告する等にも利用されている。
従来、このようなカメラ画像を利用したシステムとしては、例えば、ディスプレイケースの商品を収納するための複数の商品収容孔を配置した面を撮影し、この撮影画像に基づいて欠落部位を特定して商品の欠落を認識し、補充商品を抽出する陳列商品の在庫管理装置が知られている（特許文献１参照）。
【０００３】
【特許文献１】
特開平１０−０３５８３１号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、この種の陳列商品の在庫管理装置にあっては、カメラ画像によって品切れ商品を特定することで補充すべき商品を知ることができたとしても、空きスペースとなった部分に同じ商品をそのまま補充する為の技術であった。
ところで、店舗においては、商品陳列棚に空きスペースができた場合において、そのスペースに同一の商品をそのまま補充せずに、現時点における商品のレイアウト状態を変更したり、別の商品を陳列することによって販売促進を図る場合があるが、このような場合、商品の陳列状況をカメラ画像によって遠隔確認（リモート確認）するだけでは、希望通りのレイアウト変更が可能か、入れ替え商品を空きスペース内に収めることができるか等を確認することは、極めて困難であり、その改善が要望されていた。
【０００５】
この発明の課題は、撮影画像内含まれている物品の大きさと比較する為の比較対象画像をその物品の大きさに合わせて調整操作するだけで、その物品の表示／印刷上の大きさを容易に確認できるようにすることである。
【０００６】
【課題を解決するための手段】
請求項１記載の発明は、陳列製品に設けられたコード情報に対応づけて当該陳列製品のサンプル画像および実サイズ情報を記憶する記憶手段を有するホスト装置に通信ネットワークを介して接続され、前記陳列製品を撮影手段により撮影し、その撮影画像を出力する携帯情報端末において、前記陳列製品に設けられたコード情報を読み取る読取手段と、この読取手段によって読み取られた前記コード情報を前記通信ネットワークを介して前記ホスト装置に送信し、前記ホスト装置から送信されるサンプル画像および実サイズ情報を受信して取得する取得手段と、この取得手段によって取得されたサンプル画像を、前記撮影画像内に含まれている陳列製品の大きさと比較する為の比較対象画像として前記撮影画像と共に表示する表示制御手段と、前記表示されている撮影画像内の陳列製品の大きさに合わせて前記比較対象画像の大きさを入力操作によって調整する調整手段と、この調整手段によって調整された比較対象画像を解析することによって当該画像の表示サイズを算出する算出手段と、この算出手段によって算出された比較対象画像の表示サイズと前記実サイズ情報との比率を計算し、計算された比率に基づいて前記陳列製品の表示上の大きさを指標する為のスケール情報を生成する生成手段と、この生成手段によって生成されたスケール情報を当該撮影画像に付加して表示する画像表示手段と、を具備したことを特徴とする。
更に、コンピュータを、上述した請求項１記載の発明に示した主要手段として機能させるためのプログラムを提供する（請求項４記載の発明）。
【００１２】
【発明の実施の形態】
（第１実施形態）
以下、図１〜図７を参照してこの発明の第１実施形態を説明する。
図１は、この実施形態における陳列製品管理システムの全体構成を示したブロック図である。
この陳列製品管理システムは、製品陳列棚における陳列状況を管理する処理等を行う構内通信システムであり、この管理システムの中核となるホスト装置１には、構内通信網（有線／無線網）２を介して複数の携帯情報端末３が接続されているシステム環境となっている。
【００１３】
ホスト装置１は、構内の管理部署に設置されたパーソナルコンピュータであり、陳列製品の管理等を行う。携帯情報端末３は、棚管理を担当する各担当者が所持するもので、デジタルスチルカメラやバーコードスキャナ等を備えたＰＤＡ等の情報端末であり、製品を撮影した撮影画像を記録保存したり、画像再生を行う。
なお、この実施形態における特徴部分を詳述する前に、ホスト装置１、携帯情報端末３のハードウェア上の構成について以下、説明しておく。
【００１４】
図２は、携帯情報端末３の基本的な構成要素を示したブロック図である。
ＣＰＵ３１は、記憶装置３２内のオペレーティングシステムや各種アプリケーションソフトにしたがってこの携帯情報端末３の全体動作を制御する中央演算処理装置である。記憶装置３２は、プログラム記憶領域とデータ記憶領域とを有し、磁気的、光学的、半導体メモリ等やその駆動系によって構成されている。この記録装置３２はハードディスク等の固定的なメモリの他、ＣＤ−ＲＯＭ、ＤＶＤ等の着脱自在な記憶媒体を装着可能な構成であってもよい。この記憶装置３２内のプログラムやデータは、必要に応じてＲＡＭ（例えば、スタティックＲＡＭ）３３にロードされたり、ＲＡＭ３３内のデータが記憶装置３２にセーブされる。なお、ＲＡＭ３３は、プログラム実行領域と作業領域とを有している。一方、ＣＰＵ３１にはその入出力周辺デバイスである通信装置３４、入力装置３５、表示装置３６、バーコードスキャナ３７、デジタルカメラ３８がバスラインを介して接続されており、入出力プログラムにしたがってＣＰＵ３１はそれらの動作を制御する。
【００１５】
バーコードスキャナ３７は、レーザビーム式のスキャナ、ＣＭＯＳイメージセンサを備えたイメージキャプチャ式のバーコードスキャナ、デジタルスチルカメラを使用したスキャナであり、撮影対象の製品を特定する為に、陳列製品に添付されているバーコード情報を読み取ると、このバーコードは撮影対象製品を特定する為の情報としてホスト装置１へ送信される。
デジタルカメラ３８は、撮像素子としてのＣＣＤエリアセンサを利用して、被写体（製品）を撮影するＣＣＤカメラであり、このデジタルカメラ３８によって撮影された撮影画像は、携帯情報端末３の表示画面上に出力される。この場合、携帯情報端末３は、撮影画像内に含まれている製品の大きさと比較する為の比較対象画像（当該製品のサンプル画像）をホスト装置１から受信取得して撮影画像と共に表示するようにしている。
【００１６】
なお、ホスト装置１の構成は図示省略したが、このホスト装置１においてもその構成要素として、上述した携帯情報端末３と基本的には同様のＣＰＵ、記憶装置、ＲＡＭ、通信装置、入力装置、表示装置を備えている。ホスト装置１は、携帯情報端末３から撮影対象製品を特定する為のバーコードを受信すると、その製品のサンプル画像および実サイズ情報を製品データベース１１から読み出して要求元の携帯情報端末３へ送信するようにしている。
【００１７】
図３は、ホスト装置１側に設けられている製品データベース１１の内容を示した図である。
この製品データベース１１は、各種の製品に対応して、予めその製品に関する情報を記憶管理するもので、製品毎に、その「製品コード」、「バーコード」、「サンプル画像」、「実サイズ情報」の各項目を有する構成となっている。
【００１８】
製品の「サンプル画像」は、製品の実物をイメージした画像であり、製品の外形（アウトライン）の概要を表現したもので、例えば、直方体、三角形等の簡易図形（３次元図形）であり、そのサイズは、製品の実際の大きさに拘らず、一様であり、携帯情報端末３の画面サイズ等を考慮した大きさとなっている。なお、製品を実際に撮影した撮影画像をサンプル画像としてもよいが、この実施形態においては、製品の簡易図形をサンプル画像としている。
また、製品の「実サイズ情報」は、製品の実際の大きさであり、その「横幅寸法」、「縦幅寸法」、「高さ寸法」を示している。この場合、製品の実際の大きさによって「ｍｍ」、「ｃｍ」、「ｍ」等の単位によって当該製品の実サイズが表されている。
【００１９】
ここで、携帯情報端末３は、撮影画像内の製品の大きさと比較する為の比較対象画像（サンプル画像）が当該撮影画像と共に表示されている状態において、撮影画像内の製品の大きさに合わせてサンプル画像の大きさが入力操作によって調整されると、表示上の調整後におけるサンプル画像を解析して当該画像の表示サイズを算出すると共に、このサンプル画像の表示サイズに基づいて製品の表示上の大きさを指標する為のスケール情報（後述する単位スケール画像）を生成し、この単位スケール画像を撮影画像と共に付加表示するようにしている。
【００２０】
次に、この第１実施形態における陳列製品管理システムの動作概念を図４〜図６に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作を逐次実行する。また、伝送媒体を介して伝送されてきた上述のプログラムコードにしたがった動作を逐次実行することもできる。このことは後述する他の実施形態においても同様であり、記録媒体の他、伝送媒体を介して外部供給されたプログラム／データを利用してこの実施形態特有の動作を実行することもできる。
【００２１】
図４および図５は、携帯情報端末３側において実行される撮影画像処理を示したフローチャートであり、図６は、携帯情報端末３側の撮影画像処理に応答してホスト装置１側で実行される応答処理を示したフローチャートである。
また、図７（Ａ）〜（Ｄ）は、携帯情報端末３側の表示内容を示した図で、撮影画像処理の進行に応じて表示内容が変遷する様子を示している。
【００２２】
先ず、携帯情報端末３側において、その棚管理担当者は、デジタルカメラ３８を使用して製品棚に陳列されている製品を撮影すると（ステップＡ１）、ＣＰＵ３１は、製品撮影画像を取り込んで一時保存すると共に、製品撮影画像を表示出力させる（ステップＡ２）。
図７（Ａ）は、この場合の表示例を示し、製品撮影画像は端末画面の略中央部に表示される。この状態において、担当者は、バーコードスキャナ３７を使用してその製品からバーコード情報を読み取ると（ステップＡ３）、ＣＰＵ３１は、この製品バーコードをホスト装置１へ送信してその製品に関する情報の検索要求を行う（ステップＡ４）。
【００２３】
ホスト装置１は、携帯情報端末３からの要求待ち状態において（図６のステップＢ１）、携帯情報端末３からの検索要求を受信すると、撮影した製品に関する情報の検索要求か否かをチェックし（ステップＢ２）、その他の要求であれば（ステップＢ２でＮＯ）、その要求内容に応じた他の処理を実行開始するが（ステップＢ７）、検索要求を受けた場合には（ステップＢ２でＹＥＳ）、携帯情報端末３から送信されて来た製品バーコードを受信する（ステップＢ３）。そして、この製品バーコードに基づいて製品データベース１１を検索し（ステップＢ４）、該当製品対応の「サンプル画像」、「実サイズ情報」を読み出し（ステップＢ５）、要求元の携帯情報端末３へ送信する（ステップＢ６）。
【００２４】
携帯情報端末３は、ホスト装置１から該当製品対応の「サンプル画像」、「実サイズ情報」を受信すると（図４のステップＡ５）、このサンプル画像を端末画面のサイズに応じた大きさに変更した後に（ステップＡ６）、変更後のサンプル画像を製品撮影画像と共に表示出力させる（ステップＡ７）。
図７（Ｂ）は、この場合の表示例を示した図で、サンプル画像は、製品撮影画像の下側に表示される。この場合、サンプル画像は、この製品のアウトラインの概要を表現した直方体の簡易図形（３次元図形）であり、略相似形を成している。この場合、ＣＰＵ３１は、サンプル画像を表示すると共に、その画面内の所定領域（下側領域）に各種の画像調整用ボタン（タッチ入力式の調整ボタン）を一覧表示させる（ステップＡ８）。
【００２５】
図７（Ｃ）は、この状態を示した図である。ここで、画像調整用ボタンとしては、「サイズ」、「位置」、「回転」の他に、「決定」ボタンが配置表示されている。ここで、この画像調整用ボタン「サイズ」、「位置」、「回転」の中から任意のボタンが選択指定されて、例えば、ドラック＆ドロップ等の操作が行われると（ステップＡ９）、ＣＰＵ３1は、その操作に応じてサンプル画像のサイズ、位置、向きを変更する為の調整処理を行う（ステップＡ１０）。
【００２６】
例えば、サイズ調整用のボタンが操作されると、サイズ変更用つまみが表示されると共に、このつまみが左右方向へ移動されると、サンプル画像の縦横比を保持したままでその拡大／縮小処理を行う。また、位置調整用のボタンが操作されると、位置変更用つまみが表示されると共に、このつまみが任意の位置へ移動されると、それに追随してサンプル画像を移動表示する処理を行う。また、回転調整用のボタンが操作されると、回転変更用つまみが表示されると共に、このつまみが回転されると、それに追随してサンプル画像の向きを変更する処理を行う。このようなサンプル画像の調整処理は（ステップＡ１０）、表示画面上の決定ボタンが操作されるまで繰り返される（ステップＡ９〜Ａ１１）。
【００２７】
ここで、サンプル画像の大きさ、位置、向きを対象となる製品撮影画像の大きさ、位置、向きに正確に合わせる調整操作を行った後、表示画面上の決定ボタンが操作されると（ステップＡ１１）、表示画面上のサンプル画像を解析してその大きさ（表示サイズ）を算出すると共に（図５のステップＡ１２）、このサンプル画像を消去する（ステップＡ１３）。そして、算出したサンプル画像の大きさ（横幅、縦幅、高さ）とその製品の実サイズ情報（横幅、縦幅、高さ）とを比較して比率計算を行い（ステップＡ１４）、その比較結果（比率）に基づいて最適な単位スケール画像を生成する（ステップＡ１５）。すなわち、当該製品の表示上の大きさを指標する為の単位スケール画像として、例えば、１ｍｍ、１０ｍｍ、１ｃｍ、１０ｃｍ、１ｍ等の単位スケール画像のうち、製品撮影画像の表示上の大きさに最適な単位スケール画像を選択し、この単位スケール画像を製品撮影画像と共に付加表示させる（ステップＡ１６）。
【００２８】
図７（Ｄ）は、この場合の表示例を示したもので、製品撮影画像の表示上の大きさに最適な単位スケール画像として「１０ｍｍ」の単位スケール画像が選択表示された場合を示している。なお、単位スケール画像は、横罫線の両端部に逆方向の矢印を付加すると共に、このスケール図形の上方に単位数値を付加した構成であるが、その構成および表示位置は任意である。この単位スケール画像によって製品の表示上の大きさが指標されている状態において、オペレータからの登録指示の有無をチェックし（ステップＡ１７）、登録指示があれば、単位スケール付きの製品撮影画像を登録する処理を行う（ステップＡ１８）。また、オペレータから送信指示の有無をチェックし（ステップＡ１９）、送信指示があれば、単位スケール付きの製品撮影画像をホスト装置１へ送信する処理を行う（ステップＡ２０）。
【００２９】
以上のように、この第１実施形態において携帯情報端末３は、撮影画像内の製品の大きさと比較する為のサンプル画像が製品撮影画像と共に表示されている状態において、撮影画像内の製品の大きさに合わせてサンプル画像の大きさが入力操作によって調整されると、調整後のサンプル画像を解析してその表示上のサイズを算出すると共に、このサンプル画像の表示サイズに基づいて製品の表示上の大きさを指標する為の単位スケール画像を生成し、この単位スケール画像を製品撮影画像に付加して表示するようにしたから、サンプル画像をその製品物品の大きさに合わせて調整操作するだけで、その製品の表示の大きさを容易に確認することができ、例えば、製品陳列棚に空きスペースが生じた場合に、希望通りのレイアウト変更が可能か、入れ替え製品を空きスペース内に収めることができるか等を容易に確認することが可能となる等、実用効果の高いものとなる。
【００３０】
この場合、携帯情報端末３は、撮影すべき製品を指定することによって当該製品のサンプル画像およびその実サイズ情報をホスト装置１から取得した後、このサンプル画像を製品撮影画像と共に表示するようにしたから、表示上の製品とその実物イメージであるサンプル画像との照らし合わせが容易となり、その調整作業を円滑に行うことができ、また、調整操作に応じて算出されたサンプル画像の表示サイズと当該製品の実サイズ情報とに基づいて単位スケール画像を生成するようにしたから、比率計算を行うだけで正確な単位スケール画像を容易に生成することが可能となる。
【００３１】
また、携帯情報端末３において、撮影画像内の製品の大きさに合わせてサンプル画像画像の大きさを調整する他、製品の位置に合わせてサンプル画像の位置を調整したり、製品の向き合わせてサンプル画像画像を回転操作してその向きを調整するようにしたから、表示上の製品撮影画像とサンプル画像画像との照らし合わせが一層容易となる。
【００３２】
なお、上述した第１実施形態においては、製品の外形（アウトライン）の概要を表現した画像をサンプル画像として使用したが、製品を実際に撮影した撮影画像をサンプル画像としてもよい。また、サンプル画像は、製品の実物をイメージする画像に限らず、単なる方形図形や棒状図形等であってもよい。
【００３３】
また、上述した第２実施形態において携帯情報端末３は、撮影対象の製品からバーコード読み取るようにしたが、撮影対象の指定は、バーコードの読み取りに限らず、製品名を入力指定するようにしてもよく、また、ホスト装置１から各製品対応のサンプル画像を受信取得しておき、この各サンプル画像と撮影画像とを順次比較することによって撮影画像内に何れかのサンプル画像が含まれているか否かを判別するようにすれば、撮影対象を指定する為の情報入力（バーコードや製品名等の入力）は不要となる。
また、上述した第１実施形態においては、製品のサンプル画像およびその実サイズ情報をホスト装置１から受信取得するようにしたが、製品データベース１１を用意しておけば、陳列製品管理システム（通信システム）に限らず、スタンド・アローン・タイプの製品管理装置であってもよい。
【００３４】
一方、コンピュータに対して、上述した各手段を実行させるためのプログラムコードをそれぞれ記録した記録媒体（例えば、ＣＤ−ＲＯＭ、フロッピィデスク、ＲＡＭカード等）を提供するようにしてもよい。
すなわち、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、撮影画像内に含まれている物品の大きさと比較する為の比較対象画像を当該撮影画像と共に表示する機能と、前記表示されている撮影画像内の物品の大きさに合わせて前記比較対象画像の大きさを入力操作によって調整する機能と、調整された比較対象画像を解析することによって当該画像の表示サイズを算出する機能と、算出された比較対象画像の表示サイズに基づいて前記物品の表示上の大きさを指標する為のスケール情報を生成する機能と、生成されたスケール情報を当該撮影画像に付加して出力する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。
【００３５】
（第２実施形態）
以下、この発明の第２実施形態について図８および図９を参照して説明する。なお、上述した第１実施形態において携帯情報端末３は、撮影すべき製品を指定することによって当該製品のサンプル画像およびその実サイズ情報をホスト装置１から取得した後、製品の大きさに合わせてサンプル画像の大きさが調整操作されると、調整後におけるサンプル画像の表示サイズに基づいて製品の表示上の大きさを指標する為の単位スケール画像を製品撮影画像に付加して表示するようにしたが、この第２実施形態においては、サンプル画像を調整する為の操作を必要とせずに、ホスト装置１側において、サンプル画像の大きさを自動調整すると共に、このサンプル画像の表示サイズに基づいて製品の表示上の大きさを指標する為の単位スケール画像を生成して製品撮影画像に付加するようにしたものである。すなわち、この第２実施形態においては、陳列製品管理システムにおいて、特別な操作を行うことなく、撮影画像内に含まれている製品の表示上の大きさをリモート確認できるようにしたものである。
ここで、両実施形態において基本的に同一のものは、同一符号を付して示し、その説明を省略する他、以下、第２実施形態の特徴部分を中心に説明するものとする。
【００３６】
なお、上述した第１実施形態と同様に製品データベース１１は、ホスト装置１側に設けられていると共に、製品毎に、その「製品コード」、「バーコード」、「サンプル画像」、「実サイズ情報」を記憶管理する構成となっているが、この第２実施形態における「サンプル画像」は、製品の外形（アウトライン）の概要を表現した簡易図形ではなく、製品を実際に撮影した撮影画像をサンプル画像としている。
【００３７】
図８は、ホスト装置１側における撮影画像処理を示したフローチャートであり、図９は、携帯情報端末３側の撮影画像処理を示したフローチャートである。
先ず、ホスト装置１側においては、携帯情報端末３から撮影画像を取得すべきことの取得要求をオペレータ操作によって受けたか否かをチェックし（図８のステップＣ１）、他の要求を受けた場合には（ステップＣ１でＮＯ）、その要求内容に応じた他の処理に移るが（ステップＣ１３）、携帯情報端末３から撮影画像を取得すべきことの取得要求を受けた場合には（ステップＣ１でＹＥＳ）、その携帯情報端末３を呼出指定して撮影画像の送信要求を行った後に（ステップＣ２）、その要求先の携帯情報端末３から撮影画像が送信されて来るまで待機する（ステップＣ３）。
【００３８】
携帯情報端末３は、ホスト装置１からの画像送信の要求待ち状態において（図９のステップＤ１）、ホスト装置１からその送信の要求を受け取ると、その担当者に対して撮影開始のメッセージを案内出力する（ステップＤ２）。ここで、デジタルカメラ３８を使用して製品棚に陳列されている製品が撮影されると（ステップＤ３）、製品撮影画像を取り込んで一時保存すると共に製品撮影画像を表示出力させる（ステップＤ４）。そして、担当者は、バーコードスキャナ３７を使用してその製品からバーコード情報を読み取ると（ステップＤ５）、この読取結果（製品バーコード）と製品撮影画像をホスト装置１へそれぞれ送信する（ステップＤ６）。
【００３９】
ホスト装置１は、携帯情報端末３から送信されて来た製品バーコードおよび製品撮影画像を受信すると（図８のステップＣ４）、この製品撮影画像を表示すると共に（ステップＣ５）、製品バーコードに基づいて製品データベース１１を検索し（ステップＣ６）、該当製品対応の「サンプル画像」、「実サイズ情報」を読み出す（ステップＣ７）。そして、このサンプル画像に基づいて撮影画像を解析して製品の撮影部位を特定する（ステップＣ８）。
【００４０】
すなわち、撮影画像内にサンプル画像に一致あるいは近似する画像が含まれているか否かを画像比較によって判別し、サンプル画像に略一致する画像が含まれている場合には、その部位を製品の撮影部位として特定する。そして、この製品の撮影部位を解析してその表示上の大きさ（表示サイズ）を算出すると共に（ステップＣ９）、算出したサンプル画像の大きさ（横幅、縦幅、高さ）とその製品の実サイズ情報（横幅、縦幅、高さ）とを比較して比率計算を行い（ステップＣ１０）、その比較結果（比率）に基づいて最適な単位スケール画像を生成し（ステップＣ１１）、この単位スケール画像を製品撮影画像と共に付加表示させる（ステップＣ１２）。
【００４１】
以上のように、この第２実施形態においてホスト装置１は、携帯情報端末３から受信した撮影画像を解析することによってこの撮影画像内に含まれている製品の撮影部位を特定すると共に、この撮影部位の大きさを撮影製品のサイズとして算出し、この撮影製品のサイズと当該製品の実サイズ情報とに基づいて撮影製品の大きさを指標する為のスケール情報を生成し、このスケール情報を製品撮影画像に付加して出力するようにしたから、通信ネットワークシステムにおいて、特別な操作を行うことなく、撮影画像内に含まれている製品の表示の大きさを容易にリモート確認することができ、希望通りのレイアウト変更が可能か、入れ替え製品を空きスペース内に収めることができるか等をリモート確認することが可能となる等、実用効果の高いものとなる。この場合、ホスト装置１は、製品毎に予め用意されているサンプル画像およびその実サイズ情報に基づいて撮影画像を解析することによって製品の撮影部位を特定すると共に、そのサイズを算出するようにしたから、製品の撮影部位の特定およびそのサイズ算出を確実かつ容易に行うことが可能となる。
【００４２】
なお、上述した第２実施形態においてホスト装置１は、携帯情報端末３側で読み取られたバーコードを受信取得して撮影対象の製品を特定するようにしたが、撮影対象の特定は、バーコードの読み取りに限らず、製品名を入力指定するようにしてもよく、また、各製品対応のサンプル画像と撮影画像とを順次比較することによって撮影画像内に何れかのサンプル画像が含まれているか否かを判別するようにすれば、撮影対象を指定する為の情報入力（バーコードや製品名等の入力）は不要となる。
【００４３】
一方、コンピュータに対して、上述した各手段を実行させるためのプログラムコードをそれぞれ記録した記録媒体（例えば、ＣＤ−ＲＯＭ、フロッピィデスク、ＲＡＭカード等）を提供するようにしてもよい。
すなわち、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、物品を撮影する撮影機能および通信機能付きの端末装置からネットワークを介して撮影画像を受信取得して出力する場合に、前記端末装置から取得した撮影画像を解析することによってこの撮影画像内に含まれている物品の撮影部位を特定すると共に、この撮影部位の大きさを撮影物品のサイズとして算出する機能と、算出された撮影物品のサイズと当該物品の実サイズ情報とに基づいて撮影物品の大きさを指標する為のスケール情報を生成する機能と、生成されたスケール情報を当該撮影画像に付加して出力する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。
【００４４】
また、上述した第１および第２実施形態においては、単位スケール画像を製品撮影画像に付加して表示するようにしたが、単位スケール画像に限らず、製品の表示上の大きさを指標可能なスケール情報であってもよく、例えば、製品の表示サイズに応じてその大きさ分のスケール画像を表示したり、単にサイズ数値を表示するようにしてもよい。更に、スケール情報付きの製品撮影画像を表示する場合に限らず、それを印刷出力するようにしてもよく、製品の印刷上の大きさを確認できるようにしてもよい。また、撮影対象として製品を例示したが、店舗内で販売する商品や在庫商品を撮影対象としてもよく、撮影対象の物品は任意である。
【００４５】
【発明の効果】
請求項１記載の発明によれば、陳列製品に設けられたコード情報を読み取り、読み取られたコード情報を通信ネットワークを介してホスト装置に送信し、ホスト装置から送信されるサンプル画像および実サイズ情報を受信して取得し、取得されたサンプル画像を撮影画像内に含まれている陳列製品の大きさと比較する為の比較対象画像として撮影画像と共に表示し、この比較対象画像が当該撮影画像と共に表示されている状態において、撮影画像内の陳列製品の大きさに合わせて比較対象画像の大きさが入力操作によって調整されると、調整後の比較対象画像を解析してその表示上のサイズを算出すると共に、この比較対象画像の表示サイズと取得された実サイズ情報との比率を計算し、計算された比率に基づいて陳列製品の表示上の大きさを指標する為のスケール情報を生成し、このスケール情報を撮影画像に付加して表示するようにしたから、比較対象画像をその陳列製品の大きさに合わせて調整操作するだけで、その陳列製品の表示／印刷上の大きさを容易に確認することができ、例えば、製品陳列棚に空きスペースが生じた場合に、希望通りのレイアウト変更が可能か、入れ替え製品を空きスペース内に収めることができるか等を容易に確認することが可能となる等、実用効果の高いものとなる。
【図面の簡単な説明】
【図１】陳列製品管理システムの全体構成を示したブロック図。
【図２】携帯情報端末３の基本的な構成要素を示したブロック図。
【図３】ホスト装置１側に設けられている製品データベース１１の内容を示した図。
【図４】携帯情報端末３側において実行される撮影画像処理を示したフローチャート。である。
【図５】図４に続く、携帯情報端末３側において実行される撮影画像処理を示したフローチャート。
【図６】携帯情報端末３側の撮影画像処理に応答してホスト装置１側で実行される応答処理を示したフローチャート。
【図７】（Ａ）〜（Ｄ）は、携帯情報端末３側の表示内容を示した図で、撮影画像処理の進行に応じて表示内容が変遷する様子を示した図。
【図８】ホスト装置１側における撮影画像処理を示したフローチャート。
【図９】携帯情報端末３側の撮影画像処理を示したフローチャート。
【符号の説明】
１ホスト装置
２構内通信網
３携帯情報端末
１１製品データベース
３１ＣＰＵ
３２記憶装置
３４通信装置
３５入力装置
３６表示装置
３７バーコードスキャナ
３８デジタルカメラ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a portable information terminal and a program for outputting a photographed image of a display product.
[0002]
[Prior art]
In recent years, with the spread of the Internet and broadband environments, anyone can freely view and download camera images from information processing terminals such as PDAs and mobile phones, and there are various uses of camera images. For example, it is also used for reporting the display status of products by shooting a product display shelf in a store with a camera, or reporting the status of construction by shooting a camera at a construction site.
Conventionally, as a system using such a camera image, for example, a surface on which a plurality of product accommodation holes for storing products in a display case are arranged is photographed, and a missing part is identified based on the photographed image. An inventory management device for display products that recognizes missing products and extracts supplemental products is known (see Patent Document 1).
[0003]
[Patent Document 1]
Japanese Patent Laid-Open No. 10-035831
[0004]
[Problems to be solved by the invention]
However, in this kind of display product inventory management device, even if it is possible to know the product to be replenished by identifying the out-of-stock product by the camera image, the same product is left as it is in the empty space. It was a technique to replenish.
By the way, in the store, when there is an empty space on the product display shelf, the current product layout state is changed or another product is displayed without replenishing the same product as it is. In such cases, it may be possible to change the layout as desired by simply confirming the display status of the product remotely using a camera image (remote confirmation), or place the replacement product in an empty space. It has been extremely difficult to confirm whether or not it can be performed, and improvement has been demanded.
[0005]
An object of the present invention is to adjust the display / print size of an article only by adjusting a comparison target image to be compared with the size of the article contained in the photographed image according to the size of the article. It is to make it easy to confirm.
[0006]
[Means for Solving the Problems]
The invention according to claim 1 is connected via a communication network to a host device having storage means for storing a sample image and actual size information of the display product in association with code information provided on the display product. In a portable information terminal that images a product by an imaging unit and outputs the captured image, a reading unit that reads code information provided in the display product, and the code information read by the reading unit via the communication network An acquisition means for receiving and acquiring a sample image and actual size information transmitted from the host apparatus, and a sample image acquired by the acquisition means included in the captured image. Display control means for displaying together with the photographed image as a comparison target image for comparison with the size of the displayed product An adjustment unit that adjusts the size of the comparison target image by an input operation in accordance with the size of the display product in the displayed captured image, and the comparison target image adjusted by the adjustment unit Calculation means for calculating the display size of the image, and display size of the comparison target image calculated by the calculation means And the ratio between the actual size information and the calculated ratio Generating means for generating scale information for indexing the display size of the display product based on the image, and adding the scale information generated by the generating means to the photographed image. display Images display And means.
Furthermore, a program is provided for causing a computer to function as the main means shown in the invention described in claim 1 (the invention described in claim 4).
[0012]
DETAILED DESCRIPTION OF THE INVENTION
(First embodiment)
A first embodiment of the present invention will be described below with reference to FIGS.
FIG. 1 is a block diagram showing the overall configuration of the display product management system in this embodiment.
This display product management system is a local communication system that performs processing for managing the display status of product display shelves. A host communication system (wired / wireless network) 2 is connected to the host device 1 as the core of this management system. The system environment is such that a plurality of portable information terminals 3 are connected via the network.
[0013]
The host device 1 is a personal computer installed in a management department on the premises and manages display products. The portable information terminal 3 is owned by each person in charge of shelf management and is an information terminal such as a PDA equipped with a digital still camera, a barcode scanner, etc., and records and saves a photographed image of the product. Perform image playback.
Note that the hardware configuration of the host device 1 and the portable information terminal 3 will be described below before detailed features in this embodiment.
[0014]
FIG. 2 is a block diagram showing basic components of the portable information terminal 3.
The CPU 31 is a central processing unit that controls the overall operation of the portable information terminal 3 according to the operating system and various application software in the storage device 32. The storage device 32 includes a program storage area and a data storage area, and is configured by a magnetic, optical, semiconductor memory, or a drive system thereof. The recording device 32 may have a configuration in which a removable storage medium such as a CD-ROM or DVD can be mounted in addition to a fixed memory such as a hard disk. The programs and data in the storage device 32 are loaded into a RAM (for example, static RAM) 33 as needed, or the data in the RAM 33 is saved in the storage device 32. The RAM 33 has a program execution area and a work area. On the other hand, a communication device 34, an input device 35, a display device 36, a barcode scanner 37, and a digital camera 38, which are input / output peripheral devices, are connected to the CPU 31 via a bus line. Control their behavior.
[0015]
The bar code scanner 37 is a laser beam type scanner, an image capture type bar code scanner equipped with a CMOS image sensor, or a scanner using a digital still camera. The bar code scanner 37 is attached to a display product in order to specify a product to be photographed. When the barcode information is read, the barcode is transmitted to the host device 1 as information for specifying the product to be photographed.
The digital camera 38 is a CCD camera that photographs a subject (product) using a CCD area sensor as an image sensor, and a photographed image photographed by the digital camera 38 is displayed on the display screen of the portable information terminal 3. Is output. In this case, the portable information terminal 3 receives and obtains a comparison target image (sample image of the product) for comparison with the size of the product included in the captured image from the host device 1 and displays it together with the captured image. I have to.
[0016]
Although the configuration of the host device 1 is not shown, the host device 1 also has as its components basically the same CPU, storage device, RAM, communication device, input device, and the like as the portable information terminal 3 described above. A display device is provided. When the host device 1 receives the barcode for specifying the product to be photographed from the portable information terminal 3, it reads the sample image and the actual size information of the product from the product database 11 and transmits it to the requesting portable information terminal 3. I am doing so.
[0017]
FIG. 3 is a diagram showing the contents of the product database 11 provided on the host device 1 side.
The product database 11 stores and manages information related to products in advance corresponding to various products. For each product, its “product code”, “barcode”, “sample image”, “actual size information” It has a configuration having each item.
[0018]
The “sample image” of the product is an image of the actual product, and represents the outline of the product outline (outline). For example, it is a simple figure (three-dimensional figure) such as a rectangular parallelepiped or a triangle. The size is uniform regardless of the actual size of the product, and is a size considering the screen size of the portable information terminal 3 and the like. In addition, although the picked-up image which image | photographed the product actually may be used as a sample image, in this embodiment, the simple figure of the product is used as the sample image.
The “actual size information” of the product is the actual size of the product, and indicates the “horizontal width dimension”, “vertical width dimension”, and “height dimension”. In this case, the actual size of the product is represented by units such as “mm”, “cm”, and “m” depending on the actual size of the product.
[0019]
Here, the portable information terminal 3 matches the size of the product in the captured image in a state where the comparison target image (sample image) for comparison with the size of the product in the captured image is displayed together with the captured image. When the size of the sample image is adjusted by an input operation, the sample image after display adjustment is analyzed to calculate the display size of the image, and the display size of the product is displayed based on the display size of the sample image. Scale information (unit scale image to be described later) for indicating the size of the image is generated, and this unit scale image is additionally displayed together with the photographed image.
[0020]
Next, the operation concept of the display product management system in the first embodiment will be described with reference to the flowcharts shown in FIGS. Here, each function described in these flowcharts is stored in the form of a readable program code, and operations according to the program code are sequentially executed. It is also possible to sequentially execute operations according to the program code transmitted via the transmission medium. The same applies to other embodiments to be described later. In addition to a recording medium, an operation peculiar to this embodiment can be executed using a program / data supplied externally via a transmission medium.
[0021]
4 and 5 are flowcharts showing captured image processing executed on the portable information terminal 3 side, and FIG. 6 is executed on the host device 1 side in response to the captured image processing on the portable information terminal 3 side. 6 is a flowchart showing response processing.
FIGS. 7A to 7D are diagrams showing the display contents on the portable information terminal 3 side, and show how the display contents change as the captured image processing progresses.
[0022]
First, on the portable information terminal 3 side, when the person in charge of shelf management takes a picture of the product displayed on the product shelf using the digital camera 38 (step A1), the CPU 31 captures and temporarily stores the product photographed image. At the same time, the product photographed image is displayed and output (step A2).
FIG. 7A shows a display example in this case, and the product photographed image is displayed in a substantially central portion of the terminal screen. In this state, when the person in charge reads the barcode information from the product using the barcode scanner 37 (step A3), the CPU 31 transmits the product barcode to the host device 1 to obtain information on the product. A search request is made (step A4).
[0023]
When the host device 1 waits for a request from the portable information terminal 3 (step B1 in FIG. 6) and receives a search request from the portable information terminal 3, the host device 1 checks whether or not it is a search request for information on the photographed product ( If it is another request (NO in step B2), execution of another process corresponding to the request is started (step B7), but if a search request is received (YES in step B2). The product barcode transmitted from the portable information terminal 3 is received (step B3). Then, the product database 11 is searched based on the product bar code (step B4), the “sample image” and “actual size information” corresponding to the product are read (step B5), and transmitted to the requesting portable information terminal 3 (Step B6).
[0024]
When the portable information terminal 3 receives the “sample image” and “actual size information” corresponding to the corresponding product from the host device 1 (step A5 in FIG. 4), the sample information is changed to a size corresponding to the size of the terminal screen. (Step A6), the sample image after the change is displayed and output together with the product photographed image (Step A7).
FIG. 7B shows a display example in this case, and the sample image is displayed below the product photographed image. In this case, the sample image is a simple rectangular parallelepiped figure (three-dimensional figure) expressing an outline of the outline of the product, and has a substantially similar shape. In this case, the CPU 31 displays a sample image and displays a list of various image adjustment buttons (touch input type adjustment buttons) in a predetermined area (lower area) in the screen (step A8).
[0025]
FIG. 7C shows this state. Here, as the image adjustment buttons, in addition to “size”, “position”, and “rotation”, “decision” buttons are arranged and displayed. Here, when an arbitrary button is selected and designated from the image adjustment buttons “size”, “position”, and “rotation” and, for example, an operation such as drag and drop is performed (step A9), the CPU 31 Then, adjustment processing is performed to change the size, position, and orientation of the sample image in accordance with the operation (step A10).
[0026]
For example, when a size adjustment button is operated, a size change knob is displayed, and when this knob is moved in the horizontal direction, the enlargement / reduction process is performed while maintaining the aspect ratio of the sample image. Do. When the position adjustment button is operated, a position changing knob is displayed. When the knob is moved to an arbitrary position, a process for moving and displaying the sample image is performed following the knob. When the rotation adjustment button is operated, a rotation changing knob is displayed. When the knob is rotated, a process of changing the orientation of the sample image is performed following the rotation. Such adjustment processing of the sample image (step A10) is repeated until the determination button on the display screen is operated (steps A9 to A11).
[0027]
Here, after performing an adjustment operation to accurately match the size, position, and orientation of the sample image with the size, position, and orientation of the target product image, the determination button on the display screen is operated (step) A11) The sample image on the display screen is analyzed to calculate its size (display size) (step A12 in FIG. 5), and this sample image is deleted (step A13). The calculated sample image size (width, height, height) is compared with the actual size information (width, height, height) of the product to calculate the ratio (step A14). An optimal unit scale image is generated based on the result (ratio) (step A15). That is, as a unit scale image for indexing the display size of the product, for example, among unit scale images of 1 mm, 10 mm, 1 cm, 10 cm, 1 m, etc., it is optimal for the display size of the product photographed image. A unit scale image is selected, and this unit scale image is additionally displayed together with the product photographed image (step A16).
[0028]
FIG. 7D shows a display example in this case, and shows a case where a unit scale image of “10 mm” is selected and displayed as a unit scale image optimal for the display size of the product photographed image. Yes. The unit scale image has a configuration in which arrows in opposite directions are added to both ends of the horizontal ruled line and a unit numerical value is added above the scale figure, but the configuration and display position are arbitrary. With the unit scale image indicating the size on the product display, it is checked whether there is a registration instruction from the operator (step A17). If there is a registration instruction, the product photographed image with the unit scale is registered. (Step A18). Also, the operator checks whether or not there is a transmission instruction (step A19), and if there is a transmission instruction, performs processing for transmitting a product photographed image with a unit scale to the host device 1 (step A20).
[0029]
As described above, in the first embodiment, the portable information terminal 3 is configured such that the size of the product in the captured image is displayed in a state where the sample image for comparison with the size of the product in the captured image is displayed together with the product captured image. When the size of the sample image is adjusted by the input operation, the adjusted sample image is analyzed to calculate the size on the display, and the display size of the product is displayed based on the display size of the sample image. Since the unit scale image for indexing the size of the image is generated and this unit scale image is added to the product photographed image and displayed, only the sample image is adjusted according to the size of the product article. Therefore, the display size of the product can be easily confirmed. For example, if there is an empty space on the product display shelf, can the layout be changed as desired? Etc. it is possible to check whether it is possible to fit the replacement product in the free space or the like easily, becomes highly practical effects.
[0030]
In this case, since the portable information terminal 3 acquires the sample image of the product and its actual size information from the host device 1 by designating the product to be photographed, the sample image is displayed together with the product photographed image. The product on the display can be easily compared with the sample image that is the actual image, the adjustment work can be performed smoothly, and the display size of the sample image calculated according to the adjustment operation and the product Since the unit scale image is generated based on the actual size information, it is possible to easily generate an accurate unit scale image only by performing the ratio calculation.
[0031]
In addition, the portable information terminal 3 adjusts the size of the sample image according to the size of the product in the photographed image, adjusts the position of the sample image according to the position of the product, Since the sample image is rotated and its orientation is adjusted, it is easier to collate the product photographed image on the display with the sample image.
[0032]
In the first embodiment described above, an image expressing the outline of the product outline (outline) is used as the sample image. However, a photographed image obtained by actually photographing the product may be used as the sample image. Further, the sample image is not limited to an image that gives an image of the actual product, but may be a simple square figure or a bar-like figure.
[0033]
In the second embodiment described above, the portable information terminal 3 reads the barcode from the product to be photographed. However, the designation of the photographing target is not limited to reading the barcode, and the product name is input and designated. Alternatively, a sample image corresponding to each product is received and acquired from the host device 1 and any sample image is included in the captured image by sequentially comparing each sample image and the captured image. If it is determined whether or not the information is present, information input (input of a barcode, product name, etc.) for designating the object to be imaged becomes unnecessary.
In the first embodiment described above, the sample image of the product and the actual size information are received and acquired from the host device 1. However, if the product database 11 is prepared, the display product management system (communication system). The product management device is not limited to a stand-alone type.
[0034]
On the other hand, a recording medium (for example, a CD-ROM, a floppy disk, a RAM card, etc.) on which a program code for executing each of the above-described units is recorded may be provided to the computer.
That is, a recording medium having a computer-readable program code, a function for displaying a comparison target image together with the photographed image for comparison with the size of an article included in the photographed image, and the display A function of adjusting the size of the comparison target image by an input operation according to the size of the article in the captured image, a function of calculating the display size of the image by analyzing the adjusted comparison target image, A function of generating scale information for indexing the display size of the article based on the calculated display size of the comparison target image, and a function of adding the generated scale information to the captured image and outputting the same A computer-readable recording medium on which a program for realizing the above is recorded may be provided.
[0035]
(Second Embodiment)
Hereinafter, a second embodiment of the present invention will be described with reference to FIGS. In the first embodiment described above, the portable information terminal 3 acquires a sample image of the product and its actual size information from the host device 1 by designating the product to be photographed, and then samples the product according to the size of the product. When the image size is adjusted, a unit scale image is added to the product image to display the product display size based on the display size of the sample image after adjustment. However, in the second embodiment, the host apparatus 1 automatically adjusts the size of the sample image and does not require an operation for adjusting the sample image, and based on the display size of the sample image. A unit scale image for indicating the display size of the product is generated and added to the product photographed image. That is, in the second embodiment, in the display product management system, it is possible to remotely check the display size of the product included in the photographed image without performing any special operation.
Here, components that are basically the same in both embodiments are denoted by the same reference numerals, description thereof will be omitted, and the following description will focus on the features of the second embodiment.
[0036]
As in the first embodiment described above, the product database 11 is provided on the host device 1 side, and for each product, its “product code”, “barcode”, “sample image”, “actual size” The “sample image” in the second embodiment is not a simple figure expressing the outline of the product (outline) but a photographed image of the product actually taken. It is a sample image.
[0037]
FIG. 8 is a flowchart showing captured image processing on the host device 1 side, and FIG. 9 is a flowchart showing captured image processing on the portable information terminal 3 side.
First, on the host device 1 side, it is checked whether an acquisition request indicating that a captured image should be acquired from the portable information terminal 3 is received by an operator operation (step C1 in FIG. 8). (NO in step C1), the process proceeds to other processing according to the request content (step C13). However, when an acquisition request for acquiring a photographed image is received from the portable information terminal 3 (step C1). After the mobile information terminal 3 is called and designated to send a photographed image (step C2), it waits until a photographed image is transmitted from the requested portable information terminal 3 (step C3). ).
[0038]
When the portable information terminal 3 waits for an image transmission request from the host apparatus 1 (step D1 in FIG. 9) and receives the transmission request from the host apparatus 1, the portable information terminal 3 guides the person in charge of the image capturing start. Output (step D2). Here, when the product displayed on the product shelf is photographed using the digital camera 38 (step D3), the product photographed image is captured and temporarily stored, and the product photographed image is displayed and output (step D4). When the person in charge reads the barcode information from the product using the barcode scanner 37 (step D5), the person in charge transmits the reading result (product barcode) and the product photographed image to the host device 1 (step S5). D6).
[0039]
When the host device 1 receives the product barcode and the product photographed image transmitted from the portable information terminal 3 (step C4 in FIG. 8), the host device 1 displays the product photographed image (step C5) and displays the product barcode. Based on this, the product database 11 is searched (step C6), and “sample image” and “actual size information” corresponding to the corresponding product are read (step C7). Then, the photographed image is analyzed based on the sample image to identify the photographed part of the product (step C8).
[0040]
That is, it is determined by image comparison whether or not the photographed image contains an image that matches or approximates the sample image. If an image that substantially matches the sample image is included, the part is photographed by the product. Specify as a site. Then, the imaging region of the product is analyzed to calculate the display size (display size) (step C9), and the calculated sample image size (width, height, height) and the product's size are displayed. The actual size information (horizontal width, vertical width, height) is compared to calculate the ratio (step C10), and an optimal unit scale image is generated based on the comparison result (ratio) (step C11). The scale image is additionally displayed together with the product photographed image (step C12).
[0041]
As described above, in the second embodiment, the host device 1 analyzes the photographed image received from the portable information terminal 3 to specify the photographing part of the product included in the photographed image, and this photographing. The size of the part is calculated as the size of the imaged product, and scale information for indexing the size of the imaged product is generated based on the size of the imaged product and the actual size information of the product. Since it is added to the captured image and output, the communication network system can easily remotely check the display size of the product included in the captured image without performing any special operation. It is possible to remotely check whether the layout can be changed as desired, or whether the replacement product can be accommodated in an empty space. The casting. In this case, the host apparatus 1 specifies the imaged region of the product by analyzing the imaged image based on the sample image prepared in advance for each product and the actual size information, and calculates the size. In addition, it is possible to reliably and easily specify the imaging region of the product and calculate its size.
[0042]
In the second embodiment described above, the host device 1 receives and acquires the barcode read on the portable information terminal 3 side and identifies the product to be photographed. In addition to reading, the product name may be input and specified, and any sample image is included in the captured image by sequentially comparing the sample image corresponding to each product and the captured image. If it is determined whether or not, information input (input of a barcode, a product name, etc.) for designating a photographing target becomes unnecessary.
[0043]
On the other hand, a recording medium (for example, a CD-ROM, a floppy disk, a RAM card, etc.) on which a program code for executing each of the above-described units is recorded may be provided to the computer.
That is, a recording medium having a program code readable by a computer, the terminal device when receiving and acquiring a captured image via a network from a terminal device having a photographing function for photographing an article and a communication function, and outputting it The function of calculating the size of the imaging part as the size of the imaging article and the function of calculating the size of the imaging part as well as specifying the imaging part of the article included in the imaging image by analyzing the imaging image acquired from A function for generating scale information for indexing the size of a photographed article based on the size of the article and the actual size information of the article and a function for adding the generated scale information to the photographed image and outputting it It is also possible to provide a computer-readable recording medium in which a program for causing the program to be recorded is recorded.
[0044]
In the first and second embodiments described above, the unit scale image is added to the product photographed image for display. However, the display size of the product can be indexed without being limited to the unit scale image. Scale information may be used. For example, a scale image corresponding to the display size of a product may be displayed, or a size value may be simply displayed. Furthermore, not only when displaying a product photographed image with scale information, it may be printed out, or the size of the product printed can be confirmed. Moreover, although the product was illustrated as the object to be photographed, the product to be sold in the store or the stock product may be the object to be photographed, and the article to be photographed is arbitrary.
[0045]
【The invention's effect】
According to the first aspect of the present invention, the code information provided in the display product is read, the read code information is transmitted to the host device via the communication network, and the sample image and the actual size information transmitted from the host device. The acquired sample image is displayed together with the captured image as a comparison target image for comparison with the size of the display product included in the captured image, and the comparison target image is displayed together with the captured image. When the size of the comparison target image is adjusted by the input operation according to the size of the display product in the captured image, the adjusted comparison target image is analyzed and the size on the display is calculated. And the display size of this comparison target image And calculate the ratio between the obtained actual size information and the calculated ratio Scale information for indexing the display size of the display product is generated based on the display Therefore, the display / printing size of the displayed product can be easily confirmed simply by adjusting the comparison target image in accordance with the size of the displayed product. For example, the product display shelf When there is an empty space, it is possible to easily check whether the layout can be changed as desired, or whether the replacement product can be accommodated in the empty space. .
[Brief description of the drawings]
FIG. 1 is a block diagram showing the overall configuration of a display product management system.
FIG. 2 is a block diagram showing basic components of the portable information terminal 3;
FIG. 3 is a view showing the contents of a product database 11 provided on the host device 1 side.
FIG. 4 is a flowchart showing photographed image processing executed on the portable information terminal 3 side. It is.
FIG. 5 is a flowchart showing captured image processing executed on the mobile information terminal 3 side, following FIG. 4;
FIG. 6 is a flowchart showing a response process executed on the host device 1 side in response to a captured image process on the portable information terminal 3 side.
FIGS. 7A to 7D are diagrams showing display contents on the portable information terminal 3 side, and showing how the display contents change as the captured image processing progresses.
FIG. 8 is a flowchart showing captured image processing on the host device 1 side.
FIG. 9 is a flowchart showing photographed image processing on the portable information terminal 3 side.
[Explanation of symbols]
1 Host device
2 Local communication network
3 Mobile information terminals
11 Product database
31 CPU
32 storage devices
34 Communication equipment
35 Input device
36 Display device
37 Barcode scanner
38 Digital camera

Claims

Connected to a host device having a storage means for storing a sample image and actual size information of the display product in association with code information provided in the display product, and shooting the display product by a shooting means; In the portable information terminal that outputs the captured image,
Reading means for reading code information provided on the display product;
Transmitting the code information read by the reading unit to the host device via the communication network, and receiving and acquiring a sample image and actual size information transmitted from the host device;
Display control means for displaying the sample image obtained by the obtaining means together with the photographed image as a comparison target image for comparison with the size of the display product included in the photographed image;
Adjusting means for adjusting the size of the comparison target image by an input operation in accordance with the size of the display product in the displayed captured image;
A calculation unit that calculates a display size of the image by analyzing the comparison target image adjusted by the adjustment unit;
The ratio between the display size of the comparison target image calculated by the calculation means and the actual size information is calculated, and scale information for indexing the display size of the display product is generated based on the calculated ratio Generating means for
Image display means for adding and displaying the scale information generated by the generation means to the captured image; and
A portable information terminal comprising:

Determining means for determining presence / absence of a registration instruction from an operator, and photographed image registration means for registering the displayed photographed image with scale information when it is determined by the determining means that there is a registration instruction; The portable information terminal according to claim 1.

A discriminating unit for discriminating whether or not there is a transmission instruction from an operator; and a captured image transmitting unit for transmitting the displayed captured image with scale information to the host device when it is determined that there is a transmission instruction The portable information terminal according to claim 1, further comprising:

Connected to a host device having a storage means for storing a sample image and actual size information of the display product in association with code information provided in the display product, and shooting the display product by a shooting means; A computer that outputs the captured image
Reading means for reading code information provided on the display product;
An acquisition unit that transmits the code information read by the reading unit to a host device via a communication network, and receives and acquires a sample image and actual size information transmitted from the host device;
Display control means for displaying the sample image acquired by the acquisition means together with the captured image as a comparison target image for comparison with the size of the display product included in the captured image;
Adjusting means for adjusting the size of the comparison target image by an input operation in accordance with the size of the display product in the displayed captured image;
Calculating means for calculating the display size of the image by analyzing the comparison target image adjusted by the adjusting means;
The ratio between the display size of the comparison target image calculated by the calculation means and the actual size information is calculated, and scale information for indexing the display size of the display product is generated based on the calculated ratio Generating means,
Image display means for adding and displaying the scale information generated by the generating means to the captured image;
Program to function as.