JP5821238B2 - Image display control device, program, image display control system, and server - Google Patents
Image display control device, program, image display control system, and server Download PDFInfo
- Publication number
- JP5821238B2 JP5821238B2 JP2011077777A JP2011077777A JP5821238B2 JP 5821238 B2 JP5821238 B2 JP 5821238B2 JP 2011077777 A JP2011077777 A JP 2011077777A JP 2011077777 A JP2011077777 A JP 2011077777A JP 5821238 B2 JP5821238 B2 JP 5821238B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- converted
- notification
- display control
- received
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Television Signal Processing For Recording (AREA)
Description
本発明は、画像表示制御装置、プログラム、画像表示制御システム及びサーバに関する。 The present invention relates to an image display control device, a program, an image display control system, and a server.
複数のデジタル画像を保存し、順次切り替えてスライドショーを行う画像表示装置として、デジタルフォトフレームが知られている。デジタルフォトフレームの中には、通信によって画像を受信し、当該受信した画像を表示する機能を備えたものもある。しかし、デジタルフォトフレームは、通常、ある程度離れた位置から観察するため、せっかく新たな画像を受信しても気づかないことが多いという問題がある。画像を受信した事をＬＥＤやアラーム等によって通知することも可能ではあるが、部品点数が増加し構造が複雑化してしまうと共にユーザに「受信した画像を見なければならない」という心理的圧迫を与えてしまう。 A digital photo frame is known as an image display device that stores a plurality of digital images and sequentially performs a slide show. Some digital photo frames have a function of receiving an image by communication and displaying the received image. However, since a digital photo frame is usually observed from a certain distance, there is a problem that even if a new image is received, it is often not noticed. Although it is possible to notify that an image has been received by using an LED or an alarm, the number of parts increases and the structure becomes complicated, and the user is given psychological pressure to "see the received image". End up.
また、画像を受信して表示する技術に関連して、送受信する画像の一部を変換処理して表示する技術が、特許文献１，２に開示されているが、これらは、送信者が自らのプライバシーを保護するために画像を変換して送信するというものであり、かかる課題の解決には寄与できない。
Further, in relation to a technique for receiving and displaying an image, techniques for converting and displaying a part of an image to be transmitted / received are disclosed in
本発明は上記事情に鑑みてなされたもので、画像を受信したことを簡易な構成で報知することを可能とする画像表示制御装置、プログラム、画像表示制御システム及びサーバを提供することを目的とする。
また、本発明は、画像を受信した事をユーザに心理的圧迫を与えない方法で通知することを可能とする画像表示制御装置、プログラム、画像表示制御システム及びサーバを提供することを他の目的とする。
The present invention has been made in view of the above circumstances, and an object thereof is to provide an image display control device, a program, an image display control system, and a server that can notify that an image has been received with a simple configuration. To do.
Another object of the present invention is to provide an image display control device, a program, an image display control system, and a server capable of notifying a user that an image has been received without causing psychological pressure. And
上記目的を達成するため、請求項１記載の画像表示制御装置は、
複数の画像を受信する画像受信手段と、
前記画像受信手段が受信した複数の画像から一の画像を選択する画像選択手段と、
前記画像選択手段によって選択した前記一の画像に対応する通知用の変換画像を取得する変換画像取得手段と、
表示手段に前記変換画像取得手段が取得した前記通知用の変換画像を表示させる変換画像表示制御手段と、
ユーザが前記通知用の変換画像に気づいたか否かを、予め定められた条件に従って判別する判別手段と、
前記判別手段が、ユーザが前記通知用の変換画像に気がついたと判別すると、前記表示手段に前記受信した画像を表示させる画像表示制御手段と、
を備えることを特徴とする。
請求項５記載の画像表示制御装置は、
画像を受信する画像受信手段と、
前記画像受信手段が画像を受信すると、該画像に対応する通知用の変換画像を取得する変換画像取得手段と、
表示手段に前記変換画像取得手段が取得した前記通知用の変換画像を表示させる変換画像表示制御手段と、
ユーザが前記通知用の変換画像に気づいたか否かを、予め定められた条件に従って判別する判別手段と、
前記判別手段が、ユーザが前記通知用の変換画像に気がついたと判別すると、前記表示手段に前記受信した画像を表示させる画像表示制御手段と、
を備え、
前記画像表示制御手段は、前記変換画像から前記受信した画像への表示の変更にあたり、前記変換画像と前記受信した画像との中間の画像を前記表示手段に表示する、
ことを特徴とする。
In order to achieve the above object, an image display control device according to
Image receiving means for receiving a plurality of images;
Image selecting means for selecting one image from a plurality of images received by the image receiving means;
Converted image acquisition means for acquiring a converted image for notification corresponding to the one image selected by the image selection means ;
Converted image display control means for causing the display means to display the notification converted image acquired by the converted image acquisition means;
A discriminating means for discriminating whether or not the user has noticed the notification converted image according to a predetermined condition;
When the determination means determines that the user has noticed the converted image for notification, an image display control means for displaying the received image on the display means;
It is characterized by providing.
An image display control device according to claim 5 is provided.
Image receiving means for receiving an image;
When the image receiving unit receives an image, a converted image acquisition unit that acquires a converted image for notification corresponding to the image;
Converted image display control means for causing the display means to display the notification converted image acquired by the converted image acquisition means;
A discriminating means for discriminating whether or not the user has noticed the notification converted image according to a predetermined condition;
When the determination means determines that the user has noticed the converted image for notification, an image display control means for displaying the received image on the display means;
With
The image display control means displays an intermediate image between the converted image and the received image on the display means in changing the display from the converted image to the received image.
It is characterized by that.
本発明の画像表示制御装置、プログラム、画像表示制御システムは、画像を受信すると当該受信した画像と対応する通知用の変換画像を表示することができる。そして、ユーザが変換画像に気がついたと判別すると、受信した画像を表示することができる。
そのため、本発明の画像表示制御装置、プログラム、画像表示制御システムによれば、画像を受信したことを簡易な構成で報知することが可能となる。また、画像を受信したことをユーザに心理的圧迫を与えない方法で通知することが可能となる。
また、本発明のサーバを用いて画像表示制御装置に受信した画像と通知用の変換画像とを送信すれば、上記画像表示制御システムが実現できる。
When the image display control device, the program, and the image display control system of the present invention receive an image, they can display a notification conversion image corresponding to the received image. When it is determined that the user has noticed the converted image, the received image can be displayed.
Therefore, according to the image display control device, the program, and the image display control system of the present invention, it is possible to notify that an image has been received with a simple configuration. It is also possible to notify the user that the image has been received by a method that does not give psychological pressure to the user.
Further, if the received image and the notification converted image are transmitted to the image display control apparatus using the server of the present invention, the image display control system can be realized.
以下、本発明を実施するための形態を、図を参照しながら説明する。なお、図中同一又は相当する部分には同一符号を付す。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. In the drawings, the same or corresponding parts are denoted by the same reference numerals.
（実施形態１）
本発明の実施形態１に係る画像表示制御装置１は、画像を受信すると当該受信した画像を変換して表示し、ユーザを検出すると変換前の画像を表示するデジタルフォトフレームであり、図１に示すように、制御部１０と、記憶部２０と、タッチパネル３０と、人感センサ４０と、入力部５０と、通信部６０と、から構成される。
(Embodiment 1)
The image
制御部１０は、物理的にはＣＰＵ（Ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＤＰＳ（Ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｅｒ）、内部メモリ等から構成され、記憶部２０に記憶されたプログラムに基づき動作し、記憶部２０と、タッチパネル３０と、人感センサ４０と、入力部５０と、通信部６０と、を制御する。制御部１０は、このような構成により、機能的には、人感制御部１１と、タッチパネル制御部１２と、入力制御部１３と、通信制御部１４と、記憶制御部１５と、を備える。
The
人感制御部１１は、人感センサ４０の出力信号に基づいて、画像表示制御装置１の周辺に人（ユーザ）が居るか否かを判別する。
Based on the output signal of the
タッチパネル制御部１２は、タッチパネル３０を制御する。具体的には、タッチパネル制御部１２は、タッチパネル３０を構成する表示部３１に画像を表示させ、また、タッチセンサ３２が検出したユーザの操作を示す情報を受け取る。
The touch
入力制御部１３は、入力部５０からユーザが行った入力操作を特定する情報を受け取る。
The
通信制御部１４は、通信部６０を制御し、他機器と通信する。具体的には、他機器が送信する情報を受信し、他機器に情報を送信する。
The
記憶制御部１５は、記憶部２０を制御する。具体的には、記憶制御部１５は、記憶部２０に制御部１０の処理結果に基づく情報を記憶させ、記憶部２０に記憶されていた情報を読み出す。
The
記憶部２０は、物理的には不揮発性メモリ等から構成され、機能的には、画像記憶部２１と、画像変換プログラム記憶部２２と、から構成される。
The
画像記憶部２１は、通信制御部１４が受信した情報に含まれた画像と、制御部１０が生成する当該画像を変換した変換画像と、を記憶する。画像記憶部２１が記憶する受信した画像は任意の画像であって良いが、下記の絵画調変換プログラムで変換した場合に差が際だつように、写真であることが望ましい。
The
画像変換プログラム記憶部２２は、制御部１０が画像変換を実行するための画像変換プログラムを記憶する。画像変換プログラムの種類は任意であるが、例えば、ｉ）写真を絵画風（油彩調、水彩調等）に変換するプログラム、ii）写真中の背景部分を特定し、背景部分に他の画像を合成するプログラム、iii）写真中の人物を特定し、人物を加工するプログラム、iv）画像の全部又は一部の画素の色相・彩度・明度を変換するプログラム等、既知の任意のプログラムを採用できる。
The image conversion
タッチパネル３０は、画面を表示し、ユーザによる画面をなぞる等の操作を検出するデバイスである。
上述した機能を実現するために、タッチパネル３０は、タッチパネル制御部１２から指定された画像を表示する表示部３１の上に、その画像をなぞる等によって行われた操作を検出するタッチセンサ３２が重ねられた構造を有する。タッチパネル３０は、タッチセンサ３２が検出した上記操作の情報をタッチパネル制御部１２に伝達する。
The
In order to realize the above-described function, the
人感センサ４０は、焦電型赤外線センサから構成され、３７度近辺の熱を持つ物体を検出する。人感センサ４０は、所定の領域で３７度近辺の物体を検出すると、当該検出結果を人感制御部１１に伝達する。
The
入力部５０は、複数のキーと、キー操作を入力制御部１３に伝達する入出力部と、から構成される。
The
次に、画像表示制御装置１が実行する処理の概要を、図２を参照して説明する。
画像表示制御装置１は、起動されると受信待ち状態となり、画像Ｉ１を含む情報を他機器２００から受信すると、受信した画像Ｉ１を所定の変換プログラムを用いて変換して通知用の変換画像Ｉ２を生成し、これを表示する。並行して、ユーザが通知用の変換画像に気がついたと推定される所定の動作を行ったか否かを検出する。所定の動作を検出すると、受信した画像Ｉ１に切り替えて表示する。
Next, an outline of processing executed by the image
When the image
このような表示を行うため、画像表示制御装置１は起動されると他機器からの情報の送信を待つ受信待ち状態となる（ステップＳ１）。そして、画像Ｉ１を受信すると（ステップＳ２）、この画像Ｉ１に画像変換を行って（ステップＳ３）、変換画像Ｉ２を生成する（ステップＳ３）。そして、変換画像Ｉ２を通知用の変換画像として表示する（ステップＳ４）。通知用の変換画像の表示に並行して、画像表示制御装置１は人感センサ４０を用いて画像表示制御装置１の周囲に人が居るか否かを検出する（ステップＳ４）。そして、画像表示制御装置１の周囲に人を検出すると、受信した画像Ｉ１に切り替えて表示する（ステップＳ５）。
In order to perform such display, when the image
次に、画像表示制御装置１が上記処理をどのように実行するか、図３を参照して詳細に説明する。
Next, how the image
画像表示制御装置１が通信部６０を介して他機器２００から何らかの情報を受信すると、制御部１０の通信制御部１４がこれを検出し、制御部１０は図３に示す画像表示処理１を開始する。
まず、制御部１０は受信した情報に画像が含まれるか判別する（ステップＳ１０１）。
画像が含まれていないと判別した場合（ステップＳ１０１；ＮＯ）、その他の処理を行う（ステップＳ１０２）。この「その他の処理」は任意に設定可能であるが、例えば画像表示処理１が開始される前に表示されていた画像をそのまま表示し続ける処理が考えられる。
When the image
First, the
When it is determined that no image is included (step S101; NO), other processing is performed (step S102). Although this “other processing” can be arbitrarily set, for example, processing that continues to display the image that was displayed before the
画像が含まれていると判別した場合（ステップＳ１０１；ＹＥＳ）、制御部１０の記憶制御部１５は、受信した画像を記憶部２０の画像記憶部２１に記憶する。
また、記憶制御部１５は、記憶部２０の画像変換プログラム記憶部２２に記憶されている画像変換プログラムの１つを読み出す。ここでは、絵画調変換プログラムを読み出すこととする。
続いて、制御部１０は、受信した画像に読み出した画像変換プログラムによる画像変換を行って、通知用の変換画像を生成する（ステップＳ１０３）。
When it is determined that an image is included (step S <b>101; YES), the
The
Subsequently, the
変換画像の生成が終わると、制御部１０のタッチパネル制御部１２は、変換画像をタッチパネル３０の表示部３１に表示し（ステップＳ１０４）、新たな画像を受信したことをユーザに通知・報知する。
When the generation of the converted image is completed, the touch
次に、制御部１０は、ユーザが表示された変換画像に気がついたか否かを判別する処理を行う（ステップＳ１０５、ステップＳ１０６）。
具体的には、制御部１０のタッチパネル制御部１２は、タッチパネル３０のタッチセンサ３２に対して何らかの操作が行われたか否かを判別し、また、制御部１０の入力制御部１３は、入力部５０に対して何らかの操作が行われたか否かを判別する（ステップＳ１０５）。タッチセンサ３２と入力部５０とのいずれに対しても操作が行われていないと判別すると（ステップＳ１０５；ＮＯ）、制御部１０は、人感センサ４０を用いた人の検出を行なう（ステップＳ１０６）。具体的には、人感制御部１１が人感センサ４０を用いて人感センサ４０を基準とした所定の区域で３７℃付近の熱を放つ物体を検出できるか判別する（ステップＳ１０６）。３７℃近辺の熱を持つ物体が検出できた場合、人感制御部１１は人を検出したと判別する（ステップＳ１０６；ＹＥＳ）。
Next, the
Specifically, the touch
ユーザの操作が行われていないと判別され（ステップＳ１０５；ＮＯ）、かつ人が検出されないと判別された場合（ステップＳ１０６；ＮＯ）、ユーザが通知用の変換画像に気がついていないと推測されるため、処理はステップＳ１０５に戻り、通知用の変換画像が続けて表示される。 When it is determined that the user's operation is not performed (step S105; NO) and it is determined that no person is detected (step S106; NO), it is estimated that the user is not aware of the notification conversion image. Therefore, the process returns to step S105, and the converted image for notification is continuously displayed.
一方、ユーザの操作が行われたと判別された場合（ステップＳ１０５；ＹＥＳ）、又は人が検出されたと判別された場合（ステップＳ１０６；ＹＥＳ）、ユーザが変換画像の表示による受信通知に気がついたと推定されるため、変換画像の表示を停止し、受信した画像を表示する（ステップＳ１０７）。そして、画像表示処理１は終了する。
その後、画像表示制御装置１の通常の処理に移行し、例えば、記憶部２０の画像記憶部２１に記憶されている画像をスライドショー形式で表示する。
On the other hand, when it is determined that the user's operation has been performed (step S105; YES), or when it is determined that a person has been detected (step S106; YES), it is estimated that the user has noticed the reception notification by displaying the converted image. Therefore, the display of the converted image is stopped and the received image is displayed (step S107). Then, the
Thereafter, the process shifts to a normal process of the image
上述したように、本実施形態の画像表示制御装置１は、画像を受信すると当該受信した画像に画像変換を行った通知用の変換画像を表示する。そして、ユーザが変換画像に気がついたと判別すると、受信した画像に切り替えて表示する。ユーザは、通常の画像とは画調が異なる変換画像を一見するだけで、特段の負担なく、新着画像があることを知ることができ、画像表示制御装置１に歩み寄る、タッチパネル３０に触れる、入力部５０を操作する等の行為を自然に行うだけで、新規に受信した画像を見ることができる。
また、通知用の発光部やスピーカを用いずに通知（報知）を行うことができるため、簡易な構成で報知することができる。
As described above, when receiving an image, the image
In addition, since notification (notification) can be performed without using a light emitting unit or speaker for notification, notification can be performed with a simple configuration.
（実施形態２）
次に、本発明に係る実施形態２について説明する。実施形態２に係る画像表示制御装置２は、受信した情報に複数の画像が含まれていた場合、当該複数の画像から優先度が高い画像を選択して、優先度が高い画像を変換した変換画像を表示することによりユーザに受信を通知することを特徴とする。
(Embodiment 2)
Next, Embodiment 2 according to the present invention will be described. The image display control device 2 according to the second embodiment, when the received information includes a plurality of images, selects a high priority image from the plurality of images and converts the high priority image The reception is notified to the user by displaying an image.
実施形態２に係る画像表示制御装置２の構成について、図４を参照して説明する。
画像表示制御装置２は、実施形態１に係る画像表示制御装置１と比して、記憶部２０に顔判別プログラム記憶部２３と、顔年齢推定プログラム記憶部２４と、をさらに備えることを特徴とする。
The configuration of the image display control device 2 according to the second embodiment will be described with reference to FIG.
Compared with the image
顔判別プログラム記憶部２３は、画像に人の顔の画像が含まれているか判別するプログラムを記憶する。顔判別プログラムの種類は任意であるが、例えば（ｉ）Haar-like特徴を使った顔判別プログラム、（ｉｉ）HOG （Histogram of oriented Gradient）特徴を使った顔判別プログラム、（ｉｉｉ）画像の各画素のうち人肌の色と推定した色の画素が占める領域を検出し、当該領域の形状と所定の形状との比較結果に基づいて顔が含まれているか判別する顔判別プログラム、等の既知の任意の顔判別プログラムを採用できる。
これらの顔判別プログラムは、画像に人の顔の画像が含まれていると判別すると、その顔の画像を検出する。ある画像が人の顔の画像を複数含んでいる場合には、各顔の画像をそれぞれ検出する。
The face discrimination
When it is determined that an image of a person's face is included in the image, these face determination programs detect the face image. When an image includes a plurality of human face images, each face image is detected.
顔年齢推定プログラム記憶部２４は、上記顔判別プログラムが検出した顔の画像から、その顔を有する人間の年齢を推定する顔年齢推定プログラムを記憶する。顔年齢推定プログラムの種類は任意であるが、例えば、（ｉ）顔の輪郭、目と鼻の位置、等のパラメータを算出し、これらのパラメータを変数とする推定式によって年齢を推定する顔年齢推定プログラム、（ｉｉ）目、鼻、顔の上端、顔の下端、口の両端の位置、等からなる顔特徴ベクトルを抽出して、教師有り学習を行ったニューラルネットワークやサポートベクターマシンに当該顔特徴ベクトルを入力して年齢推定を行う顔年齢推定プログラム、等の既知の任意の顔年齢推定プログラムを採用できる。
The face age estimation
次に、画像表示制御装置２が行う処理の概要を、図５を参照して説明する。
画像表示制御装置２は、複数の画像を含む情報を受信すると、受信した複数の画像からユーザが最も興味を示すと推定される画像（優先度の高い画像）を一つ選択して、当該選択された画像を変換した通知用の変換画像を生成して表示する。並行して、ユーザが通知用の変換画像に気がついたと推定される所定の動作を行ったか否かを検出する。所定の動作を検出すると、受信した画像に切り替えて表示する。
Next, an outline of processing performed by the image display control device 2 will be described with reference to FIG.
When the image display control device 2 receives information including a plurality of images, the image display control device 2 selects one image (high priority image) that is estimated to be most interested by the user from the received plurality of images, and performs the selection. A notification converted image obtained by converting the generated image is generated and displayed. In parallel, it is detected whether or not the user has performed a predetermined operation that is presumed to have noticed the converted image for notification. When a predetermined operation is detected, the received image is switched and displayed.
このような表示を行うため、画像表示制御装置２は起動されると他機器２００からの情報の送信を待つ受信待ち状態となる（ステップＳ１１）。そして、複数の画像（画像Ｉ１、Ｉ３、Ｉ４）を含む情報を受信すると（ステップＳ１２）、複数の画像から一つの画像を選択する（ステップＳ１３）。図５の例では、画像Ｉ１が選択され、この画像Ｉ１に画像変換を行って、通知用の変換画像Ｉ２を生成する（ステップＳ１４）。その後の処理は、実施形態１の図で説明したステップＳ４〜ステップＳ５の処理と同様に実行される（ステップＳ１５〜ステップＳ１６）。 In order to perform such display, when the image display control device 2 is activated, the image display control device 2 enters a reception waiting state waiting for transmission of information from the other device 200 (step S11). When information including a plurality of images (images I1, I3, and I4) is received (step S12), one image is selected from the plurality of images (step S13). In the example of FIG. 5, the image I1 is selected, and image conversion is performed on the image I1 to generate a notification converted image I2 (step S14). Subsequent processing is executed in the same manner as the processing in steps S4 to S5 described with reference to the drawing of the first embodiment (steps S15 to S16).
受信画像のうちで、人の顔の画像を含む画像は、例えば送信者やその家族の顔を含む画像である場合が多い。さらに、その顔が子供など若い人の顔であった場合には、その人はユーザの家族である送信者の子供（例えばユーザの孫）であることが想定できる。そのため、人の顔を含む画像、特にその中でも最も若い人の顔が含まれる画像が、ユーザの関心が最も高い画像であると推定される。そこで本実施形態２では、ユーザの関心が最も高く、かつ送信者を特定できる可能性が高いと推定できる「最も若い人物の顔を含む画像」を選択して、選択された画像から通知用の変換画像を作成する。 Of the received images, an image including an image of a person's face is often an image including the face of a sender or a family member, for example. Further, when the face is a face of a young person such as a child, it can be assumed that the person is a child of a sender (for example, a user's grandchild) who is a user's family. Therefore, it is estimated that an image including a human face, in particular, an image including the youngest human face among them is the image with the highest user interest. Therefore, in the second embodiment, a user selects the “image including the face of the youngest person” that can be estimated to have the highest user interest and the possibility of specifying the sender, and the notification image is selected from the selected image. Create a converted image.
次に、画像表示制御装置２が上記処理をどのように実行するか、図６、７を参照して詳細に説明する。 Next, how the image display control device 2 executes the above process will be described in detail with reference to FIGS.
画像表示制御装置２が通信部６０を介して他機器２００から何らかの情報を受信すると、制御部１０の通信制御部１４がこれを検出し、制御部１０は図６に示す画像表示処理２を開始する。
まず、制御部１０は当該受信した情報に画像が含まれるか判別する（ステップＳ２０１）。
画像が含まれていないと判別した場合（ステップＳ２０１；ＮＯ）、その他の処理を行う（ステップＳ２０２）。この場合の処理は任意に設定可能であるが、例えば画像表示処理２が開始される前に表示されていた画像をそのまま表示し続ける処理が考えられる。
When the image display control device 2 receives some information from the other device 200 via the
First, the
If it is determined that no image is included (step S201; NO), other processing is performed (step S202). The process in this case can be arbitrarily set, but for example, a process of continuing to display the image displayed before the image display process 2 is started can be considered.
画像が含まれていると判別した場合（ステップＳ２０１；ＹＥＳ）、制御部１０の記憶制御部１５は、受信した画像を記憶部２０の画像記憶部２１に記憶し、次に変換元画像選択処理を実行して（ステップＳ２０３）、通知用の変換画像を生成するための変換元となる画像を受信した複数の画像から選択する。変換元画像選処理については後述する。
When it is determined that an image is included (step S201; YES), the
その後、制御部１０は上記選択された画像を変換して通知用の変換画像を生成する（ステップＳ２０４）。
Thereafter, the
通知用の変換画像が生成された後の処理は、実施形態１に係る画像表示処理１（図３；ステップＳ１０４〜ステップＳ１０７）と同様である（ステップＳ２０５〜ステップＳ２０８）。 The process after the conversion image for notification is generated is the same as the image display process 1 (FIG. 3; step S104 to step S107) according to the first embodiment (step S205 to step S208).
次に、上記ステップＳ２０３で行われる変換元画像選択処理について、図７を参照して説明する。
画像表示処理２において、受信した情報に画像が含まれていた場合は、制御部１０はステップＳ２０３で図７に示す変換元画像選択処理を開始する。
Next, the conversion source image selection process performed in step S203 will be described with reference to FIG.
In the image display process 2, if the received information includes an image, the
まず制御部１０は受信した情報に画像が２つ以上含まれているか判別する（ステップＳ３０１）。
受信した情報に画像が一つだけ含まれていると判別した場合（ステップＳ３０１；ＮＯ）、制御部１０はその画像を変換元画像として選択して（ステップＳ３０２）、処理を終了する。
First, the
When it is determined that the received information includes only one image (step S301; NO), the
一方、画像が二つ以上含まれていた場合（ステップＳ３０１；ＹＥＳ）、当該複数の画像から、変換元となる画像を選択する処理を行う（ステップＳ３０３〜ステップＳ３０７）。
このとき、記憶制御部１５は、記憶部２０の顔判別プログラム記憶部２３に記憶されている顔判別プログラムの１つを読み出す。ここでは、ＨＯＧ特徴を使った顔判別プログラムを読み出すこととする。
On the other hand, when two or more images are included (step S301; YES), processing for selecting an image as a conversion source from the plurality of images is performed (steps S303 to S307).
At this time, the
続いて、制御部１０は、読み出した顔判別プログラムを用いて受信した複数の画像それぞれに人の顔の画像が含まれるか否か判別する。
受信した複数の画像全てについて、顔の画像が含まれていないと判別された場合、制御部１０は顔有り画像（人の顔の画像が含まれている画像）が無いと判別する。（ステップＳ３０３；ＮＯ）
Subsequently, the
If it is determined that the face image is not included for all of the plurality of received images, the
顔有り画像が無いと判別した場合（ステップＳ３０３；ＮＯ）、制御部１０は当該複数の画像からコントラストが最大の画像を選択して（ステップＳ３０４）、処理を終了する。
コントラスト最大の画像が選択される理由は、コントラストが最大である画像は最も鮮明な画像であるからである。
If it is determined that there is no image with a face (step S303; NO), the
The reason for selecting the image with the maximum contrast is that the image with the maximum contrast is the clearest image.
前記複数の画像に人物の顔が描写されている画像が含まれていると判別した場合（ステップＳ３０３；ＹＥＳ）、制御部１０は顔の画像を含む画像（顔あり画像）が２つ以上あるか判別する（ステップＳ３０５）。
顔有り画像が２つ以上無いと判別すると（ステップＳ３０５；ＮＯ）、その顔有り画像を変換元画像として選択する（ステップＳ３０６）。
When it is determined that an image in which a human face is depicted is included in the plurality of images (step S303; YES), the
If it is determined that there are not two or more images with faces (step S305; NO), the images with faces are selected as conversion source images (step S306).
一方、顔有り画像が２つ以上あると判別した場合は（ステップＳ３０５；ＹＥＳ）、当該複数の顔有り画像から、もっとも若い顔が含まれる画像を選択する（ステップＳ３０７）。具体的には、記憶制御部１５が、記憶部２０の画像変換プログラム記憶部２２に記憶されている顔年齢推定プログラムの１つを読み出す。ここでは、目、鼻、顔の上端、顔の下端、口の両端の位置、からなる顔特徴ベクトルを抽出して、教師有り学習を行ったサポートベクターマシンに当該顔特徴ベクトルを入力して年齢推定を行う顔年齢推定プログラムを読み出す。
On the other hand, when it is determined that there are two or more images with faces (step S305; YES), an image including the youngest face is selected from the plurality of images with faces (step S307). Specifically, the
続いて、制御部１０は、顔有り画像に含まれる顔の画像を、顔判別プログラムを用いて検出し、検出した画像の顔を有する人物の年齢を、読み込んだ顔年齢推定プログラムを用いて推定する。この顔年齢推定プログラムが行う処理については後述する。
そして、もっとも若い人物の顔画像を含む画像を、変換元画像として選択する。
Subsequently, the
Then, an image including the face image of the youngest person is selected as a conversion source image.
ステップＳ３０２、ステップＳ３０４、ステップＳ３０６又はステップＳ３０７で変換元画像が選択されると、制御部１０は変換元画像選択処理を終了し、図６のステップＳ２０４が実行される。ステップＳ２０４以下の処理は上述したとおり実施形態１に係る画像表示処理１のステップＳ１０３〜Ｓ１０７と同様である。
When the conversion source image is selected in step S302, step S304, step S306, or step S307, the
ここで、上記顔年齢推定プログラムを用いた年齢の推定処理について説明する。
推定処理では、まず人の顔の画像を抽出し、顔の方向や大きさ等を正規化する正規化処理を行う。そして、正規化した顔の画像から、顔の輪郭、眉、目、鼻、口、の位置を抽出する。
そして、眉の位置と目の位置との距離ｙ１と、目の位置と顔の輪郭の中央までの距離ｙ２と、顔の位置の中央から鼻の下部までの位置ｙ３と、鼻の下部から口までの距離ｙ４と、口から顔の下端までの距離ｙ５と、をパラメータとして抽出して、顔特徴ベクトルとして記憶部２０に記憶する。
そして、教師有り学習で学習したサポートベクターマシンに上記顔特徴ベクトルを入力し、クラスタリングを行って、年齢を推定する。
Here, an age estimation process using the face age estimation program will be described.
In the estimation process, a human face image is first extracted, and a normalization process is performed to normalize the face direction and size. Then, the positions of the face outline, eyebrows, eyes, nose and mouth are extracted from the normalized face image.
The distance y1 between the eyebrow position and the eye position, the distance y2 from the eye position to the center of the face contour, the position y3 from the center of the face position to the lower part of the nose, and the mouth from the lower part of the nose And the distance y5 from the mouth to the lower end of the face are extracted as parameters and stored in the
Then, the face feature vector is input to a support vector machine learned by supervised learning, clustering is performed, and age is estimated.
上述したように、本実施形態の画像表示制御装置２は、複数の画像を含む情報を受信すると、画像のコントラスト、画像に顔の画像が含まれているか否か、顔の画像の顔年齢、に基づいて通知用の変換画像の変換元画像を選択する。
そのため、通知用の変換画像を表示するに当たって、送信者を特定でき、ユーザの関心が高いと推定される画像を変換した変換画像を表示できる。そのため、よりユーザの注意を引きつけることができると推定される変換画像を用いて、特段の負担なく、新着画像があることをユーザに通知することができる。
As described above, when the image display control device 2 of the present embodiment receives information including a plurality of images, the image contrast, whether the image includes a face image, the face age of the face image, The conversion source image of the conversion image for notification is selected based on the above.
Therefore, when displaying the conversion image for notification, a sender can be specified, and a conversion image obtained by converting an image estimated to be highly interested by the user can be displayed. Therefore, it is possible to notify the user that there is a newly arrived image without any particular burden by using the converted image that is estimated to attract more attention of the user.
（実施形態３）
次に、本発明に係る実施形態３について説明する。実施形態３は、実施形態２に係る画像表示制御装置２が行う処理を、画像表示制御システム３を構成するサーバ４と画像表示制御装置５とで分散して行うことを特徴とする。
(Embodiment 3)
Next,
実施形態３に係る画像表示制御システム３の構成を、図９を参照して説明する。画像表示制御システム３は、サーバ４と、画像表示制御装置５と、から構成される。
The configuration of the image
サーバ４は、画像を含む情報を受信すると、当該画像を変換した変換画像を生成し、前記受信した画像と前記変換画像を画像表示制御装置５に送信するサーバであり、図９に示すように制御部７０と、記憶部８０と、通信部９０と、から構成される。
制御部７０は、物理的にはＣＰＵ（Ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、内部メモリ、等から構成され、記憶部８０と、通信部９０と、を制御する。制御部７０は、このような構成により、機能的には、通信制御部７１と、記憶制御部７２と、を備える。
When the
The
通信制御部７１は通信部９０を制御して、他機器及び画像表示制御装置５と通信を行う。具体的には、他機器が送信する情報を受信し、他機器に情報を送信する。また、画像表示制御装置５に情報を送信し、画像表示制御装置５から情報を受信する。
The communication control unit 71 controls the
記憶制御部７２は、記憶部８０を制御する。具体的には、記憶部８０に制御部７０の処理結果に基づく情報を記憶させる。また、記憶部８０から記憶された情報を取得する。
The storage control unit 72 controls the
記憶部８０は、物理的には不揮発性メモリ等から構成され、機能的には、画像記憶部８１と、画像変換プログラム記憶部８２と、顔判別プログラム記憶部８３と、顔年齢推定プログラム記憶部８４と、送受信アドレス表記憶部８５と、から構成される。
The
画像記憶部８１と、画像変換プログラム記憶部８２と、顔判別プログラム記憶部８３と、顔年齢推定プログラム記憶部８４と、は実施形態２に係る同名の部位（画像記憶部２１、画像変換プログラム記憶部２２、顔判別プログラム記憶部２３、顔年齢推定プログラム記憶部２４）とそれぞれ対応する。
送受信アドレス表記憶部８５は、他機器のアドレスと、画像表示制御装置５のアドレスと、を対応付けて登録した送受信アドレス表を記憶する。
The
The transmission / reception address table storage unit 85 stores a transmission / reception address table in which addresses of other devices and addresses of the image display control device 5 are registered in association with each other.
ここで、送受信アドレス表記憶部８５に記憶された送受信アドレス表について図１０を参照して説明する。送受信アドレス表は、図１０に示すように、情報を受信した他機器のアドレス（受信元アドレス）と、画像と変換画像を送信する画像表示制御装置５のアドレス（送信先アドレス）と、を対応付けて記憶している。
さらに、送受信アドレス表には、一つの受信元アドレスと送信先アドレスの組に対して、画像変換プログラムの名称（変換プログラム名）が登録されている。この変換プログラム名は、サーバ４の記憶部８０の画像変換プログラム記憶部８２に記憶されている画像変換プログラムの名前を示す。
サーバ４は、制御部７０の通信制御部７１が、通信部９０を通じて他機器から画像を受信すると、送受信アドレス表を参照して、他機器のアドレス（受信元アドレス）と対応するアドレス（送信先アドレス）の画像表示制御装置５に、受信した画像と、受信元アドレスに対応する画像変換プログラムを用いて変換した変換画像を送信する。
送受信アドレス表の内容は、あらかじめサーバ管理者によって設定されている。
Here, the transmission / reception address table stored in the transmission / reception address table storage unit 85 will be described with reference to FIG. As shown in FIG. 10, the transmission / reception address table corresponds to the address (reception source address) of the other device that has received the information and the address (transmission destination address) of the image display control device 5 that transmits the image and the converted image. I remember it.
Further, the name of the image conversion program (conversion program name) is registered in the transmission / reception address table for one set of the reception source address and the transmission destination address. The conversion program name indicates the name of the image conversion program stored in the image conversion
When the communication control unit 71 of the
The contents of the transmission / reception address table are set in advance by the server administrator.
図９に戻って、画像表示制御装置５は、画像変換プログラム記憶部２２を含まない以外は、図１に示した実施形態１に係る画像表示制御装置１と同様の構成を持つ。
Returning to FIG. 9, the image display control device 5 has the same configuration as the image
次に、画像表示制御システム３で行われる処理の概要を、図１１を参照して説明する。
画像表示制御システム３では、実施形態２に係る処理の概要（図５）と比して、画像表示制御装置２で行われていた処理の一部が、画像表示制御装置５でなくサーバ４で行われる点が異なる。
Next, an outline of processing performed in the image
In the image
サーバ４は、起動されると他機器２００からの情報の送信を待つ受信待ち状態となる（ステップＳ２１）。そして、複数の画像（画像Ｉ１、Ｉ３、Ｉ４）を含む情報を受信すると（ステップＳ２２）、複数の画像から一つの画像を選択する（ステップＳ２３）。図１１の例では、画像Ｉ１が選択され、この画像Ｉ１に画像変換を行って、通知用の変換画像Ｉ２を生成する（ステップＳ２４）。
このとき、画像変換は、送受信アドレス表記憶部８５に記憶された送受信アドレス表で、他機器２００のアドレスが送信元アドレスに登録された行の変換プログラム名に対応する画像変換プログラムを用いて行われる。
When the
At this time, the image conversion is performed using an image conversion program corresponding to the conversion program name of the line in which the address of the other device 200 is registered in the transmission source address in the transmission / reception address table stored in the transmission / reception address table storage unit 85. Is called.
変換画像Ｉ２の生成が終わると、送受信アドレス表記憶部８５に記憶された送受信アドレス表で他機器２００のアドレスが送信元アドレスに登録された行の送信先アドレスと同じアドレスを持つ画像表示制御装置５に、画像Ｉ１〜Ｉ４を送信する（ステップＳ２５）。このとき、通知用の変換画像Ｉ２と、変換元画像Ｉ１は対応付けて送信される。 When the generation of the converted image I2 is finished, the image display control device having the same address as the transmission destination address of the row in which the address of the other device 200 is registered in the transmission source address in the transmission / reception address table stored in the transmission / reception address table storage unit 85 5, the images I1 to I4 are transmitted (step S25). At this time, the notification converted image I2 and the conversion source image I1 are transmitted in association with each other.
一方、画像表示制御装置５は、起動されるとサーバ４からの受信を待つ受信待ち状態となる（ステップＳ３１）。そして、サーバから画像を受信すると（ステップＳ３２）、変換画像Ｉ２を表示してユーザに受信を通知する（ステップＳ３３）。その後の画像表示制御装置５の処理は、図５で示した画像表示制御装置２の処理（ステップＳ１５−ステップＳ１６）と同様である（ステップＳ３３−ステップＳ３４）。 On the other hand, when the image display control device 5 is activated, the image display control device 5 waits for reception from the server 4 (step S31). When an image is received from the server (step S32), the converted image I2 is displayed to notify the user of the reception (step S33). The subsequent processing of the image display control device 5 is the same as the processing (step S15 to step S16) of the image display control device 2 shown in FIG. 5 (step S33 to step S34).
次に、サーバ４が上記処理をどのように実行するか、図１２を参照して詳細に説明する。
サーバ４が通信部９０を介して他機器２００から何らかの情報を受信すると、制御部７０の通信制御部７１がこれを検出し、制御部７０は図１２に示す画像変換・送信処理を開始する。
Next, how the
When the
まず、制御部７０の通信制御部７１は、他機器２００のアドレスを抽出する（ステップＳ４０１）。そして、制御部７０は記憶部８０の送受信アドレス表記憶部８５に記憶された送受信アドレス表を参照して、抽出したアドレスが送受信アドレス表の受信元アドレスに登録されているか判別する（ステップＳ４０２）。
First, the communication control unit 71 of the
抽出したアドレスが送受信アドレス表の受信元アドレスに登録されていないと判別した場合（ステップＳ４０２；ＮＯ）、他機器２００はサーバ４に登録されていないため、サーバ４は受信を拒絶する処理（ステップＳ４０３）を実行する。この場合に行われる処理は任意に設定可能であるが、例えば他機器２００に受信を拒絶するメッセージを送信する。
When it is determined that the extracted address is not registered in the source address of the transmission / reception address table (step S402; NO), the other device 200 is not registered in the
一方、抽出したアドレスが送受信アドレス表の受信元アドレスに登録されていると判別した場合（ステップＳ４０２；ＹＥＳ）、制御部７０は、登録されている受信元アドレスに対応する送信先アドレスと画像変換プログラムとを抽出し、次に受信した情報に画像が含まれるか判別する（ステップＳ４０４）。
On the other hand, when it is determined that the extracted address is registered in the source address of the transmission / reception address table (step S402; YES), the
画像が含まれていないと判別した場合（ステップＳ４０４；ＮＯ）、制御部７０は情報送信処理を実行する（ステップＳ４０５）。具体的には、通信制御部７１が通信部９０を用いて、受信した情報を抽出した送信先アドレスの画像表示制御装置５に送信する。
When it is determined that no image is included (step S404; NO), the
画像が含まれている場合（ステップＳ４０４；ＹＥＳ）、制御部７０は変換元画像選択処理を実行する（ステップＳ４０６）。変換元画像選択処理で、制御部７０は画像変換を行って変換画像を生成する際の変換元となる画像を決定する。実施形態３で行われる変換元画像選択処理は、図７で示した変換元画像選択処理と同じである。
If an image is included (step S404; YES), the
変換元画像選択処理（ステップＳ４０６）で変換元となる画像が選択されると、制御部７０は画像変換プログラム記憶部８２に記憶された、受信元アドレスに対応する画像変換プログラムを用いて通知用の変換画像を生成する（ステップＳ４０７）。
When the conversion source image is selected in the conversion source image selection process (step S406), the
変換画像の生成が終わると、受信した画像と、変換画像と、変換画像と変換元画像とを対応付ける情報と、を画像表示制御装置５に送信する（ステップＳ４０８）。具体的には、制御部７０の通信制御部７１が通信部９０を用いて、受信した画像と、変換画像と、変換画像と変換元画像を対応付ける情報と、を抽出した送信先アドレスの画像表示制御装置５に送信する。
When the generation of the converted image is completed, the received image, the converted image, and information that associates the converted image with the conversion source image are transmitted to the image display control device 5 (step S408). Specifically, the communication control unit 71 of the
サーバ４で行われる処理についての説明は以上で終了する。その後、画像表示制御装置５で行われる処理は、図６で示した実施形態２に係る画像表示処理２のステップＳ２０５以下と同様である。
The description of the processing performed by the
以上説明したように、実施形態３は、実施形態１〜２で行われていた変換元画像選択処理と、通知用の変換画像を生成する処理と、をサーバ４で行う構成を持つ。
そのため、実施形態３に係る画像表示制御装置５は通知用の変換画像を生成する処理を行うための構成（画像変換プログラム記憶部や画像処理用のＤＳＰ等）を持たなくても良い。そのため、実施形態３は、実施形態１〜２の画像表示制御装置１〜２の機能をより小型・低価格が可能な画像表示制御装置５を用いて提供することが出来る。
As described above, the third embodiment has a configuration in which the
Therefore, the image display control device 5 according to the third embodiment does not have to have a configuration (image conversion program storage unit, image processing DSP, or the like) for generating a notification converted image. Therefore, the third embodiment can provide the functions of the image
以上、本発明の実施形態について説明したが、本発明の実施形態は上記に限られる物ではない。 As mentioned above, although embodiment of this invention was described, embodiment of this invention is not restricted to the above.
例えば、上記実施形態では、通知用の変換画像から変換前の画像に表示を切り替える際に、瞬時に切り替える。しかし、本発明において変換前の画像に切り替えて表示する方法はこれに限られず、中間の画像を順次切り替え表示してから変換前の画像に切り替えて表示してもよい。 For example, in the above embodiment, when the display is switched from the notification conversion image to the image before conversion, the display is switched instantaneously. However, in the present invention, the method of switching to and displaying the image before conversion is not limited to this, and the intermediate image may be sequentially switched and displayed before switching to the image before conversion.
この場合に行われる処理を、図１３を参照して説明する。図２の処理において、元画像（変換度０％）を変換した変換画像（変換度１００％）の生成が完了すると、元画像と変換画像とを合成して中間段階の画像（中間の画像）を複数生成する。図１３の例では、元画像と変換画像を重みづけて加算して平均値を作成し、変換度２５％、変換度５０％、変換度７５％の画像（中間の画像）を生成して保存する（図１３（Ａ））。この中間の画像を生成するプログラムとしては、例えば対応する各画素について、色値を合成比率に基づいて加重平均する事によって中間の画像を生成するプログラム等、既知の合成画像生成プログラムを採用できる。
Processing performed in this case will be described with reference to FIG. In the process of FIG. 2, when the generation of the converted image (
そして、ユーザを検出して変換前の元画像に切り替えるタイミングで中間の画像を変換度１００％から変換度０％まで順次切り替えて表示する（図１３（Ｂ））。
これにより、ユーザに、通知用の変換画像に気がついて画像表示制御装置に近づくと、絵画調の画像が徐々に写真に変わっていくような印象を与える事が出来る。
Then, at the timing of detecting the user and switching to the original image before conversion, the intermediate image is sequentially switched and displayed from 100% conversion to 0% conversion (FIG. 13B).
As a result, when the user notices the notification conversion image and approaches the image display control device, the user can have an impression that the picture-like image gradually changes to a photograph.
また、上記実施形態では、人の検出を焦電型赤外線センサを用いて行ったが、本発明において人を検出する方法はこれに限られる物ではない。その他の例として、画像表示制御装置が音声検知部を持ち、人の検出は当該音声検知部を用いて実行されても良い。このとき、画像表示制御装置は音声検知部が所定の閾値を超える音声を検知した場合に人が検出されたと判別する。
なお、他の検出方法として、予めユーザの声の特徴を記録しておき、音声検知部が当該ユーザの声の特徴をもつ音声を検知した場合に、人が検出されたと判別する構成も可能である。
Moreover, in the said embodiment, although the detection of the person was performed using the pyroelectric infrared sensor, the method of detecting a person in this invention is not restricted to this. As another example, the image display control apparatus may have a voice detection unit, and detection of a person may be performed using the voice detection unit. At this time, the image display control device determines that a person has been detected when the sound detection unit detects sound exceeding a predetermined threshold.
As another detection method, it is also possible to record a feature of the user's voice in advance and determine that a person has been detected when the voice detection unit detects a voice having the feature of the user's voice. is there.
さらに、人の検出を振動によって検出する方法も可能である。
この場合は、画像表示制御装置は振動検知部をもち、当該振動検知部が所定の閾値よりも大きい振動を検知した場合に人が検出されたと判別する。
また、焦電型赤外線センサと、音声検知部と、振動検知部と、が検出した結果を組み合わせて判別を行う構成も可能である。
Furthermore, a method of detecting human detection by vibration is also possible.
In this case, the image display control apparatus has a vibration detection unit, and determines that a person has been detected when the vibration detection unit detects vibration larger than a predetermined threshold.
Moreover, the structure which determines by combining the result which the pyroelectric infrared sensor, the audio | voice detection part, and the vibration detection part detected is also possible.
また、ユーザが通知用の変換画像に気がついたか否かの判別を、人が画像表示制御装置に近づいてくるか否か判別し、人が近づいてきたと判別した場合にユーザが通知用の変換画像に気がついたと判別する方法も考えられる。
この場合、人が近づいてきたか否かの判別は、例えばマイクロ波ドップラーセンサを用いて行うことができる。また、上記した人の検出を複数回行い、人の検出結果が所定の時間内で所定の割合だけ大きくなっている場合に人が近づいてきたと判別することもできる。
Further, it is determined whether the user has noticed the converted image for notification, whether the person approaches the image display control device, and when the user determines that the person has approached, the converted image for notification is displayed. It is also possible to determine that you have noticed this.
In this case, whether or not a person has approached can be determined using, for example, a microwave Doppler sensor. It is also possible to determine that a person has approached when the person detection described above is performed a plurality of times and the detection result of the person is increased by a predetermined ratio within a predetermined time.
また、上記実施形態では、複数の画像を含む情報を受信した場合に、優先順位を定めて一つの画像を選択して、当該選択された画像を元に生成された変換画像を表示した。
その他の表示方法として、当該複数の画像の全て、または一部について変換画像を生成し、当該複数の変換画像を並べて表示することによりユーザに受信を通知する方法も可能である。
Further, in the above-described embodiment, when information including a plurality of images is received, a priority order is determined and one image is selected, and a converted image generated based on the selected image is displayed.
As another display method, it is also possible to generate a converted image for all or a part of the plurality of images and notify the user of reception by displaying the plurality of converted images side by side.
また、上記実施形態では主に絵画調変換プログラムを用いて画像変換を行っていたが、通知用の変換画像を生成する方法はこれに限られるものではなく、一見して違いがわかる変換画像を生成できる任意の画像変換プログラムが利用できる。 In the above embodiment, image conversion is mainly performed using a painting-like conversion program. However, the method of generating a converted image for notification is not limited to this, and converted images that can be seen at a glance are converted images. Any image conversion program that can be generated can be used.
ここで、本発明の実施形態に係る画像表示制御装置１、２、５及びその他の実施形態に係る画像表示制御装置の具体的なハードウェア構成の一例を、図１４を参照して説明する。
画像表示制御装置１、２、５は、制御部１０１、主記憶部１０２、外部記憶部１０３、操作部１０４、タッチパネル１０５、入出力部１０６、送受信部１０７、人感センサ１０９、を備える。
主記憶部１０２、外部記憶部１０３、操作部１０４、タッチパネル１０５、入出力部１０６、送受信部１０７、人感センサ１０９、はいずれも内部バス１００を介して制御部１０１に接続されている。
Here, an example of a specific hardware configuration of the image
The image
The
制御部１０１はＣＰＵ、画像処理用ＤＳＰ、等から構成され、外部記憶部１０３に記憶されている制御プログラム１０８に従って、画像表示制御装置１、２、５の制御部１０の各処理を実行する。
The
主記憶部１０２はＲＡＭ（Random-Access Memory）等から構成され、外部記憶部１０３に記憶されている制御プログラム１０８をロードし、制御部１０１の作業領域として用いられる。
The
外部記憶部１０３は、フラッシュメモリ、ハードディスク、等の不揮発性メモリから構成され、画像表示制御装置１、２、５の処理を制御部１０１に行わせるためのプログラムをあらかじめ記憶し、また、制御部１０１の指示に従って、このプログラムが記憶するデータを制御部１０１に供給し、制御部１０１から供給されたデータを記憶する。画像表示制御装置１、２、５の記憶部２０は、主記憶部１０２と外部記憶部１０３とによって構成される。
The
操作部１０４は筐体に備えられたキーあるいはキーボードおよびマウスなどのポインティングデバイス等と、キーボードおよびポインティングデバイス等を内部バス１００に接続するインターフェース装置から構成されている。
The
タッチパネル１０５は、ＬＣＤ（Liquid Crystal Display）と、感圧センサ又は静電気センサ等と、から構成される。
The
入出力部１０６は、シリアルインターフェースまたはパラレルインターフェースから構成されている。入出力部１０６は、ユーザが外部装置を接続して情報伝達する場合、当該外部装置と接続される。
The input /
送受信部１０７は、ネットワークに接続する網終端装置または無線通信装置、およびそれらと接続するシリアルインターフェースまたはＬＡＮ（Local Area Network）インターフェースから構成されている。送受信部１０７は、ネットワークを介して、他機器から画像表示制御装置１、２、５に送信された情報を受信し、画像表示制御装置１，２、５に記憶された情報を他機器に伝達する。
The transmission /
人感センサ１０９は、焦電型赤外線センサ、マイク、振動検知器、等と、これらの機器を内部バス１００に接続するインターフェース装置から構成されている。
The
画像表示制御装置１、２、５の、制御部１０、記憶部２０，タッチパネル３０，人感センサ４０，入力部５０、通信部６０、の処理は、制御プログラム１０８が、制御部１０１、主記憶部１０２、外部記憶部１０３、操作部１０４、タッチパネル１０５、入出力部１０６、送受信部１０７、人感センサ１０９、等を資源として用いて処理することによって実行する。
The processing of the
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。 As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to the specific embodiment which concerns, This invention includes the invention described in the claim, and its equivalent range It is. Hereinafter, the invention described in the scope of claims of the present application will be appended.
（付記１）
画像を受信する画像受信手段と、
前記画像受信手段が画像を受信すると、該画像に対応する通知用の変換画像を取得する変換画像取得手段と、
表示手段に前記変換画像取得手段が取得した前記通知用の変換画像を表示させる変換画像表示制御手段と、
ユーザが前記通知用の変換画像に気づいたか否かを、予め定められた条件に従って判別する判別手段と、
前記判別手段が、ユーザが前記通知用の変換画像に気がついたと判別すると、前記表示手段に前記受信した画像を表示させる画像表示制御手段と、
を備えることを特徴とする画像表示制御装置。
(Appendix 1)
Image receiving means for receiving an image;
When the image receiving unit receives an image, a converted image acquisition unit that acquires a converted image for notification corresponding to the image;
Converted image display control means for causing the display means to display the notification converted image acquired by the converted image acquisition means;
A discriminating means for discriminating whether or not the user has noticed the notification converted image according to a predetermined condition;
When the determination means determines that the user has noticed the converted image for notification, an image display control means for displaying the received image on the display means;
An image display control device comprising:
（付記２）
前記変換画像取得手段は、前記画像受信手段が受信した画像を変換して通知用の変換画像を生成する変換画像生成手段と、他装置が前記受信した画像に対応する画像から生成した通知用の変換画像を取得する手段と、
の少なくとも一方を備える、
ことを特徴とする付記１に画像表示制御装置。
(Appendix 2)
The converted image acquisition means converts the image received by the image receiving means to generate a converted image for notification, and a notification image generated from an image corresponding to the received image by another device. Means for obtaining a converted image;
Comprising at least one of
The image display control apparatus according to
（付記３）
前記画像受信手段が複数の画像を受信した場合に、受信した複数の画像から一の画像を選択する画像選択手段をさらに備え、
前記変換画像生成手段は、前記一の画像を変換して前記通知用の変換画像を生成する、
ことを特徴とする付記１又は２に記載の画像表示制御装置。
(Appendix 3)
When the image receiving means receives a plurality of images, the image receiving means further comprises an image selecting means for selecting one image from the received plurality of images,
The converted image generating means converts the one image to generate the converted image for notification;
The image display control device according to
（付記４）
前記画像受信手段が受信した複数の画像それぞれに、人の顔の画像が含まれているか否かを判別する顔画像判別手段をさらに備え、
前記画像選択手段は、前記顔画像判別手段が顔の画像が含まれていると判別した画像を前記一の画像として選択する、
ことを特徴とする付記３に記載の画像表示制御装置。
(Appendix 4)
A plurality of images received by the image receiving means, further comprising face image determining means for determining whether or not a human face image is included;
The image selection means selects, as the one image, an image determined by the face image determination means to include a face image.
The image display control device according to
（付記５）
前記画像受信手段が受信した画像に含まれる人の顔の画像を検出する顔画像検手段と、
顔画像検出手段が検出した顔の画像から、当該顔を有する人物の年齢を推定する年齢推定手段と、をさらに備え、
前記画像選択手段は、前記人の顔の画像を含む画像が複数ある場合に、前記年齢推定手段が推定した年齢に基づいて前記一の画像を選択する、
ことを特徴とする付記３又は４に記載の画像表示制御装置。
(Appendix 5)
Face image detecting means for detecting an image of a human face included in the image received by the image receiving means;
Age estimation means for estimating the age of a person having the face from the face image detected by the face image detection means,
The image selecting means selects the one image based on the age estimated by the age estimating means when there are a plurality of images including the face image of the person.
The image display control device according to
（付記６）
画像表示制御手段は、前記変換画像から前記受信した画像への表示の変更にあたり、前記変換画像と前記受信した画像との中間の画像を順次切り替えて前記表示手段に表示する、
ことを特徴とする付記１乃至５の何れか一つに記載の画像表示制御装置。
(Appendix 6)
The image display control means, in changing the display from the converted image to the received image, sequentially switches an intermediate image between the converted image and the received image and displays the image on the display means.
The image display control device according to any one of
（付記７）
前記判別手段は、人感センサを備え、該人感センサが人を検出すると、ユーザが前記通知用の変換画像に気づいたと判別する、
ことを特徴とする付記１乃至６の何れか一つに記載の画像表示制御装置。
(Appendix 7)
The determination unit includes a human sensor, and when the human sensor detects a person, the user determines that the user has noticed the converted image for notification.
The image display control device according to any one of
（付記８）
コンピュータに、
画像を受信し、
受信した画像に対応する通知用の変換画像を取得し、
取得した前記通知用の変換画像を表示させ、
ユーザが前記通知用の変換画像に気づいたか否かを判別し、
気がついたと判別すると、受信した画像を表示させる、
処理を実行させることを特徴とするプログラム。
(Appendix 8)
On the computer,
Receive images,
Get a notification conversion image corresponding to the received image,
Display the acquired converted image for notification,
Determine whether the user has noticed the converted image for notification,
When it is determined that you have noticed, display the received image.
A program characterized by causing processing to be executed.
（付記９）
画像を受信する第１の画像受信手段と、前記第１の画像受信手段が受信した画像を変換して通知用の変換画像を生成する変換画像生成手段と、前記受信した画像と前記通知用の変換画像とを送信する送信手段と、
を備えたサーバと、
前記サーバが送信した画像と通知用の変換画像とを受信する第２の画像受信手段と、表示手段に前記第２の画像受信手段が受信した前記通知用の変換画像を表示させる変換画像表示制御手段と、ユーザが前記通知用の変換画像に気づいたか否かを、予め定められた条件に従って判別する判別手段と、前記判別手段が、ユーザが前記通知用の変換画像に気がついたと判別すると、前記表示手段に前記第２の画像受信手段が受信した画像を表示させる画像表示制御手段と、
を備えた画像表示制御装置と、
から構成される画像表示制御システム。
(Appendix 9)
A first image receiving means for receiving an image; a converted image generating means for converting the image received by the first image receiving means to generate a converted image for notification; the received image and the notification image; A transmission means for transmitting the converted image;
A server with
Second image receiving means for receiving the image transmitted by the server and the converted image for notification, and converted image display control for displaying the converted image for notification received by the second image receiving means on the display means. Means, a determination means for determining whether or not the user has noticed the converted image for notification, according to a predetermined condition, and when the determination means determines that the user has noticed the converted image for notification, Image display control means for causing the display means to display the image received by the second image receiving means;
An image display control device comprising:
An image display control system comprising:
（付記１０）
画像を受信する画像受信手段と、
前記画像受信手段が受信した画像を変換して通知用の変換画像を生成する変換画像生成手段と、
前記受信した画像と前記通知用の変換画像とを送信する送信手段と、
を備えることを特徴とするサーバ。
(Appendix 10)
Image receiving means for receiving an image;
Converted image generating means for converting the image received by the image receiving means to generate a converted image for notification;
Transmitting means for transmitting the received image and the converted image for notification;
A server comprising:
１…画像表示制御装置、２…画像表示制御装置、３…画像表示制御システム、４…サーバ、５…画像表示制御装置、１０…制御部、１１…人感制御部、１２…タッチパネル制御部、１３…入力制御部、１４…通信制御部、１５…記憶制御部、２０…記憶部、２１…画像記憶部、２２…画像変換プログラム記憶部、２３…顔判別プログラム記憶部、２４…顔年齢推定プログラム記憶部、３０…タッチパネル、３１…表示部、３２…タッチセンサ、４０…人感センサ、５０…入力部、６０…通信部、７０…制御部、７１…通信制御部、７２…記憶制御部、８０…記憶部、８１…画像記憶部、８２…画像変換プログラム記憶部、８３…顔判別プログラム記憶部、８４…顔年齢推定プログラム記憶部、８５…送受信アドレス表記憶部、９０…通信部、１００…内部バス、１０１…制御部、１０２…主記憶部、１０３…外部記憶部、１０４…操作部、１０５…タッチパネル、１０６…入出力部、１０７…送受信部、１０８…制御プログラム、１０９…人感センサ、２００…他機器
DESCRIPTION OF
Claims (11)
前記画像受信手段が受信した複数の画像から一の画像を選択する画像選択手段と、
前記画像選択手段によって選択した前記一の画像に対応する通知用の変換画像を取得する変換画像取得手段と、
表示手段に前記変換画像取得手段が取得した前記通知用の変換画像を表示させる変換画像表示制御手段と、
ユーザが前記通知用の変換画像に気づいたか否かを、予め定められた条件に従って判別する判別手段と、
前記判別手段が、ユーザが前記通知用の変換画像に気がついたと判別すると、前記表示手段に前記受信した画像を表示させる画像表示制御手段と、
を備えることを特徴とする画像表示制御装置。 Image receiving means for receiving a plurality of images;
Image selecting means for selecting one image from a plurality of images received by the image receiving means;
Converted image acquisition means for acquiring a converted image for notification corresponding to the one image selected by the image selection means;
Converted image display control means for causing the display means to display the notification converted image acquired by the converted image acquisition means;
A discriminating means for discriminating whether or not the user has noticed the notification converted image according to a predetermined condition;
When the determination means determines that the user has noticed the converted image for notification, an image display control means for displaying the received image on the display means;
An image display control device comprising:
ことを特徴とする請求項１に画像表示制御装置。 The converted image acquisition means converts the image received by the image receiving means to generate a converted image for notification, and a notification image generated from an image corresponding to the received image by another device. Means for obtaining a converted image, and at least one of:
The image display control device according to claim 1.
前記画像選択手段は、前記顔画像判別手段が顔の画像が含まれていると判別した画像を前記一の画像として選択する、
ことを特徴とする請求項１又は２に記載の画像表示制御装置。 A plurality of images received by the image receiving means, further comprising face image determining means for determining whether or not a human face image is included;
The image selection means selects, as the one image, an image determined by the face image determination means to include a face image.
The image display control device according to claim 1, wherein the image display control device is an image display control device.
顔画像検出手段が検出した顔の画像から、当該顔を有する人物の年齢を推定する年齢推定手段と、をさらに備え、
前記画像選択手段は、前記人の顔の画像を含む画像が複数ある場合に、前記年齢推定手段が推定した年齢に基づいて前記一の画像を選択する、
ことを特徴とする請求項１乃至３の何れか一項に記載の画像表示制御装置。 Face image detecting means for detecting an image of a human face included in the image received by the image receiving means;
Age estimation means for estimating the age of a person having the face from the face image detected by the face image detection means,
The image selecting means selects the one image based on the age estimated by the age estimating means when there are a plurality of images including the face image of the person.
The image display control apparatus according to claim 1, wherein the image display control apparatus is an image display control apparatus.
前記画像受信手段が画像を受信すると、該画像に対応する通知用の変換画像を取得する変換画像取得手段と、
表示手段に前記変換画像取得手段が取得した前記通知用の変換画像を表示させる変換画像表示制御手段と、
ユーザが前記通知用の変換画像に気づいたか否かを、予め定められた条件に従って判別する判別手段と、
前記判別手段が、ユーザが前記通知用の変換画像に気がついたと判別すると、前記表示手段に前記受信した画像を表示させる画像表示制御手段と、
を備え、
前記画像表示制御手段は、前記変換画像から前記受信した画像への表示の変更にあたり、前記変換画像と前記受信した画像との中間の画像を前記表示手段に表示する、
ことを特徴とする画像表示制御装置。 Image receiving means for receiving an image;
When the image receiving unit receives an image, a converted image acquisition unit that acquires a converted image for notification corresponding to the image;
Converted image display control means for causing the display means to display the notification converted image acquired by the converted image acquisition means;
A discriminating means for discriminating whether or not the user has noticed the notification converted image according to a predetermined condition;
When the determination means determines that the user has noticed the converted image for notification, an image display control means for displaying the received image on the display means;
With
The image display control means displays an intermediate image between the converted image and the received image on the display means in changing the display from the converted image to the received image.
An image display control device characterized by that.
ことを特徴とする請求項１乃至５の何れか一項に記載の画像表示制御装置。 The determination unit includes a human sensor, and when the human sensor detects a person, the user determines that the user has noticed the converted image for notification.
The image display control apparatus according to claim 1, wherein the image display control apparatus is an image display control apparatus.
複数の画像を受信し、
受信した複数の画像から一の画像を選択し、
選択した前記一の画像に対応する通知用の変換画像を取得し、
取得した前記通知用の変換画像を表示させ、
ユーザが前記通知用の変換画像に気づいたか否かを判別し、
気がついたと判別すると、受信した画像を表示させる、
処理を実行させることを特徴とするプログラム。 On the computer,
Receive multiple images,
Select one image from multiple received images,
Obtain a converted image for notification corresponding to the selected one image,
Display the acquired converted image for notification,
Determine whether the user has noticed the converted image for notification,
When it is determined that you have noticed, display the received image.
A program characterized by causing processing to be executed.
画像を受信し、
受信した画像に対応する通知用の変換画像を取得し、
取得した前記通知用の変換画像を表示させ、
ユーザが前記通知用の変換画像に気づいたか否かを判別し、
気がついたと判別すると、受信した画像を表示させ、
前記変換画像から前記受信した画像への表示の変更にあたり、前記変換画像と前記受信した画像との中間の画像を前記表示手段に表示する、
処理を実行させることを特徴とするプログラム。 On the computer,
Receive images,
Get a notification conversion image corresponding to the received image,
Display the acquired converted image for notification,
Determine whether the user has noticed the converted image for notification,
When it is determined that you have noticed, display the received image,
In changing the display from the converted image to the received image, an intermediate image between the converted image and the received image is displayed on the display means.
A program characterized by causing processing to be executed.
を備えたサーバと、
前記サーバが送信した画像と通知用の変換画像とを受信する第２の画像受信手段と、表示手段に前記第２の画像受信手段が受信した前記通知用の変換画像を表示させる変換画像表示制御手段と、ユーザが前記通知用の変換画像に気づいたか否かを、予め定められた条件に従って判別する判別手段と、前記判別手段が、ユーザが前記通知用の変換画像に気がついたと判別すると、前記表示手段に前記第２の画像受信手段が受信した画像を表示させる画像表示制御手段と、
を備えた画像表示制御装置と、
から構成される画像表示制御システム。 A first image receiving means for receiving a plurality of images; an image selecting means for selecting one image from the plurality of images received by the first image receiving means; and the one image selected by the image selecting means. Converted image generation means for generating a notification converted image and a transmission means for transmitting the one image selected by the image selection means and the notification converted image;
A server with
Second image receiving means for receiving the image transmitted by the server and the converted image for notification, and converted image display control for displaying the converted image for notification received by the second image receiving means on the display means. Means, a determination means for determining whether or not the user has noticed the converted image for notification, according to a predetermined condition, and when the determination means determines that the user has noticed the converted image for notification, Image display control means for causing the display means to display the image received by the second image receiving means;
An image display control device comprising:
An image display control system comprising:
を備えたサーバと、
前記サーバが送信した画像と通知用の変換画像とを受信する第２の画像受信手段と、表示手段に前記第２の画像受信手段が受信した前記通知用の変換画像を表示させる変換画像表示制御手段と、ユーザが前記通知用の変換画像に気づいたか否かを、予め定められた条件に従って判別する判別手段と、前記判別手段が、ユーザが前記通知用の変換画像に気がついたと判別すると、前記表示手段に前記第２の画像受信手段が受信した画像を表示させる画像表示制御手段と、
を備え、
前記変換画像から前記受信した画像への表示の変更にあたり、前記変換画像と前記受信した画像との中間の画像を前記表示手段に表示する画像表示制御装置と、
から構成される画像表示制御システム。 A first image receiving means for receiving an image; a converted image generating means for converting the image received by the first image receiving means to generate a converted image for notification; the received image and the notification image; A transmission means for transmitting the converted image;
A server with
Second image receiving means for receiving the image transmitted by the server and the converted image for notification, and converted image display control for displaying the converted image for notification received by the second image receiving means on the display means. Means, a determination means for determining whether or not the user has noticed the converted image for notification, according to a predetermined condition, and when the determination means determines that the user has noticed the converted image for notification, Image display control means for causing the display means to display the image received by the second image receiving means;
With
In changing the display from the converted image to the received image, an image display control device that displays an intermediate image between the converted image and the received image on the display means;
An image display control system comprising:
を備えたサーバと、
前記サーバが送信した画像と通知用の変換画像とを受信する第２の画像受信手段と、表示手段に前記第２の画像受信手段が受信した前記通知用の変換画像を表示させる変換画像表示制御手段と、ユーザが前記通知用の変換画像に気づいたか否かを、予め定められた条件に従って判別する判別手段と、前記判別手段が、ユーザが前記通知用の変換画像に気がついたと判別すると、前記表示手段に前記第２の画像受信手段が受信した画像を表示させる画像表示制御手段と、
を備えた画像表示制御装置と、
から構成される画像表示制御システムにおけるサーバ。 A first image receiving means for receiving a plurality of images; an image selecting means for selecting one image from the plurality of images received by the first image receiving means; and the one image selected by the image selecting means. Converted image generation means for generating a converted image for notification, and transmission means for transmitting the one image selected by the image selection means and the converted image for notification;
A server with
Second image receiving means for receiving the image transmitted by the server and the converted image for notification, and converted image display control for displaying the converted image for notification received by the second image receiving means on the display means. Means, a determination means for determining whether or not the user has noticed the converted image for notification, according to a predetermined condition, and when the determination means determines that the user has noticed the converted image for notification, Image display control means for causing the display means to display the image received by the second image receiving means;
An image display control device comprising:
A server in an image display control system comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011077777A JP5821238B2 (en) | 2011-03-31 | 2011-03-31 | Image display control device, program, image display control system, and server |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011077777A JP5821238B2 (en) | 2011-03-31 | 2011-03-31 | Image display control device, program, image display control system, and server |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012212326A JP2012212326A (en) | 2012-11-01 |
| JP5821238B2 true JP5821238B2 (en) | 2015-11-24 |
Family
ID=47266220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011077777A Expired - Fee Related JP5821238B2 (en) | 2011-03-31 | 2011-03-31 | Image display control device, program, image display control system, and server |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5821238B2 (en) |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010181461A (en) * | 2009-02-03 | 2010-08-19 | Olympus Corp | Digital photograph frame, information processing system, program, and information storage medium |
| JP5435456B2 (en) * | 2009-03-29 | 2014-03-05 | 雅英 田中 | Cell phone, charger and digital photo frame |
-
2011
- 2011-03-31 JP JP2011077777A patent/JP5821238B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012212326A (en) | 2012-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5928261B2 (en) | Information sharing apparatus and program | |
| US10025419B2 (en) | Large format display apparatus and control method thereof | |
| US9836115B2 (en) | Information processing device, information processing method, and program | |
| US20140294254A1 (en) | Display apparatus for performing user certification and method thereof | |
| US11237794B2 (en) | Information processing device and information processing method | |
| JP2011118834A (en) | Apparatus and method for processing information, and program | |
| US20220405375A1 (en) | User identity verification method and electronic device | |
| CN113723185A (en) | Action behavior recognition method and device, storage medium and terminal equipment | |
| CN103140862A (en) | User interface system and method of operation thereof | |
| JP2016018313A (en) | Program, information processing apparatus, communication system, and communication method | |
| US20210119884A1 (en) | Augmented reality neighbor awareness networking | |
| CN104504083B (en) | A kind of picture based on picture searching determines method and device | |
| TWI734246B (en) | Method and device for facial image recognition | |
| CN106060391A (en) | Method and device for processing camera working mode, and electronic equipment | |
| CN111988493A (en) | Interaction processing method, device, equipment and storage medium | |
| JP3835771B2 (en) | Communication apparatus and communication method | |
| CN110007832A (en) | Information terminal device, information processing system, and computer-readable non-transitory storage medium storing display control program | |
| EP4254319A1 (en) | Image processing method and apparatus | |
| CN114745767A (en) | Power consumption control method and device for electronic equipment, electronic equipment and storage medium | |
| JPWO2018128015A1 (en) | Suspiciousness estimation model generation device | |
| JP2012238141A (en) | Communication device, communication method, and program | |
| JP5821238B2 (en) | Image display control device, program, image display control system, and server | |
| CN111010526A (en) | Interaction method and device in video communication | |
| CN110291498A (en) | Display control device, method and program | |
| WO2022057384A1 (en) | Photographing method and device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140213 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150106 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150203 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150507 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150522 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20150707 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150908 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150921 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5821238 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |