JP6752007B2

JP6752007B2 - Drawing image display system

Info

Publication number: JP6752007B2
Application number: JP2015198229A
Authority: JP
Inventors: 寿之猪子
Original assignee: TEAM LAB Inc
Current assignee: TEAM LAB Inc
Priority date: 2015-10-06
Filing date: 2015-10-06
Publication date: 2020-09-09
Anticipated expiration: 2035-08-07
Also published as: JP2017037614A

Description

本発明は，画像表示システムに関する。具体的に説明すると，本発明は，ユーザによって着色されたり描かれたりしたお絵かきの画像をデジタル情報として取り込み，そのお絵かき画像をリアルタイムに表示画面に表示させ，その画面上で生き物のように動作させることのできるシステムに関するものである。 The present invention relates to an image display system. Specifically, the present invention captures a drawing image colored or drawn by the user as digital information, displays the drawing image on a display screen in real time, and looks like a living thing on the screen. It is about a system that can be operated.

従来から，原稿に描かれた画像をスキャンして画像データとして取り込み，その画像データを編集してディスプレイに表示させる画像処理装置が知られている（特許文献１）。特許文献１の画像処理装置は，ベース原稿のマスク領域に抽出原稿のトリム領域の画像を合成するという「はめ込み合成機能」を備えている。 Conventionally, there has been known an image processing device that scans an image drawn on a manuscript, captures it as image data, edits the image data, and displays it on a display (Patent Document 1). The image processing apparatus of Patent Document 1 has a "fitting composition function" of synthesizing an image of a trim area of an extracted document with a mask area of a base document.

特開平５−１４５７３５号公報Japanese Unexamined Patent Publication No. 5-145735

しかしながら，従来の画像処理装置は，原稿から取り込んだ画像データを静止画としてディスプレイに表示させるものであり，面白味に欠けるものであった。 However, the conventional image processing device displays the image data captured from the manuscript as a still image on the display, which is not interesting.

ところで，近年の幼児教育においては，単に幼児に対して知識を与えるだけでなく，幼児自らが積極的に知識を収集する行動を取るように促し，幼児の創造性を引き出すことが重要であるとされている。この点，塗り絵や絵画は幼児教育において非常に有効であるが，単に画用紙に絵を描かせただけでは，幼児の想像を超える刺激を与えることはできない。このため，塗り絵や絵画を応用して，幼児の創造性や表現力を発揮させることで，多様性を尊重する重要性を認知させ，さらには自己効力感を醸成させることのできる教育システムが求められている By the way, in early childhood education in recent years, it is important not only to give knowledge to infants, but also to encourage them to take positive actions to collect knowledge and to bring out their creativity. ing. In this respect, coloring books and paintings are very effective in early childhood education, but simply drawing pictures on drawing paper cannot give a stimulus beyond the imagination of young children. For this reason, there is a need for an educational system that can recognize the importance of respecting diversity and foster a sense of self-efficacy by demonstrating the creativity and expressiveness of young children by applying coloring books and paintings. ing

そこで，本発明は，塗り絵や絵画を応用して，ユーザの創造性や表現力を発揮させることのできる画像表示システムを提供することを目的とする。 Therefore, an object of the present invention is to provide an image display system capable of demonstrating the creativity and expressiveness of a user by applying a coloring book or a painting.

本発明の発明者は，上記課題の解決手段について鋭意検討した結果，塗り絵や絵画をスキャンして画像データとして取り込み，そこに描かれているオブジェクトの画像を抽出してオブジェクト画像を生成し，そのオブジェクト画像にＡＩ（Artificial Intelligence：人工知能）プログラムを与えて，表示画面上で動作させるというシステムを発案した。このようなシステムによれば，塗り絵や絵画を応用して，ユーザの創造性や表現力をより効果的に発揮させることができる。そして，本発明者は，上記知見に基づけば上記の課題を解決できることに想到し，本発明を完成させた。具体的に説明すると，本発明は以下の構成を有する。 As a result of diligent studies on the means for solving the above problems, the inventor of the present invention scans a painting or painting, captures it as image data, extracts an image of an object drawn therein, and generates an object image. We devised a system that gives an AI (Artificial Intelligence) program to an object image and operates it on the display screen. According to such a system, it is possible to apply coloring books and paintings to more effectively demonstrate the creativity and expressiveness of the user. Then, the present inventor has come up with the idea that the above problems can be solved based on the above findings, and has completed the present invention. More specifically, the present invention has the following configurations.

本発明の第１の側面は，画像表示システムに関する。本発明に係る画像表示システムは，オブジェクトが描かれた物理媒体をスキャンして画像データを取り込む画像取込装置１と，画像データからオブジェクト画像を生成する制御装置２と，オブジェクト画像を表示する表示装置３と，を備える。
制御装置２は，画像入力部１０，画像解析部１１，ＡＩ読出部１３，描画処理部１４，オブジェクト画像制御部１５，及び画像出力部１６を有する。これらの各機能部は，基本的に，入出力ＩＦや，ＣＰＵ，ＧＰＵなどのプロセッサにより実現される。
画像入力部１０は，画像取込装置１から画像データを取得する。
画像解析部１１は，画像入力部１０によって取得した画像データを解析する。
ＡＩ読出部１３は，画像解析部１１の解析結果に基づいて，ＡＩプログラムデータベース１２から一又は複数のＡＩプログラムを読み出す。ＡＩプログラムデータベース１２は，制御装置２内に備わっていてもよいし，外部に設置されていてもよいし，制御装置２とインターネットを介して通信可能なウェブサーバが備えるものであってもよい。
描画処理部１４は，画像データの中からオブジェクトが描かれた領域を抽出してオブジェクト画像を生成する。
オブジェクト画像制御部１５は，ＡＩ読出部１３によって読み出されたＡＩプログラムに基づいて，オブジェクト画像を制御する。
画像出力部１６は，オブジェクト画像制御部１５によって制御されたオブジェクト画像を表示装置３に出力する。 The first aspect of the present invention relates to an image display system. The image display system according to the present invention includes an image capture device 1 that scans a physical medium on which an object is drawn to capture image data, a control device 2 that generates an object image from the image data, and a display that displays the object image. The device 3 is provided.
The control device 2 includes an image input unit 10, an image analysis unit 11, an AI reading unit 13, a drawing processing unit 14, an object image control unit 15, and an image output unit 16. Each of these functional units is basically realized by an input / output IF and a processor such as a CPU or GPU.
The image input unit 10 acquires image data from the image capture device 1.
The image analysis unit 11 analyzes the image data acquired by the image input unit 10.
The AI reading unit 13 reads one or more AI programs from the AI program database 12 based on the analysis result of the image analysis unit 11. The AI program database 12 may be provided in the control device 2, may be installed outside, or may be provided in a web server capable of communicating with the control device 2 via the Internet.
The drawing processing unit 14 extracts an area in which an object is drawn from the image data to generate an object image.
The object image control unit 15 controls the object image based on the AI program read by the AI reading unit 13.
The image output unit 16 outputs an object image controlled by the object image control unit 15 to the display device 3.

上記構成のように，絵画や塗り絵などの物理媒体から生成したオブジェクト画像を，ＡＩプログラムに基づいて画面上で動作させることで，ユーザに対して，創造性や表現力を向上させる面白みのある体験を与えることができる。特に，ＡＩプログラムは，画像データの解析結果に応じて読み出されるものであるため，それぞれのオブジェクト画像に適したものが選定される。その結果，オブジェクト画像に最適な動作をさせることが可能である。 By operating an object image generated from a physical medium such as a painting or coloring book on the screen based on the AI program as in the above configuration, the user can have an interesting experience that improves creativity and expressiveness. Can be given. In particular, since the AI program is read out according to the analysis result of the image data, the one suitable for each object image is selected. As a result, it is possible to make the object image perform the optimum operation.

本発明のシステムにおいて，画像取込装置１は，物理媒体に描かれたオブジェクトとともに，当該オブジェクトの種類を特定するために当該物理媒体に描かれたマーカをスキャンして画像データを取り込むことが好ましい。また，画像解析部１１は，画像データに含まれるマーカを解析して，オブジェクトの種類を特定するマーカ解析部１１ａを含むことが好ましい。この場合，ＡＩ読出部１３は，マーカ解析部１１ａによって特定されたオブジェクトの種類に応じて，ＡＩプログラムデータベース１２から一又は複数のＡＩプログラムを読み出す。 In the system of the present invention, it is preferable that the image capture device 1 captures image data by scanning an object drawn on the physical medium and a marker drawn on the physical medium in order to identify the type of the object. .. Further, it is preferable that the image analysis unit 11 includes a marker analysis unit 11a that analyzes markers included in the image data and specifies the type of the object. In this case, the AI reading unit 13 reads one or more AI programs from the AI program database 12 according to the type of the object specified by the marker analysis unit 11a.

上記構成のように，物理媒体に設けられたマーカを解析することで，オブジェクトの種類を判別する処理を高速かつ正確に行うことができる。これにより，物理媒体をスキャンしてからオブジェクト画像を表示するまでの処理を効率的に行うことができる。 By analyzing the markers provided on the physical medium as in the above configuration, the process of determining the type of object can be performed quickly and accurately. This makes it possible to efficiently perform the process from scanning the physical medium to displaying the object image.

本発明のシステムにおいて，画像解析部１１は，画像データに含まれるオブジェクトの色を解析する色解析部１１ｂを含むことが好ましい。この場合，ＡＩ読出部１３は，色解析部１１ｂによって解析されたオブジェクトの色に応じて，ＡＩプログラムデータベース１２から一又は複数のＡＩプログラムを読み出す。 In the system of the present invention, the image analysis unit 11 preferably includes a color analysis unit 11b that analyzes the color of an object included in the image data. In this case, the AI reading unit 13 reads one or more AI programs from the AI program database 12 according to the color of the object analyzed by the color analysis unit 11b.

上記構成のように，オブジェクト画像の色に応じてＡＩプログラムを読み出すことで，塗り絵や絵画を作成したユーザの思想や感情を，オブジェクト画像の動作に反映することができる。例えば，赤色が多い場合にはオブジェクト画像を活発に動作させたり，青色が多ければゆっくり動作させたりするなど，オブジェクト画像の動作にユーザの個性を反映させることができる。 By reading the AI program according to the color of the object image as in the above configuration, the thoughts and feelings of the user who created the coloring book or painting can be reflected in the operation of the object image. For example, when there is a lot of red color, the object image is moved actively, and when there is a lot of blue color, the object image is moved slowly.

本発明のシステムにおいて，ＡＩプログラムデータベース１２は，少なくとも，第１動作ＡＩテーブルと第２動作ＡＩテーブルを含むことが好ましい。第１動作ＡＩテーブルには，オブジェクトの種類ごとに，複数の色と対応付けて複数の第１動作ＡＩプログラムが記憶されている。また，第２動作ＡＩテーブルには，オブジェクトの種類ごとに，複数の色と対応付けて複数の第２動作ＡＩプログラムを記憶した第２動作ＡＩテーブルが記憶されている。
この場合に，色解析部１１ｂは，少なくとも，画像データに含まれるオブジェクトの色を解析して，同一又は異なる第１色と第２色を抽出する。そして，ＡＩ読出部１３は，色解析部１１ｂによって抽出された第１色に応じて，第１動作ＡＩテーブルから第１動作ＡＩプログラムを読み出す。また，ＡＩ読出部１３は，色解析部１１ｂによって抽出された第２色に応じて，第２動作ＡＩテーブルから第２動作ＡＩプログラムを読み出す。その結果，オブジェクト画像制御部１５は，少なくとも，ＡＩ読出部１３によって読み出された第１動作ＡＩプログラム及び第２動作ＡＩプログラムに基づいて，オブジェクト画像を制御する。 In the system of the present invention, the AI program database 12 preferably includes at least a first operation AI table and a second operation AI table. In the first action AI table, a plurality of first action AI programs are stored in association with a plurality of colors for each type of object. Further, in the second operation AI table, a second operation AI table in which a plurality of second operation AI programs are stored in association with a plurality of colors is stored for each type of object.
In this case, the color analysis unit 11b analyzes at least the colors of the objects included in the image data and extracts the same or different first and second colors. Then, the AI reading unit 13 reads the first operation AI program from the first operation AI table according to the first color extracted by the color analysis unit 11b. Further, the AI reading unit 13 reads the second operation AI program from the second operation AI table according to the second color extracted by the color analysis unit 11b. As a result, the object image control unit 15 controls the object image at least based on the first operation AI program and the second operation AI program read by the AI reading unit 13.

上記構成のように，オブジェクト画像を構成する色に応じて複数のＡＩプログラムを読み出し，それらのＡＩプログラムに従った動作制御を行うことで，オブジェクト画像の動作のバリエーションを飛躍的に増やすことができる。これにより，塗り絵や絵画を作成したユーザの個性に応じて，オブジェクト画像に様々な動きをさせることができる。 As in the above configuration, by reading a plurality of AI programs according to the colors constituting the object image and controlling the operation according to those AI programs, the variation of the operation of the object image can be dramatically increased. .. As a result, the object image can be made to move in various ways according to the individuality of the user who created the coloring book or painting.

本発明の画像表示システムは，検知装置４をさらに備えることが好ましい。この検知装置４は，表示装置３の表示画面の近傍に存在する人の存在又は表示画面に対する接触位置を検知することができる。この場合，制御装置２は，検知装置４からの検知情報を取得する検知情報入力部１７をさらに有するものとなる。そして，オブジェクト画像制御部１５は，検知装置４からの検知情報及びＡＩプログラムに基づいて，オブジェクト画像を制御する。 The image display system of the present invention preferably further includes a detection device 4. The detection device 4 can detect the presence of a person existing in the vicinity of the display screen of the display device 3 or the contact position with respect to the display screen. In this case, the control device 2 further includes a detection information input unit 17 that acquires the detection information from the detection device 4. Then, the object image control unit 15 controls the object image based on the detection information from the detection device 4 and the AI program.

上記構成のように，画像表示システムが検知装置４をさらに備えることで，例えば，オブジェクト画像に対して，画面の近くのユーザに寄るような動作をさせたり，人に触れられたときに逃げる動作をさせたりするなど，インタラクティブな動作制御を行うことができる。 As in the above configuration, when the image display system further includes the detection device 4, for example, the object image is made to move closer to the user near the screen or escape when touched by a person. It is possible to perform interactive motion control such as.

本発明のシステムにおいて，オブジェクト画像制御部１５は，比較的新しく生成された一又は複数のオブジェクト画像を第１仮想レイヤで動作させるとともに，比較的古くに生成された一又は複数のオブジェクト画像を第１仮想レイヤの背面となる第２仮想レイヤで動作させる制御を行うことが好ましい。 In the system of the present invention, the object image control unit 15 operates a relatively newly generated one or a plurality of object images in the first virtual layer, and causes one or a plurality of relatively old object images to be generated. It is preferable to control the operation in the second virtual layer which is the back surface of the one virtual layer.

上記構成のように，オブジェクト画像が生成された順番に応じて，各オブジェクト画像を，前面側に位置する第１仮想レイヤに存在させるか，若しくは後面側に位置する第２仮想レイヤに存在させるかを決定する。これにより，画面上に存在するオブジェクト画像が増えた場合であっても，新しく生成されたオブジェクト画像を目立つように表示させることができる。また，表示画面を仮想的に２層のレイヤに分け，古いオブジェクト画像を第２仮想レイヤに移動させるように制御することで，画面上のオブジェクト画像が増えた場合であっても，古いオブジェクト画像をすぐに消す必要がなくなるため，比較的長い時間オブジェクト画像を表示し続けることが可能となる。 Whether the object images are present in the first virtual layer located on the front side or in the second virtual layer located on the rear side according to the order in which the object images are generated as in the above configuration. To determine. As a result, even if the number of object images existing on the screen increases, the newly generated object image can be displayed prominently. In addition, by virtually dividing the display screen into two layers and controlling the movement of the old object image to the second virtual layer, even if the number of object images on the screen increases, the old object image Since it is not necessary to delete the object image immediately, it is possible to continue displaying the object image for a relatively long time.

本発明のシステムにおいて，オブジェクト画像制御部１５は，第１仮想レイヤに存在するオブジェクト画像の動作には，検知装置４からの取得した検知情報を反映させ，第２仮想レイヤに存在するオブジェクト画像の動作には，検知装置４からの取得した検知情報を反映させないように制御を行うことが好ましい。 In the system of the present invention, the object image control unit 15 reflects the detection information acquired from the detection device 4 in the operation of the object image existing in the first virtual layer, and the object image existing in the second virtual layer. It is preferable to control the operation so as not to reflect the detection information acquired from the detection device 4.

上記構成のように，比較的新しいオブジェクト画像にのみ検知装置４からの検知情報を反映させるようにすることで，例えば表示画面の前にユーザが集まり過ぎて混雑が発生するのを防止できる。また，第２仮想レイヤに存在するオブジェクト画像には検知情報を反映させないようにすることで，オブジェクト画像制御部１５の処理が複雑になることを回避し，演算処理の遅延が発生することを防止できる。 By reflecting the detection information from the detection device 4 only on the relatively new object image as in the above configuration, it is possible to prevent, for example, the users from gathering too much in front of the display screen and causing congestion. Further, by not reflecting the detection information on the object image existing in the second virtual layer, it is possible to prevent the processing of the object image control unit 15 from becoming complicated and prevent the delay of the arithmetic processing from occurring. it can.

本発明の第２の側面は，コンピュータプログラムに関する。本発明のプログラムは，コンピュータを，上記した第１の側面に係る画像表示システムにおける制御装置２として機能させるためのプログラムである。 The second aspect of the present invention relates to a computer program. The program of the present invention is a program for causing a computer to function as a control device 2 in the image display system according to the first aspect described above.

本発明によれば，塗り絵や絵画を応用して，ユーザの創造性や表現力を発揮させることが可能な画像表示システムを提供することができる。 According to the present invention, it is possible to provide an image display system capable of demonstrating the creativity and expressiveness of a user by applying a coloring book or a painting.

図１は，本発明に係る画像表示システムの全体構成を示した模式図である。FIG. 1 is a schematic view showing the overall configuration of the image display system according to the present invention. 図２は，塗り絵用紙の例を示している。FIG. 2 shows an example of coloring paper. 図３は，画像表示システムに含まれる制御装置の構成例を示したブロック図である。FIG. 3 is a block diagram showing a configuration example of a control device included in the image display system. 図４は，制御装置による処理の流れを模式的に示している。FIG. 4 schematically shows the flow of processing by the control device. 図５は，ＡＩプログラムデータベースに記憶された情報の一例を示している。FIG. 5 shows an example of the information stored in the AI program database. 図６は，仮想レイヤの概念を模式的に示している。FIG. 6 schematically shows the concept of a virtual layer. 図７は，餌オブジェクトを利用した制御の一例を示している。FIG. 7 shows an example of control using a bait object.

以下，図面を用いて本発明を実施するための形態について説明する。本発明は，以下に説明する形態に限定されるものではなく，以下の形態から当業者が自明な範囲で適宜変更したものも含む。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. The present invention is not limited to the forms described below, and includes those appropriately modified from the following forms to the extent apparent to those skilled in the art.

図１は，本発明に係る画像表示システム１００の全体構成の例を示している。図１に示されるように，画像表示システム１００は，画像取込装置１（スキャナ）と，制御装置２（コンピュータ）と，表示装置３（プロジェクタ及びスクリーン）と，検知装置４（センサ）を備えている。画像取込装置１によって取り込まれた画像データは，制御装置２へと送出される。制御装置２は，画像取込装置１から取得した画像データに対して所定の画像処理を行ってオブジェクト画像を生成し，このオブジェクト画像の動作を制御する。制御装置２は，オブジェクト画像を表示装置３に送出する。表示装置３は，制御装置２の制御下にあるオブジェクト画像をユーザが視認可能な態様で表示させる。また，表示装置３の表示画面の近くには，ユーザが存在している。検知装置４は，表示画面の近くに存在するユーザを検知して，その検知情報を制御装置２へと送出する。例えば，検知装置４は，ユーザの位置を検知してもよいし，ユーザが表示画面に触れた位置（表画面上の座標）を検知してもよい。制御装置２は，検知装置４からの検知情報を，オブジェクト画像の動作に反映させることができる。以下，これら各装置の構成について具体的に説明する。 FIG. 1 shows an example of the overall configuration of the image display system 100 according to the present invention. As shown in FIG. 1, the image display system 100 includes an image capture device 1 (scanner), a control device 2 (computer), a display device 3 (projector and screen), and a detection device 4 (sensor). ing. The image data captured by the image capture device 1 is sent to the control device 2. The control device 2 performs predetermined image processing on the image data acquired from the image capture device 1 to generate an object image, and controls the operation of the object image. The control device 2 sends an object image to the display device 3. The display device 3 displays the object image under the control of the control device 2 in a manner that can be visually recognized by the user. Further, a user exists near the display screen of the display device 3. The detection device 4 detects a user existing near the display screen and sends the detection information to the control device 2. For example, the detection device 4 may detect the position of the user, or may detect the position where the user touches the display screen (coordinates on the front screen). The control device 2 can reflect the detection information from the detection device 4 in the operation of the object image. Hereinafter, the configuration of each of these devices will be specifically described.

画像取込装置１は，オブジェクト（Ｏ）が描かれた物理媒体（Ｐ）をスキャンして画像データを取り込む。また，物理媒体（Ｐ）にマーカ（Ｍ）が描画されている場合には，画像取込装置１は，オブジェクト（Ｏ）とマーカ（Ｍ）が描かれた物理媒体（Ｐ）の表面をスキャンして，画像データに変換する。画像取込装置１としては，公知のスキャナやカメラを利用することができる。画像取込装置１は，スキャンした画像をＧＩＦやＪＰＥＧといった公知の形式でデータ化し，制御装置２へと送る。 The image capture device 1 scans the physical medium (P) on which the object (O) is drawn and captures the image data. When the marker (M) is drawn on the physical medium (P), the image capture device 1 scans the surface of the physical medium (P) on which the object (O) and the marker (M) are drawn. Then, it is converted into image data. A known scanner or camera can be used as the image capturing device 1. The image capture device 1 converts the scanned image into data in a known format such as GIF or JPEG and sends it to the control device 2.

図２には，画像取込装置１によって取り込み可能な物理媒体（Ｐ）の例が示されている。図２に示されるように，物理媒体（Ｐ）の一例としては，塗り絵用紙が挙げられる。塗り絵用紙には，カジキや，クマノミ，ホオジロサメといった魚類などのオブジェクト（Ｏ）が描かれている。図２の例において，塗り絵用紙には，魚類の輪郭が描かれており，その輪郭の中に色鉛筆やクレヨンなどを使って自由に着色を施すことができるようになっている。物理媒体に描かれるオブジェクト（Ｏ）は，魚類に限られず，その他の動物や，植物，車両，飛行機，建物，人間，キャラクターなど様々なものを採用できる。また，図２の例では，オブジェクト（Ｏ）には初めから色が付いておらず，ユーザが自由に色を付けることができるようになっているが，このオブジェクト（Ｏ）には初めから色が付いていてもよい。また，オブジェクト（Ｏ）は，塗り絵に限られず，ユーザが自由に描いた絵画であってもよい。また，物理媒体（Ｐ）は，印刷用紙に限られず，プラスチック板や，金属板であってもよい。また，物理媒体（Ｐ）は，平面的なものに限られず，様々な立体構造物であってもよく，カメラやスキャナによって表面を撮影可能なものを適宜採用することができる。 FIG. 2 shows an example of a physical medium (P) that can be captured by the image capture device 1. As shown in FIG. 2, an example of the physical medium (P) is a coloring paper. Objects (O) such as marlin, anemone fish, and fish such as great white shark are drawn on the coloring paper. In the example of FIG. 2, the outline of the fish is drawn on the coloring paper, and the outline can be freely colored by using a colored pencil or a crayon. The object (O) drawn on the physical medium is not limited to fish, but other animals, plants, vehicles, airplanes, buildings, humans, characters, and various other objects can be adopted. Further, in the example of FIG. 2, the object (O) is not colored from the beginning, and the user can freely color the object (O), but the object (O) is colored from the beginning. May be attached. Further, the object (O) is not limited to a coloring book, and may be a painting freely drawn by the user. Further, the physical medium (P) is not limited to printing paper, and may be a plastic plate or a metal plate. Further, the physical medium (P) is not limited to a flat one, and may be various three-dimensional structures, and a medium whose surface can be photographed by a camera or a scanner can be appropriately adopted.

また，図２に示されるように，塗り絵用紙には，四隅にマーカ（Ｍ）が描かれている。このマーカ（Ｍ）は，その塗り絵用紙に描かれたオブジェクト（Ｏ）に対応するものであり，オブジェクト（Ｏ）毎に固有のマーカ（Ｍ）が設けられている。このため，マーカ（Ｍ）を解析すれば，その塗り絵用紙に描かれているオブジェクト（Ｏ）の種類を特定することができる。例えば，カジキが描かれた塗り絵用紙には，カジキを特定するためのマーカ（Ｍ）が付与される。また，マーカ（Ｍ）を塗り絵用紙の四隅に設けることで，その各マーカ（Ｍ）を頂点とする矩形領域を画定することができる。これにより，各マーカ（Ｍ）の位置を検出することで，各マーカ（Ｍ）を頂点とする矩形領域内に，オブジェクト（Ｏ）が存在していることを認識することができる。なお，マーカ（Ｍ）は，必ずしも塗り絵用紙の四隅に設ける必要はなく，三隅に設けられていてもよいし，対角線上の二隅に設けられていてもよい。三隅や対角線上の二隅であっても，オブジェクト（Ｏ）の種類と矩形領域を認識できる。また，矩形領域を認識する必要がなく，オブジェクト（Ｏ）の種類を特定するだけでもよい場合には，塗り絵用紙上の任意の一箇所にマーカ（Ｍ）を設けておけばよい。図２の例のように，マーカ（Ｍ）は文字が描かれたものであってもよいし，その他公知のＱＲコード（登録商標）などであってもよい。 Further, as shown in FIG. 2, markers (M) are drawn at the four corners of the coloring paper. This marker (M) corresponds to the object (O) drawn on the coloring paper, and a unique marker (M) is provided for each object (O). Therefore, by analyzing the marker (M), the type of the object (O) drawn on the coloring paper can be specified. For example, a coloring paper on which a marlin is drawn is given a marker (M) for identifying the marlin. Further, by providing markers (M) at the four corners of the coloring paper, it is possible to define a rectangular area having each marker (M) as an apex. As a result, by detecting the position of each marker (M), it is possible to recognize that the object (O) exists in the rectangular area having each marker (M) as the apex. The markers (M) do not necessarily have to be provided at the four corners of the coloring paper, and may be provided at three corners or at two diagonal corners. The type of object (O) and the rectangular area can be recognized even at the three corners or the two diagonal corners. Further, when it is not necessary to recognize the rectangular area and it is sufficient to specify the type of the object (O), a marker (M) may be provided at an arbitrary position on the coloring paper. As in the example of FIG. 2, the marker (M) may be a character drawn on it, or may be another known QR code (registered trademark) or the like.

表示装置３は，制御装置２の制御に従って，オブジェクト画像を表示する。図１に示した例において，表示装置３は，プロジェクタ３ａとスクリーン３ｂを備えている。プロジェクタ３ａは，制御装置２からオブジェクト画像やその背景画像などを受信して，それらの画像をスクリーン３ｂの表面上に投影する。プロジェクタ３ａやスクリーン３ｂは公知のものを採用すればよい。なお，スクリーン３ｂは平面的な壁などによっても代用できる。また，表示装置３としては，大型モニタや，液晶ディスプレイ，あるいは有機ＥＬディスプレイなどを採用することもできる。ただし，簡易かつ低コストな構成でオブジェクト画像を大画面に表示できることから，表示装置３としては，プロジェクタ３ａとスクリーン３ｂを採用することが好ましい。 The display device 3 displays the object image under the control of the control device 2. In the example shown in FIG. 1, the display device 3 includes a projector 3a and a screen 3b. The projector 3a receives an object image, a background image thereof, and the like from the control device 2, and projects these images on the surface of the screen 3b. Known projectors 3a and screens 3b may be used. The screen 3b can be replaced by a flat wall or the like. Further, as the display device 3, a large monitor, a liquid crystal display, an organic EL display, or the like can be adopted. However, since an object image can be displayed on a large screen with a simple and low-cost configuration, it is preferable to use a projector 3a and a screen 3b as the display device 3.

検知装置４は，表示装置３の表示画面（スクリーン３ｂ）の近くに存在する人の存在や，表示画面（スクリーン３ｂ）に対する接触位置を検知する。例えば，検知装置４としては，赤外線センサや，光センサ，超音波センサ，静電容量センサ，感圧センサ，音センサ，温度センサなど各種公知のセンサを採用することができる。また，検知装置４としては，赤外線センサと感圧センサの組み合わせなど，異なる機能を持つ複数のセンサを採用することも可能である。例えば，検知装置４は，人の接近を検知したり，人がスクリーン３ｂに触れたときにその接触位置（スクリーン３ｂ上の座標位置）を検知することが好ましい。また，検知装置４は，部屋の明るさや，騒音量，あるいは人の声などを検知することもできる。検知装置４による様々な検知情報は，リアルタイムに制御装置２へと送出され，オブジェクト画像の動作制御に利用される。 The detection device 4 detects the presence of a person near the display screen (screen 3b) of the display device 3 and the contact position with respect to the display screen (screen 3b). For example, as the detection device 4, various known sensors such as an infrared sensor, an optical sensor, an ultrasonic sensor, a capacitance sensor, a pressure sensitive sensor, a sound sensor, and a temperature sensor can be adopted. Further, as the detection device 4, it is possible to adopt a plurality of sensors having different functions such as a combination of an infrared sensor and a pressure sensitive sensor. For example, it is preferable that the detection device 4 detects the approach of a person or detects the contact position (coordinate position on the screen 3b) when the person touches the screen 3b. In addition, the detection device 4 can also detect the brightness of the room, the amount of noise, the voice of a person, and the like. Various detection information by the detection device 4 is sent to the control device 2 in real time and used for motion control of the object image.

制御装置２は，上記した画像取込装置１，表示装置３，及び検知装置４に対して有線又は無線で接続されており，これら各装置の制御を行う。制御装置２としては，汎用的なコンピュータを利用することができる。また，制御装置２は，複数のコンピュータによって構築し，各コンピュータに処理を分担させることもできる。さらに，制御装置２としては，画像取込装置１，表示装置３，及び検知装置４に対してインターネットを介して接続されたウェブサーバを利用することも可能である。 The control device 2 is connected to the above-mentioned image capture device 1, display device 3, and detection device 4 by wire or wirelessly, and controls each of these devices. As the control device 2, a general-purpose computer can be used. Further, the control device 2 can be constructed by a plurality of computers, and each computer can share the processing. Further, as the control device 2, it is also possible to use a web server connected to the image acquisition device 1, the display device 3, and the detection device 4 via the Internet.

図３は，制御装置２の機能構成を示したブロック図である。制御装置２は，汎用的なコンピュータと同様に入力部（入力ＩＦ），出力部（出力ＩＦ），記憶部（メモリ），演算部（ＣＰＵやＧＰＵなどのプロセッサ），及び制御部（ＣＰＵやＧＰＵなどのプロセッサ）を有しており，図３に示された機能構成は，これらの各部位の機能によって実現される。制御装置２の記憶部には，この制御装置２の機能を実現するためのプログラムが格納されており，制御部は，このプログラムに従って，情報の入出力処理や，演算処理，あるいは記憶処理を行う。また，図４には，制御装置２による処理の流れが模式的に示されている。以下では，図４に示した処理の流れに従って，制御装置２の各機能構成について説明する。 FIG. 3 is a block diagram showing the functional configuration of the control device 2. The control device 2 has an input unit (input IF), an output unit (output IF), a storage unit (memory), a calculation unit (processor such as a CPU or GPU), and a control unit (CPU or GPU) like a general-purpose computer. The functional configuration shown in FIG. 3 is realized by the functions of each of these parts. A program for realizing the function of the control device 2 is stored in the storage unit of the control device 2, and the control unit performs information input / output processing, arithmetic processing, or storage processing according to this program. .. Further, FIG. 4 schematically shows the flow of processing by the control device 2. Hereinafter, each functional configuration of the control device 2 will be described according to the processing flow shown in FIG.

図３及び図４に示されるように，画像取込装置１のスキャンによって取得された画像データは，画像入力部１０を介して，画像取込装置１に入力される。画像入力部１０を介して制御装置２内に取り込まれた画像データは，画像解析部１１へと送られる。 As shown in FIGS. 3 and 4, the image data acquired by the scan of the image capture device 1 is input to the image capture device 1 via the image input unit 10. The image data taken into the control device 2 via the image input unit 10 is sent to the image analysis unit 11.

画像解析部１１は，画像データを解析する。第１に，画像解析部１１は，画像データに含まれるオブジェクトの種類を特定するための解析を行う。本実施形態においては，物理媒体（Ｐ）（塗り絵用紙）の表面に，オブジェクト（Ｏ）に対応したマーカ（Ｍ）が付されている。このため，画像解析部１１は，画像データに含まれるマーカを解析して，オブジェクトの種類を特定するマーカ解析部１１ａを有する。マーカはオブジェクト固有のものであるため，マーカ解析部１１ａは，このマーカを解析することでオブジェクトの種類を特定できる。マーカ解析部１１ａによって特定されたオブジェクトの種類に関する情報は，ＡＩ読出部１３及び描画処理部１４へと送られる。なお，画像解析部１１は，マーカに依存せずに，画像データに含まれるオブジェクトの種類を特定することとしてもよい。例えば，画像解析部１１は，画像データを解析して，オブジェクトの輪郭を把握し，その輪郭の形状を，記憶部に記憶されているデータと照合することよって，オブジェクトの種類を特定することも可能である。 The image analysis unit 11 analyzes the image data. First, the image analysis unit 11 performs an analysis for specifying the type of the object included in the image data. In the present embodiment, a marker (M) corresponding to the object (O) is attached to the surface of the physical medium (P) (coloring book). Therefore, the image analysis unit 11 has a marker analysis unit 11a that analyzes markers included in the image data and specifies the type of the object. Since the marker is unique to the object, the marker analysis unit 11a can identify the type of the object by analyzing the marker. Information about the type of the object specified by the marker analysis unit 11a is sent to the AI reading unit 13 and the drawing processing unit 14. The image analysis unit 11 may specify the type of the object included in the image data without depending on the marker. For example, the image analysis unit 11 may analyze the image data, grasp the outline of the object, and identify the type of the object by collating the shape of the outline with the data stored in the storage unit. It is possible.

第２に，画像解析部１１は，画像データに含まれるオブジェクトの色を解析する。このため，画像解析部１１は，色解析部１１ｂを有するものである。色解析部１１ｂは，画像データを解析して，オブジェクトを構成している色情報を取得する。色解析部１１ｂは，少なくともオブジェクトを構成する色情報を一種類以上抽出する。例えば，色解析部１１ｂは，画像データを解析して，オブジェクトを構成する色情報のマップを作成し，その中から，最も多く存在する一つの色情報を，オブジェクトを構成する「代表色」として抽出することとしてもよい。また，色解析部１１ｂは，オブジェクトを構成する色情報のマップの中から，最も多く存在する「第１位の色（第１色）」を抽出するとともに，その次に多く存在する「第２位の色（第２色）」を抽出し，その次に多く存在する「第３位の色（第３色）」を抽出することが好ましい。その際，第１色，第２色，第３色の色情報には，順列が付けられる。画像解析部１１の色解析部１１ｂによって抽出された色情報（代表色や色の順列に関する情報）は，ＡＩ読出部１３へと送られる。 Second, the image analysis unit 11 analyzes the color of the object included in the image data. Therefore, the image analysis unit 11 has a color analysis unit 11b. The color analysis unit 11b analyzes the image data and acquires the color information constituting the object. The color analysis unit 11b extracts at least one type of color information constituting the object. For example, the color analysis unit 11b analyzes the image data, creates a map of the color information that constitutes the object, and uses one of the most existing color information as the "representative color" that constitutes the object. It may be extracted. In addition, the color analysis unit 11b extracts the most abundant "first color (first color)" from the map of the color information constituting the object, and the next most abundant "second color". It is preferable to extract the "third color (second color)" and then the "third color (third color)" which is the most abundant. At that time, a permutation is attached to the color information of the first color, the second color, and the third color. The color information (information on representative colors and color permutations) extracted by the color analysis unit 11b of the image analysis unit 11 is sent to the AI reading unit 13.

続いて，描画処理部１４は，画像データの中からオブジェクトが描かれた領域を抽出して，背景などの不要な部分を取り除いたオブジェクト画像を生成する描画処理を行う。図４に示されるように，描画処理部１４は，まず，画像データに含まれる４つのマーカ（Ｍ）の位置を把握して，その４つのマーカ（Ｍ）を頂点とした矩形領域を画定し，その矩形領域の外側を除去する。これにより，画像データの中から，オブジェクトが描かれた矩形画像を切り抜くことができる。 Subsequently, the drawing processing unit 14 extracts an area in which the object is drawn from the image data, and performs drawing processing to generate an object image from which unnecessary parts such as the background are removed. As shown in FIG. 4, the drawing processing unit 14 first grasps the positions of the four markers (M) included in the image data, and defines a rectangular region having the four markers (M) as vertices. ， Remove the outside of the rectangular area. As a result, a rectangular image in which an object is drawn can be cut out from the image data.

また，描画処理部１４は，マーカ解析部１１ａから受け取ったオブジェクトの種類に関する情報に基づいて，マスク画像データベース１８からマスク処理に利用するマスク画像を検索する。このマスク画像データベース１８には，オブジェクトの種類ごとにマスク画像が記憶されている。例えば，マーカ解析部１１ａによってオブジェクトの種類が「クマノミ」であることが特定されている場合，描画処理部１４は，マスク画像データベース１８からクマノミ用のマスク画像を読み出す。このマスク画像は，各オブジェクトの輪郭に対応しており，輪郭の外側が除去部分，輪郭の内側が透明部分となっている。そして，描画処理部１４は，読み出したマスク画像を上記した矩形画像と合成してマスク処理を行い，オブジェクトの輪郭の内側の色部分を抽出する。これにより，オブジェクトの輪郭の中に任意の着色が施されたオブジェクト画像が生成される。そして，描画処理部１４は，このようにして生成したオブジェクト画像を，オブジェクト画像制御部１５へと送る。 Further, the drawing processing unit 14 searches the mask image database 18 for a mask image to be used for mask processing based on the information regarding the type of the object received from the marker analysis unit 11a. The mask image database 18 stores mask images for each type of object. For example, when the marker analysis unit 11a specifies that the object type is "clownfish", the drawing processing unit 14 reads out a mask image for anemone fish from the mask image database 18. This mask image corresponds to the contour of each object, with the outside of the contour being the removed part and the inside of the contour being the transparent part. Then, the drawing processing unit 14 synthesizes the read mask image with the above-mentioned rectangular image to perform mask processing, and extracts the color portion inside the outline of the object. As a result, an object image with arbitrary coloring is generated in the outline of the object. Then, the drawing processing unit 14 sends the object image generated in this way to the object image control unit 15.

なお，描画処理部１４によってオブジェクト画像を生成する方法は，上記したマスク処理に限られない。例えば，上記した矩形画像の中から色付きの部分を抽出して白色部分（色無しの部分）を透明化するクロマキー合成処理を行って，オブジェクト画像を生成することも可能である。また，マスク画像データベース１８は，制御装置２内に備わっていてもよいし，外部に設置されていてもよいし，制御装置２とインターネットを介して通信可能なウェブサーバが備えるものであってもよい。 The method of generating the object image by the drawing processing unit 14 is not limited to the mask processing described above. For example, it is also possible to generate an object image by performing chroma key composition processing that extracts a colored part from the above-mentioned rectangular image and makes the white part (non-colored part) transparent. Further, the mask image database 18 may be provided inside the control device 2, may be installed outside, or may be provided by a web server capable of communicating with the control device 2 via the Internet. Good.

続いて，ＡＩ読出部１３は，画像解析部１１による解析結果に基づいて，描画処理部１４が生成したオブジェクト画像を動作させるためのＡＩプログラムを，ＡＩプログラムデータベース１２から読み出す。具体的には，ＡＩ読出部１３は，画像解析部１１のマーカ解析部１１ａによって特定されたオブジェクトの種類に関する情報のみに基づいて，ＡＩプログラムを読み出してもよい。また，ＡＩ読出部１３は，オブジェクトの種類に関する情報に加えて，色解析部１１ｂによって抽出された色情報（代表色や色の順列に関する情報）に基づいて，ＡＩプログラムを読み出すこともできる。ここでは，オブジェクトの種類と色の順列に関する情報に基づいて，ＡＩプログラムを読み出す例について説明する。 Subsequently, the AI reading unit 13 reads out the AI program for operating the object image generated by the drawing processing unit 14 from the AI program database 12 based on the analysis result by the image analysis unit 11. Specifically, the AI reading unit 13 may read out the AI program based only on the information regarding the type of the object specified by the marker analysis unit 11a of the image analysis unit 11. Further, the AI reading unit 13 can read the AI program based on the color information (information on the representative color and the color permutation) extracted by the color analysis unit 11b in addition to the information on the type of the object. Here, an example of reading an AI program based on information on object types and color permutations will be described.

図５には，ＡＩプログラムデータベース１２に記憶されている情報の一例が示されている。例えば，ＡＩプログラムデータベース１２は，基本動作ＡＩテーブル（第１動作ＡＩテーブル）を含む。基本動作ＡＩテーブルでは，オブジェクトの種類ごとに，基本動作ＡＩプログラム（第１動作ＡＩプログラム）が記憶されている。例えば，「カジキ」の基本動作ＡＩプログラム（Ａ１〜Ａ８）は，各種オブジェクトの中で最も泳ぐスピードが速いことや，その泳ぎ方の特徴などといった，「カジキ」特有の基本動作を規定している。また，例えば，「クマノミ」の基本動作ＡＩプログラム（Ｂ１〜Ｂ８）は，泳ぐスピードがあまり速くないことや，背景のサンゴの周りに長時間滞在するといった，「クマノミ」特有の基本動作が規定されている。また，基本動作ＡＩプログラムでは，他のオブジェクトとの関係性（例：近寄ったり逃げたりする関係性）が規定されていてもよい。これらの基本動作ＡＩプログラムは，各種オブジェクトごとに用意されている。さらに，基本動作ＡＩテーブルは，オブジェクトの種類ごとに，複数の色と対応付けて，それぞれ基本動作ＡＩプログラムが記憶されている。例えば，色が「Ｃ（シアン）」となる「カジキ」のには，基本動作ＡＩプログラム「Ａ１」が対応付けられており，また，色が「Ｍ（マゼンタ）」となる「カジキ」のには，基本動作ＡＩプログラム「Ａ２」が対応付けられている。これらの色ごとに分かれている基本動作ＡＩプログラムは，それぞれオブジェクト画像の動作が少しずつ異なる。例えば，「Ｍ（マゼンタ）」に対応付けられた基本動作ＡＩプログラム「Ａ２」は，「Ｃ（シアン）」に対応付けられた基本動作ＡＩプログラム「Ａ１」よりも素早く動作することが規定されている。 FIG. 5 shows an example of the information stored in the AI program database 12. For example, the AI program database 12 includes a basic operation AI table (first operation AI table). In the basic operation AI table, the basic operation AI program (first operation AI program) is stored for each type of object. For example, the basic movement AI program (A1 to A8) of "swordfish" defines the basic movements peculiar to "swordfish" such as the fastest swimming speed among various objects and the characteristics of the swimming method. In addition, for example, the basic movement AI program (B1 to B8) of "clownfish" defines basic movements peculiar to "clownfish" such as swimming speed is not so fast and stays around the background coral for a long time. ing. In addition, the basic operation AI program may specify relationships with other objects (eg, relationships of approaching and escaping). These basic operation AI programs are prepared for each of the various objects. Further, in the basic operation AI table, the basic operation AI program is stored in association with a plurality of colors for each type of object. For example, a "swordfish" whose color is "C (cyan)" is associated with the basic operation AI program "A1", and a "swordfish" whose color is "M (magenta)" is associated with it. Is associated with the basic operation AI program "A2". The basic operation AI programs that are separated for each of these colors have slightly different object image operations. For example, it is stipulated that the basic operation AI program "A2" associated with "M (magenta)" operates faster than the basic operation AI program "A1" associated with "C (cyan)". There is.

さらに，ＡＩプログラムデータベース１２は，基本動作ＡＩテーブル（第１動作ＡＩテーブル）に加えて，登場動作ＡＩテーブル（第２動作ＡＩテーブル）と，食事動作ＡＩテーブル（第３動作ＡＩテーブル）を含むものであってもよい。登場動作ＡＩテーブルに記憶されている登場動作ＡＩプログラム（第２動作ＡＩプログラム）は，例えば，オブジェクト画像が表示画面上に出現してから一定期間（例：１０秒間）の動作を規定している。また，食事動作ＡＩテーブルに記憶されている食事動作ＡＩプログラム（第３動作ＡＩプログラム）は，オブジェクト画像がエサ画像の周辺に存在するときの動作を規定している。例えば，オブジェクト画像は，表示画面上に出現してから一定期間の間は登場動作ＡＩプログラムに従って動作し，エサ画像の周辺に存在するときには食事動作ＡＩプログラムに従って動作し，それ以外の状況にあるときには基本動作ＡＩプログラムに従って動作する。 Further, the AI program database 12 includes an appearance operation AI table (second operation AI table) and a meal operation AI table (third operation AI table) in addition to the basic operation AI table (first operation AI table). It may be. The appearance action AI program (second action AI program) stored in the appearance action AI table defines, for example, the action for a certain period (example: 10 seconds) after the object image appears on the display screen. .. Further, the meal action AI program (third action AI program) stored in the meal action AI table defines the action when the object image exists in the vicinity of the food image. For example, an object image operates according to the appearance action AI program for a certain period of time after it appears on the display screen, operates according to the meal action AI program when it exists around the food image, and when it is in other situations. Basic operation Operates according to the AI program.

また，登場動作ＡＩテーブルと食事動作ＡＩテーブルでは，基本動作ＡＩテーブルと同様に，オブジェクトの種類ごとに，複数の色と対応付けて，それぞれ基本動作ＡＩプログラムが記憶されている。例えば，登場動作ＡＩテーブルにおいて，色が「Ｃ（シアン）」となる「カジキ」には，登場動作ＡＩプログラム「ａ１」が対応付けられており，色が「Ｍ（マゼンタ）」となる「カジキ」には，登場動作ＡＩプログラム「ａ２」が対応付けられている。また，例えば，食事動作ＡＩテーブルにおいて，色が「Ｃ（シアン）」となる「カジキ」には，食事動作ＡＩプログラム「α１」が対応付けられており，色が「Ｍ（マゼンタ）」となる「カジキ」には，食事動作ＡＩプログラム「α２」が対応付けられている。これらの色ごとに分かれている登場動作ＡＩプログラムや食事動作ＡＩプログラムは，それぞれオブジェクト画像の動作が少しずつ異なる。 Further, in the appearance operation AI table and the meal operation AI table, as in the basic operation AI table, the basic operation AI program is stored in association with a plurality of colors for each type of object. For example, in the appearance action AI table, "marlin" whose color is "C (cyan)" is associated with the appearance action AI program "a1", and "marlin" whose color is "M (magenta)". Is associated with the appearance operation AI program "a2". Further, for example, in the meal action AI table, the meal action AI program "α1" is associated with the "marlin" whose color is "C (cyan)", and the color is "M (magenta)". The meal movement AI program "α2" is associated with the "marlin". The appearance motion AI program and the meal action AI program, which are separated for each of these colors, have slightly different object image actions.

また，上述したとおり，ＡＩ読出部１３は，画像解析部１１のマーカ解析部１１ａからオブジェクトの種類に関する情報を受け取り，かつ，画像解析部１１の色解析部１１ｂからオブジェクトを構成する「第１位の色（第１色）」，「第２位の色（第２色）」，及び「第３位の色（第３色）」に関する情報を受け取る。この場合に，まず，ＡＩ読出部１３は，オブジェクトの種類と第１位の色に関する情報に基づいて，基本動作ＡＩテーブルにアクセスし，基本動作ＡＩプログラムを一つ読み出す。また，ＡＩ読出部１３は，オブジェクトの種類と第２位の色に関する情報に基づいて，登場動作ＡＩテーブルにアクセスし，登場動作ＡＩプログラムを一つ読み出す。さらに，ＡＩ読出部１３は，オブジェクトの種類と第３位の色に関する情報に基づいて，食事動作ＡＩテーブルにアクセスし，食事動作ＡＩプログラムを一つ読み出す。 Further, as described above, the AI reading unit 13 receives information on the type of the object from the marker analysis unit 11a of the image analysis unit 11, and constitutes the object from the color analysis unit 11b of the image analysis unit 11. Receives information about "color (first color)", "second color (second color)", and "third color (third color)". In this case, first, the AI reading unit 13 accesses the basic operation AI table based on the information regarding the type of the object and the color of the first place, and reads one basic operation AI program. Further, the AI reading unit 13 accesses the appearance operation AI table based on the information regarding the type of the object and the color of the second place, and reads out one appearance operation AI program. Further, the AI reading unit 13 accesses the meal operation AI table based on the information regarding the type of the object and the color of the third place, and reads one meal operation AI program.

例えば，画像解析部１１によって，オブジェクトの種類が「クマノミ」であると特定され，オブジェクトを構成する色の第１位が「Ｒ（赤色）」であり，第２位が「Ｙ（イエロー）」であり，第３位が「Ｇ（緑色）」であると解析された場合を考える。この場合，ＡＩ読出部１３は，まず，基本動作ＡＩテーブルにアクセスし，「クマノミ」「Ｒ（赤色）」に対応付けられた基本動作ＡＩプログラム「Ｂ４」を読み出す。次に，ＡＩ読出部１３は，登場動作ＡＩテーブルにアクセスし，「クマノミ」「Ｙ（イエロー）」に対応付けられた登場動作ＡＩプログラム「ｂ３」を読み出す。さらに，ＡＩ読出部１３は，食事動作ＡＩテーブルにアクセスし，「クマノミ」「Ｇ（緑色）」に対応付けられた食事動作ＡＩプログラム「β６」を読み出す。このようにして，各種テーブルから，基本動作ＡＩプログラム「Ｂ４」，登場動作ＡＩプログラム「ｂ３」，及び食事動作ＡＩプログラム「β６」が，オブジェクト画像の動作を制御するためのＡＩプログラムとして読み出される。ＡＩ読出部１３は，ＡＩプログラムデータベース１２から読み出した複数のＡＩプログラムを，オブジェクト画像制御部１５へと送る。 For example, the image analysis unit 11 identifies the type of object as "clownfish", the first place of the colors constituting the object is "R (red)", and the second place is "Y (yellow)". Consider the case where it is analyzed that the third place is "G (green)". In this case, the AI reading unit 13 first accesses the basic operation AI table and reads out the basic operation AI program "B4" associated with the "clownfish" and "R (red)". Next, the AI reading unit 13 accesses the appearance operation AI table and reads out the appearance operation AI program “b3” associated with the “clownfish” and “Y (yellow)”. Further, the AI reading unit 13 accesses the meal operation AI table and reads out the meal operation AI program “β6” associated with the “clownfish” and “G (green)”. In this way, the basic operation AI program "B4", the appearance operation AI program "b3", and the meal operation AI program "β6" are read from the various tables as AI programs for controlling the operation of the object image. The AI reading unit 13 sends a plurality of AI programs read from the AI program database 12 to the object image control unit 15.

オブジェクト画像制御部１５は，描画処理部１４からオブジェクト画像を受け取るとともに，ＡＩ読出部１３から，そのオブジェクト画像に対応する一又は複数のＡＩプログラムを受け取る。そして，ＡＩプログラムに従って，オブジェクト画像の動作を制御する。例えば，ＡＩ読出部１３によって基本動作ＡＩプログラム，登場動作ＡＩプログラム，及び食事動作ＡＩプログラムが読み出された場合には，オブジェクト画像制御部１５は，それら３種のＡＩプログラムを利用して，オブジェクト画像を制御する。また，オブジェクト画像制御部１５の制御下にあるオブジェクト画像は，画像出力部１６を介して，表示装置３を構成するプロジェクタ３ａへと出力される。これにより，オブジェクト画像制御部１５によって動作制御されているオブジェクト画像が，プロジェクタ３ａによって投影されて，スクリーン３ｂに映し出されることとなる。 The object image control unit 15 receives an object image from the drawing processing unit 14, and also receives one or more AI programs corresponding to the object image from the AI reading unit 13. Then, the operation of the object image is controlled according to the AI program. For example, when the basic operation AI program, the appearance operation AI program, and the meal operation AI program are read by the AI reading unit 13, the object image control unit 15 uses these three types of AI programs to create an object. Control the image. Further, the object image under the control of the object image control unit 15 is output to the projector 3a constituting the display device 3 via the image output unit 16. As a result, the object image whose operation is controlled by the object image control unit 15 is projected by the projector 3a and projected on the screen 3b.

また，制御装置２は，検知装置４（各種センサ）からの検知情報が入力される検知情報入力部１７を有している。検知情報入力部１７は，検知装置４から検知情報を受け取ると，それをオブジェクト画像制御部１５へと送る。オブジェクト画像制御部１５は，検知情報入力部１７から受け取った検知情報を，オブジェクト画像の動作制御に反映させる。例えば，図１に示されるように，検知装置４によって，スクリーン３ｂの近くに立つユーザの存在が検知されると，オブジェクト画像制御部１５は，そのユーザの周囲に集まるように，複数のオブジェクト画像の動作を制御する。また，検知装置４によって，ユーザがスクリーン３ｂに触れたことが検知されると，オブジェクト画像制御部１５は，その接触位置にオブジェクト画像が表示されているか否かを判断し，接触位置とオブジェクト画像の位置が一致すると判断した場合には，そのオブジェクト画像をユーザによる接触位置から素早く逃げるように動作制御する。また，検知装置４としては，赤外線センサや，光センサ，超音波センサ，静電容量センサ，感圧センサ，音センサ，温度センサなど各種公知のセンサを採用することができる。オブジェクト画像制御部１５は，これらの検知装置４から各種検知情報を受け取り，オブジェクト画像の動作制御に適宜利用することが可能である。 Further, the control device 2 has a detection information input unit 17 into which detection information from the detection device 4 (various sensors) is input. When the detection information input unit 17 receives the detection information from the detection device 4, it sends it to the object image control unit 15. The object image control unit 15 reflects the detection information received from the detection information input unit 17 in the operation control of the object image. For example, as shown in FIG. 1, when the detection device 4 detects the presence of a user standing near the screen 3b, the object image control unit 15 gathers a plurality of object images so as to gather around the user. Control the operation of. Further, when the detection device 4 detects that the user touches the screen 3b, the object image control unit 15 determines whether or not the object image is displayed at the contact position, and the contact position and the object image. When it is determined that the positions of the objects match, the operation of the object image is controlled so as to quickly escape from the contact position by the user. Further, as the detection device 4, various known sensors such as an infrared sensor, an optical sensor, an ultrasonic sensor, a capacitance sensor, a pressure sensitive sensor, a sound sensor, and a temperature sensor can be adopted. The object image control unit 15 can receive various detection information from these detection devices 4 and appropriately use it for motion control of the object image.

図６は，仮想レイヤを利用したオブジェクト画像の動作制御の例を示している。オブジェクト画像制御部１５は，オブジェクト画像を表示させる仮想的なレイヤとして，第１仮想レイヤと第２仮想レイヤとを構築している。第１仮想レイヤと第２仮想レイヤは，共にオブジェクト画像が表示される仮想的なディスプレイ面であり，第１仮想レイヤは，第２仮想レイヤの前面側に配置されているが，第２仮想レイヤ上に表示されるオブジェクト画像は，第１仮想レイヤを透過してユーザに視認される。ただし，第１仮想レイヤ上に表示されたオブジェクト画像と第２仮想レイヤ上に表示されるオブジェクト画像とが重なった場合，第１仮想レイヤ上に表示されたオブジェクト画像が前面となり，第２仮想レイヤ上に表示されるオブジェクト画像は，その背面に隠れることとなる。このように，オブジェクト画像制御部１５は，第１仮想レイヤと第２仮想レイヤとに分けて，複数のオブジェクト画像を表示する制御を行う。 FIG. 6 shows an example of motion control of an object image using a virtual layer. The object image control unit 15 constructs a first virtual layer and a second virtual layer as virtual layers for displaying the object image. Both the first virtual layer and the second virtual layer are virtual display surfaces on which object images are displayed, and the first virtual layer is arranged on the front side of the second virtual layer, but the second virtual layer. The object image displayed above is transparent to the user through the first virtual layer. However, if the object image displayed on the first virtual layer and the object image displayed on the second virtual layer overlap, the object image displayed on the first virtual layer becomes the front and the second virtual layer The object image displayed above will be hidden behind it. In this way, the object image control unit 15 controls to display a plurality of object images by dividing them into a first virtual layer and a second virtual layer.

例えば，図６に示されるように，オブジェクト画像が生成されると，オブジェクト画像制御部１５は，まず，そのオブジェクト画像を第１仮想レイヤに表示させる。そして，第１仮想レイヤへの表示を続け，第１仮想レイヤ上に存在するオブジェクト画像の数が，一定数を超えたときに，その中で最も古くに生成されたオブジェクト画像を，第２仮想レイヤへと移動させる。このように，第１仮想レイヤに表示可能なオブジェクト画像の数には制限があり，その制限を超えた場合，古いものから順番に第２仮想レイヤへと移動される。第１仮想レイヤに表示可能なオブジェクト画像の数は，例えば１０〜５０程度の範囲で調整すればよい。また，第２仮想レイヤにも，表示可能なオブジェクト画像の数の制限が設けられており，その制限を超えた場合，最も古くに生成されたオブジェクト画像が，第２仮想レイヤから消去される。例えば，第２仮想レイヤに表示可能なオブジェクト画像の数は，例えば１０〜５０程度の範囲で調整すればよい。このようにして，生成されたオブジェクト画像は，まず第１仮想レイヤ上に表示され，その後第２仮想レイヤへと移動して，最終的には画面から消去されることとなる。 For example, as shown in FIG. 6, when an object image is generated, the object image control unit 15 first displays the object image on the first virtual layer. Then, the display on the first virtual layer is continued, and when the number of object images existing on the first virtual layer exceeds a certain number, the oldest generated object image among them is the second virtual. Move to a layer. In this way, there is a limit to the number of object images that can be displayed on the first virtual layer, and if the limit is exceeded, the oldest ones are moved to the second virtual layer in order. The number of object images that can be displayed on the first virtual layer may be adjusted in the range of, for example, about 10 to 50. Further, the second virtual layer also has a limit on the number of object images that can be displayed, and when the limit is exceeded, the oldest generated object image is deleted from the second virtual layer. For example, the number of object images that can be displayed on the second virtual layer may be adjusted in the range of, for example, about 10 to 50. The object image generated in this way is first displayed on the first virtual layer, then moved to the second virtual layer, and finally erased from the screen.

また，オブジェクト画像制御部１５は，第１仮想レイヤと第２仮想レイヤとで，検知装置４からの検出情報の影響が異なるように制御を行うことが好ましい。例えば，オブジェクト画像制御部１５は，第１仮想レイヤに存在するオブジェクト画像に対しては，検知装置４からの検出情報の影響を与えることとし，第２仮想レイヤに存在するオブジェクト画像に対しては，検知装置４からの検出情報の影響を与えないようにする。図６に示した例においては，検知装置４がスクリーンに対するユーザの接触位置を検出した際に，その接触位置と第１仮想レイヤ上に存在するオブジェクト画像の位置とが重なる場合には，その接触位置から逃げるようにオブジェクト画像を制御する。他方，検知装置４がスクリーンに対するユーザの接触位置を検出した際に，その接触位置と第２仮想レイヤ上に存在するオブジェクト画像の位置とが重なる場合であっても，特にそのオブジェクト画像の動作は変化させない。このように，第１仮想レイヤ上のオブジェクト画像はインタラクティブに制御されるが，第２仮想レイヤ上のオブジェクト画像は特に検知装置４からの影響を受けないようになっている。これにより，オブジェクト画像制御部１５は，オブジェクト画像の数が増えてきた場合であっても，第１仮想レイヤ上に存在する一定数以下のオブジェクト画像のみについて，検知装置４からの検知情報の影響を算出すれば済むため，ＣＰＵ（或いはＧＰＵ）の演算量を低減できる。 Further, it is preferable that the object image control unit 15 controls the first virtual layer and the second virtual layer so that the influence of the detection information from the detection device 4 is different. For example, the object image control unit 15 determines that the detection information from the detection device 4 affects the object image existing in the first virtual layer, and the object image control unit 15 affects the object image existing in the second virtual layer. ， Do not affect the detection information from the detection device 4. In the example shown in FIG. 6, when the detection device 4 detects the contact position of the user with respect to the screen, if the contact position and the position of the object image existing on the first virtual layer overlap, the contact is made. Control the object image to escape from position. On the other hand, when the detection device 4 detects the contact position of the user with respect to the screen, even if the contact position and the position of the object image existing on the second virtual layer overlap, the operation of the object image is particularly high. Do not change. In this way, the object image on the first virtual layer is controlled interactively, but the object image on the second virtual layer is not particularly affected by the detection device 4. As a result, even if the number of object images increases, the object image control unit 15 is affected by the detection information from the detection device 4 only for a certain number or less of the object images existing on the first virtual layer. Since it is sufficient to calculate, the amount of calculation of the CPU (or GPU) can be reduced.

また，図３に示されるように，オブジェクト画像制御部１５は，イベントデータベース１９からの所定のデータを受け取り，オブジェクト画像の制御に反映させることができる。このイベントデータベース１９には，イベント画像が記憶されている。イベント画像は，画像取込装置１によって取り込まれた画像を加工して得られたオブジェクト画像ものとは区別されるものであり，予めこのイベントデータベース１９に記憶されている。図７には，イベント画像の一例として，エサ画像（Ｆ）が表示画面上に表示されている。オブジェクト画像制御部１５は，イベントデータベース１９からエサ画像（Ｆ）を読み出すと，これを画像出力部１６を介して表示装置３へと出力し，表示画面上に映し出す。そして，エサ画像の周囲（例えば点線の範囲）にいるオブジェクト画像は，そのエサ画像（Ｆ）に集まるように，オブジェクト画像制御部１５によって制御される。また，エサ画像（Ｐ）に集まる際に，オブジェクト画像は，上述した食事動作ＡＩプログラムに従って動作制御される。また，エサ画像（Ｆ）に集まるように設定されたＡＩプログラムだけでなく，エサ画像（Ｆ）に対して無関心であったりエサ画像（Ｆ）から遠ざかるように設定されたＡＩプログラムが存在していてもよい。また，イベントデータベース１９には，その他オブジェクト画像の動作に影響を与える種々のイベント画像を記憶しておくことができる。オブジェクト画像は，イベント画像に対して近づくものであってもよいし，イベント画像から離れるものであってもよいし，その他動作に影響を受けることとしてもよい。 Further, as shown in FIG. 3, the object image control unit 15 can receive predetermined data from the event database 19 and reflect it in the control of the object image. Event images are stored in this event database 19. The event image is distinguished from the object image obtained by processing the image captured by the image capture device 1, and is stored in the event database 19 in advance. In FIG. 7, a food image (F) is displayed on the display screen as an example of the event image. When the object image control unit 15 reads the food image (F) from the event database 19, it outputs the food image (F) to the display device 3 via the image output unit 16 and displays it on the display screen. Then, the object images around the food image (for example, the range of the dotted line) are controlled by the object image control unit 15 so as to be gathered in the food image (F). Further, when the object image is collected in the food image (P), the motion of the object image is controlled according to the above-mentioned meal motion AI program. In addition to the AI program set to gather in the food image (F), there is an AI program set to be indifferent to the food image (F) or to move away from the food image (F). You may. In addition, various event images that affect the operation of other object images can be stored in the event database 19. The object image may be closer to the event image, may be farther from the event image, or may be affected by other actions.

図３に示されるように，オブジェクト画像制御部１５は，描画処理部１４によって作成されたオブジェクト画像とＡＩ読出部１３によって読み出されたＡＩプログラムの組み合わせを，オブジェクト記憶部２０に記憶させることも可能である。オブジェクト画像制御部１５は，オブジェクト記憶部２０されているオブジェクト画像とＡＩプログラムとの組み合わせを読み出して，再度，表示画面上に表示させることもできる。 As shown in FIG. 3, the object image control unit 15 may store the combination of the object image created by the drawing processing unit 14 and the AI program read by the AI reading unit 13 in the object storage unit 20. It is possible. The object image control unit 15 can also read out the combination of the object image stored in the object storage unit 20 and the AI program and display it on the display screen again.

その他，図示は省略するが，制御装置２は，ユーザによって作成されたオブジェクト画像を，インターネットを介して，そのユーザの携帯端末に送信するといったサービスを行うこともできる。また，制御装置２は，表示装置３に表示されている映像を，インターネットを介してウェブサーバに提供することも可能である。その場合，ユーザは，携帯端末を介してウェブサーバにアクセスすれば，表示装置３に表示されている映像を，自分の携帯端末の画面を通じて閲覧することができる。 In addition, although not shown, the control device 2 can also perform a service such as transmitting an object image created by a user to the user's mobile terminal via the Internet. Further, the control device 2 can also provide the image displayed on the display device 3 to the web server via the Internet. In that case, if the user accesses the web server via the mobile terminal, the image displayed on the display device 3 can be viewed through the screen of his / her mobile terminal.

以上，本願明細書では，本発明の内容を表現するために，図面を参照しながら本発明の実施形態の説明を行った。ただし，本発明は，上記実施形態に限定されるものではなく，本願明細書に記載された事項に基づいて当業者が自明な変更形態や改良形態を包含するものである。 As described above, in the specification of the present application, in order to express the content of the present invention, the embodiments of the present invention have been described with reference to the drawings. However, the present invention is not limited to the above embodiment, and includes modifications and improvements which are obvious to those skilled in the art based on the matters described in the present specification.

本発明は，ユーザによって着色されたり描かれたりしたお絵かきの画像をデジタル情報として取り込み，リアルタイムに表示することのできるシステムに関する。従って，本発明は，エンターテイメント産業や教育業において好適に利用し得る。 The present invention relates to a system capable of capturing an image of a drawing colored or drawn by a user as digital information and displaying it in real time. Therefore, the present invention can be suitably used in the entertainment industry and the education industry.

１…画像取込装置２…制御装置
３…表示装置３ａ…プロジェクタ
３ｂ…スクリーン４…検知装置
１０…画像入力部１１…画像解析部
１１ａ…マーカ解析部１１ｂ…色解析部
１２…ＡＩプログラムデータベース１３…ＡＩ読出部
１４…描画処理部１５…オブジェクト画像制御部
１６…画像出力部１７…検知情報入力部
１８…マスク画像データベース１９…イベントデータベース
２０…オブジェクト記憶部１００…画像表示システム
Ｏ…オブジェクトＭ…マーカ
Ｐ…物理媒体Ｆ…エサ画像 1 ... Image capture device 2 ... Control device 3 ... Display device 3a ... Projector 3b ... Screen 4 ... Detection device 10 ... Image input unit 11 ... Image analysis unit 11a ... Marker analysis unit 11b ... Color analysis unit 12 ... AI program database 13 ... AI reading unit 14 ... drawing processing unit 15 ... object image control unit 16 ... image output unit 17 ... detection information input unit 18 ... mask image database 19 ... event database 20 ... object storage unit 100 ... image display system O ... object M ... Marker P ... Physical medium F ... Feeding image

Claims

Coloring paper with markers to identify the type of object along with the outline of the object,
An image capture device (1) that scans a physical medium with arbitrary coloring on the coloring paper to capture image data, and
A control device (2) that generates an object image from the image data, and
An image display system including a display device (3) for displaying the object image.
The control device (2) is
An image input unit (10) that acquires the image data from the image capture device, and
An image analysis unit (11) including a marker analysis unit (11a) that analyzes the marker included in the image data and specifies the type of the object.
A program reading unit (13) that reads one or more operation programs from the database (12) according to the type of the object specified by the marker analysis unit (11a).
A drawing that performs masking processing according to the type of the object specified by the marker analysis unit (11a) , extracts a color portion inside the outline of the object from the image data, and generates the object image. Processing unit (14) and
An object image control unit (15) that controls the object image based on the operation program read by the program reading unit (13), and an object image control unit (15).
An image display system including an image output unit (16) that outputs the object image controlled by the object image control unit (15) to the display device (3).

The image display system further includes a detection device (4) capable of detecting the presence of a person in the vicinity of the display screen of the display device (3) or the contact position with respect to the display screen.
The control device (2) further includes a detection information input unit (17) for acquiring detection information from the detection device (4).
The image display system according to claim 1, wherein the object image control unit (15) controls the object image based on the detection information and the operation program.

The object image control unit (15)
While operating one or more of the relatively newly generated object images in the first virtual layer,
The image display system according to claim 1 or 2, wherein one or a plurality of the object images generated relatively old are operated in the second virtual layer which is the back surface of the first virtual layer.

The object image control unit (15)
The detection information acquired from the detection device (4) is reflected in the operation of the object image existing in the first virtual layer.
The image display system according to claim 3, wherein the operation of the object image existing in the second virtual layer does not reflect the detection information acquired from the detection device (4).

A program for causing a computer to function as the control device (2) in the image display system according to any one of claims 1 to 4.