JP7396168B2 - 発想支援装置、発想支援システム及びプログラム - Google Patents

Description

この発明は、発想支援装置、発想支援システム及びプログラムに関する。

電子計算機により大量のデータを処理して学習を行い、当該学習の結果に基づいて、従来、人の手間では見つけづらかった複雑な法則性の抽出やパターン化などが可能となっている。テキスト処理に係る技術の中には、単語を多次元ベクトルで表現して（Ｗｏｒｄ２ｖｅｃ）定量的に評価し、類似性や法則性を演算で処理する技術がある（例えば、特許文献１）。

また、上記多次元ベクトルで示される複数の用語間の距離の大小に基づいて類語や対義語を取得したり、辞書情報から類語や対義語を取得したりして、文中のキー要素を適宜変換して異なる語に置き換えた合成文を生成する発想支援装置に係る技術がある（特許文献２）。

特開２０１９－２０８９３号公報 特開２０１９－８６８１５号公報

しかしながら、多次元ベクトルの演算結果が示す数値は、必ずしも何らかの用語を示すとは限らず、場合によっては、適切な用語が得られない場合がある。また結局、従来存在する近い用語に変換するだけでは、あまり発想の幅が広がらない場合があるという課題がある。

この発明の目的は、より多様な発想を支援可能な発想支援装置、発想支援システム及びプログラムを提供することにある。

上記目的を達成するため、本発明の請求項１記載の発明は、
オブジェクトの意味に応じた方向を示す意味ベクトルを複数の入力オブジェクトについてそれぞれ取得する取得手段と、
取得した複数の前記意味ベクトル同士で所定の演算を行う演算手段と、
前記演算により得られた出力意味ベクトルから所定の距離条件を満たす範囲内の意味ベクトルで表される参照オブジェクトが取得されない場合に、前記出力意味ベクトルに応じた非テキストの出力オブジェクトを生成する生成手段と、
を備えることを特徴とする発想支援装置である。

また、請求項２記載の発明は、請求項１記載の発想支援装置において、
前記参照オブジェクトは、文字で示されたものであることを特徴とする。

また、請求項３記載の発明は、請求項１又は２記載の発想支援装置において、
前記取得手段は、複数の入力データから各々前記入力オブジェクトを取得することを特徴とする。

また、請求項４記載の発明は、請求項１～３のいずれか一項に記載の発想支援装置において、
前記入力オブジェクトは、文を含む入力データ内の自立語であることを特徴とする。

また、請求項５記載の発明は、請求項１～４のいずれか一項に記載の発想支援装置において、
前記出力オブジェクトは、画像データ又は音声データであることを特徴とする。

また、請求項６記載の発明は、請求項１～５のいずれか一項に記載の発想支援装置において、
前記出力意味ベクトルからの距離が所定の条件を満たす意味ベクトルによりそれぞれ内容が示される複数の周辺オブジェクトを特定し、前記周辺オブジェクトを、当該周辺オブジェクトの意味ベクトルと前記出力意味ベクトルとの間の距離に対応付けて、前記出力オブジェクトと併せて出力する出力手段を備えることを特徴とする。

また、請求項７記載の発明は、請求項６記載の発想支援装置において、
前記出力オブジェクトは画像データであり、
前記出力手段は、前記周辺オブジェクトをそれぞれ前記距離に応じた間隔ずつ前記出力オブジェクトに係る生成画像から離隔させて当該生成画像の周囲に配置した相関図を出力することを特徴とする。

また、請求項８記載の発明は、請求項６又は７記載の発想支援装置において、
前記出力オブジェクトは画像データであり、
前記出力手段は、前記複数の周辺オブジェクトの間での前記意味ベクトルの距離に応じた角度差で、前記周辺オブジェクトを前記出力オブジェクトに係る生成画像の周囲に配置した相関図を出力することを特徴とする。

また、請求項９記載の発明は、請求項７又は８記載の発想支援装置において、
前記出力手段は、前記周辺オブジェクトに係る周辺画像を前記相関図に表示させて出力することを特徴とする。

また、請求項１０記載の発明は、請求項７～９のいずれか一項に記載の発想支援装置において、
前記出力手段は、意味ベクトルが前記周辺オブジェクトと前記出力オブジェクトの間に位置する中間オブジェクトを生成し、当該中間オブジェクトに係る中間画像を前記相関図に表示させて出力することを特徴とする。

また、請求項１１記載の発明は、請求項７～１０のいずれか一項に記載の発想支援装置において、
前記出力手段は、前記意味ベクトルを表現する次元数のうち所定数以上の一部の次元で前記出力意味ベクトルと大きさの差が基準範囲内の前記周辺オブジェクトを選択的に前記相関図に表示させることを特徴とする。

また、請求項１２記載の発明は、請求項７～１１のいずれか一項に記載の発想支援装置において、
前記出力手段は、前記相関図に含む画像のうち、対応するテキストデータが設定されているものと設定されていないものとを識別可能な付加表示を行うことを特徴とする。

また、請求項１３記載の発明は、請求項１２記載の発想支援装置において、
前記付加表示には、前記画像に対する前記設定の有無に応じた枠線の相違が含まれることを特徴とする。

また、請求項１４記載の発明は、請求項１３記載の発想支援装置において、
前記相違には、線種、線の太さ、線の色、線の形状、影、立体表示のうちいずれかの相違が含まれることを特徴とする。

また、請求項１５記載の発明は、請求項１２～１４のいずれか一項に記載の発想支援装置において、
前記付加表示には、設定されている前記テキストデータに係るテキスト表示が含まれることを特徴とする。

また、請求項１６記載の発明は、請求項１２記載の発想支援装置において、
前記付加表示には、前記画像に対する前記テキストデータの有無に応じた付加標識の有無又は相違が含まれることを特徴とする。

また、請求項１７記載の発明は、請求項１６記載の発想支援装置において、
前記付加標識には、括弧又は点が含まれることを特徴とする。

また、請求項１８記載の発明は、請求項１～１６のいずれか一項に記載の発想支援装置において、
前記所定の演算には、四則演算、内積及び外積のうち少なくともいずれかが含まれることを特徴とする。

また、請求項１９記載の発明は、
オブジェクトの意味に応じた方向を示す意味ベクトルを複数の入力オブジェクトについてそれぞれ取得する取得手段と、
取得した複数の前記意味ベクトル同士で所定の演算を行う演算手段と、
前記演算により得られた出力意味ベクトルから所定の距離条件を満たす範囲内の意味ベクトルで表される参照オブジェクトが取得されない場合に、前記出力意味ベクトルに応じた非テキストの出力オブジェクトを生成する生成手段と、
を備えることを特徴とする発想支援システムである。

また、請求項２０記載の発明は、
コンピューターに、
オブジェクトの意味に応じた方向を示す意味ベクトルを複数の入力オブジェクトについてそれぞれ取得する取得ステップと、
取得した複数の前記意味ベクトル同士で所定の演算を行う演算ステップと、
前記演算により得られた出力意味ベクトルから所定の距離条件を満たす範囲内の意味ベクトルで表される参照オブジェクトが取得されない場合に、前記出力意味ベクトルに応じた非テキストの出力オブジェクトを生成する生成ステップと、
を実行させることを特徴とするプログラムである。

本発明に従うと、より多様な発想を支援することができるという効果がある。

本実施形態の発想支援システムの機能構成を示すブロック図である。 発想支援の例を説明する図である。 演算結果と出力の対応について説明する図である。 演算結果と出力の対応について説明する図である。 演算結果と出力の対応について説明する図である。 画像出力パターンの例について説明する図である。 本実施形態の発想支援制御処理の制御手順を示すフローチャートである。 画像出力パターンの変形例を説明する図である。

以下、本発明の実施の形態を図面に基づいて説明する。
図１は、本実施形態の発想支援システム１の機能構成を示すブロック図である。
この発想支援システム１は、サーバー装置１０（発想支援装置）と、データベース装置２０と、端末装置３０とを含む。

サーバー装置１０は、制御部１１（取得手段、演算手段、生成手段、出力手段）と、記憶部１２と、通信部１３などを備える。制御部１１は、ＣＰＵ（Central Processing Unit）及びＲＡＭ（Random Access Memory）などを有し、各種演算処理を行って、サーバー装置１０の動作を統括制御するプロセッサーである。

記憶部１２は、制御部１１が実行するプログラム１２１及び設定データを記憶する。また、記憶部１２は、端末装置３０から入力された各種データ及びその処理データを一時記憶する。記憶部１２は、ＨＤＤ（Hard Disk Drive）及び／又はフラッシュメモリーなどの不揮発性メモリーを有する。また、記憶部１２は、一時的に大きなデータを記憶して高速処理するためのＲＡＭなどを有していてもよい。プログラム１２１には、文章解析、画像認識、音声認識及び後述の発想支援制御処理に係るプログラムが含まれる。画像認識やキーワードの抽出などに係る各処理には、それぞれ適切に設計、学習された学習済モデル１２１１が用いられ得る。また、プログラム１２１には、テキストデータ（ここでは、テキストデータに対応する意味ベクトル（の組合せ）であってよい）から学習データに基づいて新たな画像を生成する画像生成処理部１２１２が含まれる。学習モデルを利用してテキスト（文など）から画像に変換する画像生成処理部１２１２としては、例えば、ＧＡＮ（Generative Adversarial Nets；敵対的生成ネットワーク）などが知られている。ここでは、これに関連して開発されている種々のアルゴリズムのいずれか又は複数が採用されてよく、また、Ｗｏｒｄ２ｖｅｃなどで得られる意味ベクトルから直接画像データを生成可能に対応付けられていてもよい。あるいは、意味ベクトルが近い複数の周辺画像を他の手法で合成して新しい画像を生成するものであってもよい。

通信部１３は、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）といった所定の通信規格に従って外部機器との間でのデータの送受信を制御する。通信部１３は、ネットワークを介して外部機器と接続されている。ネットワークにはインターネットが含まれ、端末装置３０などの外部機器からアクセス可能となっている。通信部１３は、ＵＳＢ（Universal Serial Bus）などを介して外部機器（周辺機器など）と直接通信が可能な端子を有していてもよい。

データベース装置２０は、記憶部２１を有する。記憶部２１は、テキスト（文字）、画像、音声などで表現された多数のオブジェクトとその識別データ（後述の意味ベクトルの値を含む）を対応付けた用語データ２１１を記憶保持する。すなわち、用語データ２１１のテキストオブジェクト（参照オブジェクト）は、Ｗｏｒｄ２ｖｅｃの学習生成に用いられ、また、学習の結果得られた意味ベクトルの値と各々対応付けられて保持されている。用語データ２１１は、利用などに応じて追加されてよく、意味ベクトルの値は、学習の進展に応じて更新されてもよい。また、各参照オブジェクトは、必要に応じて更に内容を示す画像が対応付けられて保持されていてもよい。また、データベース装置２０は、記憶部２１の読み書きを制御する制御部及び外部機器との通信を制御する通信部を有していてよい。なお、用語データ２１１の生成、Ｗｏｒｄ２ｖｅｃ、ＧＡＮの学習などは、サーバー装置１０で行われる必要はなく、他の装置で行われたものがコピーされて利用されてよい。

端末装置３０は、ユーザーからの入力の受付及びユーザーへの出力を行う。端末装置３０は、制御部３１と、記憶部３２と、表示部３３と、操作受付部３４と、通信部３５などを備える。制御部３１は、ＣＰＵ及びＲＡＭなどを有し、端末装置３０の動作を統括制御するプロセッサーである。記憶部３２は、不揮発性メモリーやＨＤＤなどを有し、各種プログラム及びデータを記憶する。通信部３５は、所定の通信規格に従って外部機器との間でのデータの送受信を制御する。所定の通信規格には、サーバー装置１０と通信可能なもの、例えば、ＴＣＰ／ＩＰなどが含まれる。

操作受付部３４は、外部（ユーザーなど）からの入力操作を受け付けて、入力信号として制御部３１に出力する。操作受付部３４は、特には限られないが、例えば、キーボード、マウス、表示部３３の表示画面に重ねて設けられるタッチセンサーなどを有する。表示部３３は、表示画面を有し、制御部３１の制御命令に応じた内容の表示を当該表示画面に行わせる。表示画面としては、特には限られないが、例えば、液晶表示画面（ＬＣＤ）である。また、表示部３３には、特定の状態を示すＬＥＤランプ（Light Emitting Diode）などが含まれていてもよい。

次に、本実施形態の発想支援システム１における発想支援の動作内容について説明する。本実施形態の発想支援システム１では、端末装置３０からの入力データからオブジェクトを抽出し、当該オブジェクトの組合せに基づいて、異なるオブジェクトと異なる概念を出力する。

図２は、発想支援の例を説明する図である。
図２（ａ）に示すように、例えば、端末装置３０からサーバー装置１０に２つの文（複数の入力データ）が入力されると、サーバー装置１０では、これらの文から自立語（名詞、動詞、形容詞などに加え、言語に応じて独自の品詞が含まれてもよい）が各々抽出されて、抽出オブジェクトとして取得される。なお、「する」や補助動詞としての「いる」など、具体的な内容を伴わないものは適宜省略されてもよい。また、地名、人名や名称などの固有名詞は、学習データ（Ｗоｒｄ２ｖｅｃ及びＧＡＮ）にこれらが十分に含まれているかに応じて利用されるか否かが判断されてもよい。

抽出オブジェクトは、それぞれ、用語データ２１１を参照してその内容の意味に応じた方向を定量的に示す意味ベクトルに変換される。単純な合成語などの場合には、元となる２語の意味ベクトルを加算してもよいし、これらを２単語に分割してもよい。抽出オブジェクトに対応する意味ベクトルは、用語データ２１１を参照して得られる。意味ベクトルが定められていない抽出オブジェクトは、処理から除外されてもよい。

２文の抽出オブジェクト間で適宜、あるいは総当たりで組合せを行う。組み合わされた複数（２つ）の抽出オブジェクトの各意味ベクトルにより、予め定められた又は適宜設定された所定の演算処理が行われ、出力意味ベクトルが算出される。

このとき、出力意味ベクトルは、用語データ２１１に記憶されている他の用語の意味ベクトルと同一になるとは限らず、組み合わせによっては、出力意味ベクトルに該当する用語や類似する用語（出力意味ベクトルから所定の距離内の用語）が用語データ２１１にない（取得されない）場合がしばしばある。図２（ｂ）に示すように、用語データ２１１を参照して、「スカイダイビング」と「海」とをそれぞれ示す意味ベクトルを加算して得られた意味ベクトルの所定の類似範囲内を探索すると、ここでは、直近にスキューバダイビングが位置している。一方で、「スカイダイビング」に「シーウォーク」や「Ｂ島」を加算した場合、所定の類似範囲内には、対応する用語が存在しない。

図３～図５は、演算結果と出力の対応について説明する図である。なお、ここでは説明のために二次元的な表示を行っているが、実際の意味ベクトルは多次元であり、例えば、１００～１０００次元などであってもよい。
図３（ａ）に示すように、出力意味ベクトルＭ１に近接した意味ベクトルＲ１の用語が存在する場合、ここでは、出力意味ベクトルＭ１からの距離（例えば、ユークリッド距離）がＡ１以内の用語がある場合には、他の周辺の用語Ｒ２～Ｒ５（高飛び込みなど）にかかわらず、図３（ｂ）に示すように、当該用語をテキストデータとしてそのまま表示出力してよい。

一方で、図４（ａ）、（ｂ）に示すように、出力意味ベクトルＭ２１、Ｍ２２に距離Ａ２以内で近接した（所定の距離条件を満たす範囲内の座標を示す）意味ベクトルを有する用語（参照オブジェクト）が存在しない（用語データ２１１から取得されない）場合には、出力意味ベクトルＭ２１、Ｍ２２の周囲の用語を単純に示しただけでは、新しい概念を適切に提示しているとは言えない場合がある。サーバー装置１０では、出力意味ベクトルＭ２１、Ｍ２２が示す内容の画像（非テキストの出力オブジェクト）をＧＡＮなどにより生成して出力する。あるいは、サーバー装置１０は、上記のように出力意味ベクトルＭ２１、Ｍ２２の周囲の用語を示す意味ベクトルＲ２１～Ｒ２３、Ｒ２５～Ｒ２７（周辺オブジェクト）に基づいて、また、必要に応じて演算元のオブジェクトに基づいて、出力意味ベクトルＭ２１、Ｍ２２に当たる画像を適宜合成しもよい。なお、画像よりもむしろ音で表現されるオブジェクトの場合には、画像データの代わりに音声データが生成されてもよい。

なお、周囲の多数の画像データ（周辺画像）の要素が混合されると、ユーザー（人間）がイメージを膨らませるのが困難な画像となる場合もある。一方、次元数より少ない数の画像データでは、対応する複数の意味ベクトルの一次線形結合では、正確な出力意味ベクトルが得られない。したがって、この場合には、一次線形結合ではなく、混合される画像が成分単位で調整され得る合成手法が用いられるか、又は厳密に出力意味ベクトルと一致する画像でなくてもよい。例えば、出力意味ベクトルから所定の距離内（距離が所定の条件を満たす）にある、又は近い順に所定数（次元数より十分に少ない。例えば、数個）の意味ベクトルが限定的に特定、取得され、出力意味ベクトルから取得された意味ベクトルまでの各距離（絶対値）にのみ応じた比率などで加算（合成）されてもよい。この場合、合成された画像に対応する意味ベクトルの本来の出力意味ベクトルからのずれが、周囲の用語の意味ベクトルよりも遠くならないように各画像の重みを定めることができる。また、周辺オブジェクトは、多次元の意味ベクトルの次元数に応じた各成分のうち一部、例えば、出力意味ベクトルの各成分のうち絶対値が大きい順に所定数の成分や、絶対値が所定値より大きい成分などとの差が基準範囲内のものが限定的に選択されてもよい。あるいは、演算元のオブジェクトを、意味ベクトルが近い場合などの所定の条件で利用してもよい。

また、図４（ａ）に示すように、限定的に取得される用語間で比較的距離が近くなる場合がある。ここでは、例えば、吊り橋の意味ベクトルＲ２１と空中通路の意味ベクトルＲ２２が近くに位置している。このように、選択される用語が近い概念のものに偏ると、結局生成される画像が大きく変化しないので、画像を生成する意味が小さくなる。そこで、周囲の用語間での距離が近いものについては、代表的な一つのみを選択することとしてもよい。図４（ｂ）に示すように、周囲の用語の意味ベクトルＲ２５～Ｒ２７が散らばっており、一部の成分の値が正負に散らばっている場合には、両成分が含まれないような画像とされてもよいし、両成分が並立するような画像とされてもよい。

例えば、図４（ａ）の場合には、周辺画像として、図５（ａ）に示す海水中のスキューバダイビングと図５（ｂ）に示す眺めのよい吊り橋（空中通路）とを画像生成（取得）してもよく、さらにこれに加えて、図５（ｃ）に示すように、意味ベクトルＭ２１の位置を示す画像として、空色又は水色の空間をバックに、移動する物体又は生物のような中間的な画像が生成されてよい。ユーザーは、このような画像に基づいてイメージを適宜膨らませてアイデアの創出を行ってよい。

図６は、画像出力パターンの例について説明する図である。
出力される画像は、図５（ｃ）の出力意味ベクトルに対応する画像だけでなくてもよい。周辺用語が各々出力意味ベクトルと対応付けられて併せて出力されてもよい。

図６（ａ）に示すように、出力意味ベクトルが示す座標Ｍ３から所定の距離を示す破線Ａ３内に他の意味を示す用語がなく、周辺に６個の用語Ｒ３１～Ｒ３６がある場合に、画像Ｐ３０が生成される。この場合、図６（ｂ）に示すように、生成された画像Ｐ３０を中心に配置し、残りの４個の用語に対応する（内容を示す）画像Ｐ３１、Ｐ３３、Ｐ３５、Ｐ３６を上記距離に応じた距離だけ中心から離隔させた位置（距離に対応付けて）に表示させた相関図を出力画像として出力してもよい。また、画像Ｐ３１、Ｐ３３、Ｐ３５、Ｐ３６の中心の画像Ｐ３０に対する位置関係は、用語Ｒ３１、Ｒ３３、Ｒ３５、Ｒ３６の意味ベクトル間の距離に応じた角度差で離隔させるように配置してよい。ここでは、角度差は、例えば、コサイン類似度に応じた角度で示されてよい。なお、２次元投影の図面では、多次元空間における全ての角度差の関係を正確に示すことはできないので、角度間隔は模式的であってよく、例えば、意味ベクトルのうち所定の一部の成分における距離差を主に反映させてもよい。あるいは、そもそも複数の周辺用語から共通に最短距離となる他の周辺用語が生じないように複数の周辺用語が特定されてもよい。画像Ｐ３１、Ｐ３３、Ｐ３５、Ｐ３６は、画像Ｐ３０と同様に新たに生成されてもよいし、予め用語と対応付けて保持されている場合には、保持されている画像がそのまま用いられてもよい。

このように、合成される前の元の画像に当たるものを併せて適切な距離関係で表示させることで、生成画像だけではコンセプトなどがつかみにくいような場合でも、ユーザーをより適切に新たなイメージの入口へ案内することができる。

図７は、本実施形態のサーバー装置１０で実行される発想支援制御処理の制御部１１による制御手順を示すフローチャートである。この発想支援制御処理は、例えば、入力データの指定とともに、端末装置３０からの実行要求を取得することで開始される。

発想支援制御処理が開始されると、制御部１１（ＣＰＵ）は、入力データ（ここでは２つ）を取得する（ステップＳ１０１）。制御部１１は、各入力データに対してテキスト処理を行い、自立語を抽出する。制御部１１は、抽出された用語のうち、用語データ２１１を参照して登録されていない用語を除外したり、必要に応じて基本形に戻したり、接頭語や接尾語を外したりして、オブジェクトとされるワードの設定を行う（ステップＳ１０２）。

制御部１１は、用語データ２１１を参照して、各オブジェクトの意味ベクトルを取得する（ステップＳ１０３；取得手段としての動作、取得ステップ）。制御部１１は、各入力データのオブジェクトの組合せを設定する（ステップＳ１０４）。組み合わせは、総当たりであってもよい。制御部１１は、設定された各組み合わせについて、それぞれ意味ベクトルにより所定の演算を行って、出力意味ベクトルを算出する（ステップＳ１０５；演算手段としての動作、演算ステップ）。演算は、単純加算である必要はなく、各種四則演算やベクトル演算（例えば外積など）であってもよい。また、内積や三角関数などが演算対象の意味ベクトルの係数などに利用されてもよい。また、制御部１１は、一つの組合せに対して複数種類の演算結果を取得してもよい。

制御部１１は、得られた各出力意味ベクトルに対し、それぞれ所定の距離内に意味ベクトルを有する用語があるか否かを判別する（ステップＳ１０６）。あると判別された場合には（ステップＳ１０６で“ＹＥＳ”）、最も近い用語を対応用語として定め、そのまま出力する（ステップＳ１２１）。上述のように、制御部１１は、単純に定められた対応用語をテキストで出力してもよい。そして、制御部１１は、発想支援制御処理を終了する。

所定の距離内に意味ベクトルを有する用語がないと判別された場合には（ステップＳ１０６で“ＮＯ”）、制御部１１は、周辺の用語を所定数抽出する（ステップＳ１０７）。上述のように、抽出は、距離が小さい順でよいが、周辺の用語間で距離が基準よりも近い用語がある場合には、２番目以降に出現した用語を一部又は全部省略してもよい。また、所定の距離範囲内に用語が所定数ない場合には、当該所定数に満たない用語数が抽出されてもよい。

制御部１１は、各用語に係る画像を生成又は取得する（ステップＳ１０８）。制御部１１は、出力意味ベクトルの内容を示す画像を生成する（ステップＳ１０９；ステップＳ１０６を含め生成手段としての動作、生成ステップ）。画像の生成には、上述のように、ＧＡＮなどが用いられてよい。

制御部１１は、出力意味ベクトルと周辺用語の各意味ベクトルとの距離及び方向の差などに基づいて、表示上の位置関係を決定する（ステップＳ１１０）。制御部１１は、生成画像と周辺用語に対応する画像とを上記位置関係で表示させた出力画像を生成して端末装置３０へ出力する（ステップＳ１１１；出力手段としての動作）。そして、制御部１１は、発想支援制御処理を終了する。

［変形例］
図８は、画像出力パターンの変形例を説明する図である。
上記では、出力画像には、出力意味ベクトルに対応する生成画像（出力オブジェクト）と、周辺用語に対応する画像（周辺オブジェクト）とを表示させたが、生成画像とその他の周辺用語に係る画像との間でのギャップが大きい場合がしばしばある。そこで、上記重み付けを変えて、出力意味ベクトル（出力オブジェクト）と周辺用語の意味ベクトル（周辺オブジェクト）との間に位置する中間画像Ｐ４５のデータ（中間オブジェクト）を生成して、併せて表示出力してもよい。この場合には、中間画像Ｐ４５は、周辺用語の内容により近い具体的な画像に近いものになり、画像の変化度合をユーザーが判断しやすくなる。

また、この変形例の出力画像では、各画像に対応するテキストデータが設定されているか否かを識別可能に付加表示がなされている。例えば、周辺用語に応じた画像Ｐ４１～Ｐ４４には、当該周辺用語を括弧書きで記載（テキスト表示）しており、用語に直接対応する画像であることが示される。一方で、生成画像Ｐ４０や中間画像Ｐ４５については、直接対応する用語がないことが識別可能な特定の表示を行う。ここでは、これらの画像の枠に対して影を付した立体表示とすることで、生成された画像であることが示されている。その他、枠を変形させる場合には、枠の線種（実線、破線、点線など）、線の太さ、線の色、線の形状（直線、波線、折線、各種装飾線など）などを、テキストデータが設定されているものと相違させてもよい。あるいは、枠線の代わりに付加標識の有無、例えば、点や下線などが生成画像や中間画像の脇、上又は下などに付されてもよいし、上記テキスト表示を含む括弧書きの代わりに括弧のみが示されたり、括弧内にテキストデータがない旨示されたりしてもよい。その他、各種特徴的な標識が付されてもよい。

以上のように、本実施形態の発想支援装置であるサーバー装置１０は、制御部１１を備える。制御部１１は、取得手段として、オブジェクトの意味に応じた方向を示す意味ベクトルを複数の入力オブジェクトについてそれぞれ取得し、演算手段として、取得した複数の意味ベクトル同士で所定の演算を行い、生成手段として、演算により得られた出力意味ベクトルから所定の距離条件を満たす範囲内の意味ベクトルで表される参照オブジェクトが取得されない場合に、出力意味ベクトルに応じた非テキストの出力オブジェクトを生成する。
このように、サーバー装置１０は、演算により得られた出力意味ベクトルがほぼ正確になんらかの用語を示さない場合には、当該出力意味ベクトルが示す内容や、これに十分近い内容に当たる非テキストの出力オブジェクトを生成する。このように、言語表現に縛らないことで、より表現の幅を広げ、ユーザーにより演算結果にフィットする出力を提示して、イメージ喚起を促すことができる。よって、サーバー装置１０は、ユーザーなど出力結果の取得者に対し、より多様な発想を支援することができる。

また、参照オブジェクトは、文字で示されたものである。用語と意味ベクトルとを容易に対応付けて保持することで、サーバー装置１０では、用語データ２１１に記憶された用語を容易かつ適切に参照することができる。

また、制御部１１は、取得手段として、複数の入力データから各々入力オブジェクトを取得する。複数の独立した又はコンセプトなどに応じて定めた入力データの内容を組み合わせて演算処理を行うことで、サーバー装置１０ではより柔軟に出力オブジェクトの幅を広げて、ユーザーの広範な発想支援を行うことができる。

また、入力オブジェクトは、文を含む入力データ内の自立語である。すなわち、サーバー装置１０は、入力テキストから自立語を抜き出して入力オブジェクトを定める自然言語処理を行う。すなわち、ユーザーの少ない手間で入力可能な入力データに対し、負荷の小さい処理で容易に適切な入力オブジェクトを定めることができるので、特別に能力の高くない業務用のＰＣなどでも容易に処理が可能である。

また、出力オブジェクトは、画像データ又は音声データである。入力と反対に、出力では、言語によらずに情報の多い画像や音で表現した出力を行うことで、出力結果を得たユーザーに広く想像力を働かせて柔軟な発想を喚起することができる。

また、制御部１１は、出力手段として、出力意味ベクトルからの距離が所定の条件を満たす意味ベクトルによりそれぞれ内容が示される複数の周辺オブジェクトを特定し、周辺オブジェクトを、当該周辺オブジェクトの意味ベクトルと出力意味ベクトルとの間の距離に対応付けて、出力オブジェクトと併せて出力する。
出力意味ベクトルに応じて生成された非テキストデータは、抽象的な画像になりやすく、いきなり単独でユーザーが内容を把握するのにはしばしば複雑になるので、周辺オブジェクトとの関係性を視認できる表示を出力することで、ユーザーのアイデア想起を適切にサポートすることができる。

また、出力オブジェクトは画像データであり、制御部１１は、出力手段として、周辺オブジェクトをそれぞれ距離に応じた間隔ずつ出力オブジェクトに係る生成画像から離隔させて当該生成画像の周囲に配置した相関図を出力する。
出力オブジェクトが画像データの場合には、上記の周辺オブジェクトとの関係性を相関図として可視化することで、サーバー装置１０は、よりユーザーが種々のアイデアをイメージしやすくすることができる。

また、制御部１１は、出力手段として、複数の周辺オブジェクトの間での意味ベクトルの距離に応じた角度差で、周辺オブジェクトを出力オブジェクトに係る生成画像の周囲に配置した相関図を出力する。このように、生成画像に対する周辺オブジェクトの方向の相違も可視化することで、ユーザーが切り口や方向性などを考慮しながらイメージを膨らませやすくすることができる。

また、制御部１１は、出力手段として、周辺オブジェクトに係る周辺画像を相関図に表示させて出力する。上述のように生成画像が複雑で難解な場合などに、生成画像にある程度近いと想定される周辺オブジェクトの画像を併せて表示させることで、生成画像を見るうえでの取り付きなどをユーザーがつかみやすくなり、アイデアを広げるための糸口を得やすくすることができる。

また、制御部１１は、出力手段として、意味ベクトルが周辺オブジェクトと出力オブジェクトの間に位置する中間オブジェクトを生成し、当該中間オブジェクトに係る中間画像を相関図に表示させて出力する。上記のような周辺画像だけでもイメージの取り付きが難しい場合もあるので、周辺画像と生成画像との中間を示す中間画像を更に表示させることで、画像から自由に発想を広げるのが苦手なユーザーに対してもより取り付きやすい発想支援を行うことができる。

また、制御部１１は、出力手段として、意味ベクトルを表現する次元数のうち所定数以上の一部の次元で出力意味ベクトルと大きさの差が基準範囲内の周辺オブジェクトを選択的に相関図に表示させる。類似する周辺オブジェクトがあまり大量にあっても表示が煩雑になる場合があるので、特に、出力意味ベクトルと特徴的な部分、すなわち、絶対値の大きい成分がある程度類似している周辺オブジェクトを相関図に表示させることで、生成画像と周辺画像の特徴の共通性をつかみやすくすることができ、これに応じてユーザーにイメージの取り付きをより適切に提供することができる。

また、制御部１１は、出力手段として、相関図に含む画像のうち、対応するテキストデータが設定されているものと設定されていないものとを識別可能な付加表示を行う。すなわち、Ｗоｒｄ２ｖｅｃで利用されて意味ベクトルが定義された用語外の意味ベクトルに応じて生成された画像に対しては、その旨が分かるように相関図を生成することで、言語表現のない新しい概念を示す図である旨強調することができる。また、言語に縛られずに発想を広げる部分とその基礎となる部分とを容易に識別可能とし、ユーザーが発想を広げる方向を定める一助とすることができる。

また、付加表示には、画像に対する設定の有無に応じた枠線の相違が含まれる。よって、ユーザーが違いを画像の視認時に容易に識別しやすい。

また、上記の相違には、線種、線の太さ、線の色、線の形状、影、立体表示のうちいずれかの相違が含まれる。このようなシンプルな枠線の相違で判別が容易に行われるので、相関図の生成の手間もかからず、効率よくユーザーに有用な情報を提供することができる。

また、付加表示には、設定されているテキストデータに係るテキスト表示が含まれる。すなわち、周辺画像に対応する用語が設定されているものについては、当該周辺画像に用語のテキスト表示を併置することができる。これにより、周辺画像の示す特徴をユーザーが即座に把握することができる。また、ユーザーが文字と画像とを併用しながら発想を広げやすくすることができる。

また、付加表示には、画像に対するテキストデータの有無に応じた付加標識の有無又は相違が含まれる。上記のように画像の枠で示す代わりに又は加えて、画像に対して付加標識を付すことでテキストデータがあるか否かを判別可能としてもよい。画像に接する枠よりも画像から離れた位置に付加表示がなされることで、ユーザーが画像自体とは切り離して見やすいので、発想を広げる際にバイアスを生じにくい。発想を広げ、膨らませるうえで、バイアスの発生は必ずしも悪いものではないが、切り離したいユーザーにとっても適切に生成画像を提示することができる。

また、付加標識には、括弧又は点が含まれる。このような容易な付加標識を付すことで低負荷、場所を取らずかつ明確に生成された画像（中間画像を含む）であることを示すことができる。

また、所定の演算には、四則演算、内積及び外積のうち少なくともいずれかが含まれる。すなわち、適宜なベクトル演算がなされればよく、発想を広げるためには特に限定されるものではない。

また、上記各構成を分散して有する発想支援システムにより、演算後の意味ベクトルに対応する画像が生成されてもよい。意味ベクトルの演算と画像生成は、必ずしも大きなコンピューターリソースを必要とするわけではないが、処理ごとに別個のコンピューターに分割されてもよい。あるいは、サーバー装置が多数の命令を複数の端末装置３０から取得する場合には、複数の処理装置に処理を分担させて負荷を低減、均等化させてもよい。

また、プログラム１２１をコンピューターにインストール、実行して上記各処理をソフトウェア処理により実行させることで、専用のハードウェアなどを必要とせず通常のコンピューターにおける汎用的な処理で容易にユーザーの発想支援を行うことができる。

なお、本発明は、上記実施の形態に限られるものではなく、様々な変更が可能である。
例えば、上記実施の形態では、サーバー装置１０が単独で発想支援装置として上記各処理を行ったが、複数の電子機器が分散処理を行って発想支援システムとして上記各処理を行ってもよい。

また、演算処理は、通常では２個のオブジェクトの意味ベクトル間で行われるが、３個以上のオブジェクトの意味ベクトルにより演算処理が行われてもよい。

また、出力意味ベクトルに対応する用語の選択や周辺用語の抽出に係る基準範囲や距離などは、固定条件でなくてもよい。該当する周辺用語の過不足などに応じて適宜調整されてもよい。また、意味ベクトルの次元数などに応じてサーバー装置１０（発想支援システム１）ごとに予め異なる基準が設定されてもよい。

また、上記実施の形態では、予め具体的な演算処理が定められているものとして背ｔ名したが、定められている演算処理は一通りではなく、複数種類の演算処理により複数の出力が得られてもよい。あるいは、ランダム又は所定の条件などに応じて演算処理の種類が選択されてもよい。

また、上記実施の形態では、距離の近い複数の周辺用語のうち一部を省略してよいものとして説明したが、単純に近い順などで結果的に周辺用語が偏ってもよいものとしてもよい。

また、上記実施の形態では、外部機器であるデータベース装置２０にアクセスして用語（オブジェクト）に対応する意味ベクトル及び意味ベクトルに対応する用語（オブジェクト）などの取得を行ったが、用語データ２１１がサーバー装置１０の記憶部１２に記憶されていてもよい。

また、出力意味ベクトルと周辺オブジェクトに係る意味ベクトルの間のどの位置を、中間画像に対応する意味ベクトルが示すかは任意に定められてよい。例えば、ユーザーが出力結果を見てからどちらかへ寄るように移動させて相関図を再生成させる命令を出力し、当該命令に従ってサーバー装置１０が中間画像を変更した相関図を再生成、出力してもよい。

また、上記実施の形態では、入力データが文であるものとして説明したが、完全に文にならないメモや見出しのようなものであってもよいし、反対に複数の文が含まれる文章などであってもよい。また、非テキストデータが入力されて画像や音声認識の技術によりテキスト化されてもよい。あるいは、初めから自立語のキーワードのみが複数入力されてそのまま利用されてもよい。

また、上記実施の形態では、複数の入力データに各々含まれる入力オブジェクトを組み合わせて意味ベクトルの演算を行うこととしたが、これに限られない。単一の入力データから複数の入力オブジェクトが取得されてもよい。この場合、特定のコンセプトにこだわる必要がない場合や入力データの趣旨から出力を外したい場合などには、演算として外積など、入力オブジェクトの意味ベクトルとは全く異なる方向の出力意味ベクトルが得られるようなものが選択設定されてもよい。

また、上記実施の形態では、画像を出力する場合について主に説明したが、音声出力を行う場合でも、上記相関図の各位置に音声を出力するリンクなどを配置し、当該リンクの選択操作により音声を出力可能な画像データを出力してもよい。

また、上記実施の形態では、相関図において周辺画像を適宜な位置関係で表示させることとしたが、上記位置関係は、距離の差を伴っていなくてもよい。あるいは、方向の差異を示さず、周辺画像の一覧が距離を示す数値とともに又は距離も示さずに配列表示されるだけであってもよい。また、周辺画像を示さずに、周辺オブジェクトの名称をテキスト表示するだけであってもよい。

また、上記実施形態では、枠線の違いや付加標識などにより生成画像を識別可能としてよいこととしたが、その他の方法、例えば、画像内に標識や斜線、ハッチなどが示されてもよいし、あるいは、画像の形状自体を異ならせてもよい。また、生成画像のサイズをたの画像のサイズと異ならせてもよい。

また、以上の説明では、本発明に係る制御部１１の処理動作に係るプログラム１２１のコンピューター読み取り可能な媒体としてＨＤＤを含む不揮発性メモリーからなる記憶部１２を例に挙げて説明したが、これに限定されない。その他のコンピューター読み取り可能な媒体として、ＣＤ－ＲＯＭやＤＶＤディスクなどの可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウェーブ（搬送波）も本発明に適用される。
その他、上記実施の形態で示した具体的な構成、処理動作の内容及び手順などは、本発明の趣旨を逸脱しない範囲において適宜変更可能である。本発明の範囲は、特許請求の範囲に記載した発明の範囲とその均等の範囲を含む。

１ 発想支援システム
１０ サーバー装置
１１ 制御部
１２ 記憶部
１２１ プログラム
１２１１ 学習済モデル
１２１２ 画像生成処理部
１３ 通信部
２０ データベース装置
２１ 記憶部
２１１ 用語データ
３０ 端末装置
３１ 制御部
３２ 記憶部
３３ 表示部
３４ 操作受付部
３５ 通信部

Claims (20)

1. オブジェクトの意味に応じた方向を示す意味ベクトルを複数の入力オブジェクトについてそれぞれ取得する取得手段と、
   取得した複数の前記意味ベクトル同士で所定の演算を行う演算手段と、
   前記演算により得られた出力意味ベクトルから所定の距離条件を満たす範囲内の意味ベクトルで表される参照オブジェクトが取得されない場合に、前記出力意味ベクトルに応じた非テキストの出力オブジェクトを生成する生成手段と、
   を備えることを特徴とする発想支援装置。
2. 前記参照オブジェクトは、文字で示されたものであることを特徴とする請求項１記載の発想支援装置。
3. 前記取得手段は、複数の入力データから各々前記入力オブジェクトを取得することを特徴とする請求項１又は２記載の発想支援装置。
4. 前記入力オブジェクトは、文を含む入力データ内の自立語であることを特徴とする請求項１～３のいずれか一項に記載の発想支援装置。
5. 前記出力オブジェクトは、画像データ又は音声データであることを特徴とする請求項１～４のいずれか一項に記載の発想支援装置。
6. 前記出力意味ベクトルからの距離が所定の条件を満たす意味ベクトルによりそれぞれ内容が示される複数の周辺オブジェクトを特定し、前記周辺オブジェクトを、当該周辺オブジェクトの意味ベクトルと前記出力意味ベクトルとの間の距離に対応付けて、前記出力オブジェクトと併せて出力する出力手段を備えることを特徴とする請求項１～５のいずれか一項に記載の発想支援装置。
7. 前記出力オブジェクトは画像データであり、
   前記出力手段は、前記周辺オブジェクトをそれぞれ前記距離に応じた間隔ずつ前記出力オブジェクトに係る生成画像から離隔させて当該生成画像の周囲に配置した相関図を出力することを特徴とする請求項６記載の発想支援装置。
8. 前記出力オブジェクトは画像データであり、
   前記出力手段は、前記複数の周辺オブジェクトの間での前記意味ベクトルの距離に応じた角度差で、前記周辺オブジェクトを前記出力オブジェクトに係る生成画像の周囲に配置した相関図を出力することを特徴とする請求項６又は７記載の発想支援装置。
9. 前記出力手段は、前記周辺オブジェクトに係る周辺画像を前記相関図に表示させて出力することを特徴とする請求項７又は８記載の発想支援装置。
10. 前記出力手段は、意味ベクトルが前記周辺オブジェクトと前記出力オブジェクトの間に位置する中間オブジェクトを生成し、当該中間オブジェクトに係る中間画像を前記相関図に表示させて出力することを特徴とする請求項７～９のいずれか一項に記載の発想支援装置。
11. 前記出力手段は、前記意味ベクトルを表現する次元数のうち所定数以上の一部の次元で前記出力意味ベクトルと大きさの差が基準範囲内の前記周辺オブジェクトを選択的に前記相関図に表示させることを特徴とする請求項７～１０のいずれか一項に記載の発想支援装置。
12. 前記出力手段は、前記相関図に含む画像のうち、対応するテキストデータが設定されているものと設定されていないものとを識別可能な付加表示を行うことを特徴とする請求項７～１１のいずれか一項に記載の発想支援装置。
13. 前記付加表示には、前記画像に対する前記設定の有無に応じた枠線の相違が含まれることを特徴とする請求項１２記載の発想支援装置。
14. 前記相違には、線種、線の太さ、線の色、線の形状、影、立体表示のうちいずれかの相違が含まれることを特徴とする請求項１３記載の発想支援装置。
15. 前記付加表示には、設定されている前記テキストデータに係るテキスト表示が含まれることを特徴とする請求項１２～１４のいずれか一項に記載の発想支援装置。
16. 前記付加表示には、前記画像に対する前記テキストデータの有無に応じた付加標識の有無又は相違が含まれることを特徴とする請求項１２記載の発想支援装置。
17. 前記付加標識には、括弧又は点が含まれることを特徴とする請求項１６記載の発想支援装置。
18. 前記所定の演算には、四則演算、内積及び外積のうち少なくともいずれかが含まれることを特徴とする請求項１～１６のいずれか一項に記載の発想支援装置。
19. オブジェクトの意味に応じた方向を示す意味ベクトルを複数の入力オブジェクトについてそれぞれ取得する取得手段と、
    取得した複数の前記意味ベクトル同士で所定の演算を行う演算手段と、
    前記演算により得られた出力意味ベクトルから所定の距離条件を満たす範囲内の意味ベクトルで表される参照オブジェクトが取得されない場合に、前記出力意味ベクトルに応じた非テキストの出力オブジェクトを生成する生成手段と、
    を備えることを特徴とする発想支援システム。
20. コンピューターに、
    オブジェクトの意味に応じた方向を示す意味ベクトルを複数の入力オブジェクトについてそれぞれ取得する取得ステップと、
    取得した複数の前記意味ベクトル同士で所定の演算を行う演算ステップと、
    前記演算により得られた出力意味ベクトルから所定の距離条件を満たす範囲内の意味ベクトルで表される参照オブジェクトが取得されない場合に、前記出力意味ベクトルに応じた非テキストの出力オブジェクトを生成する生成ステップと、
    を実行させることを特徴とするプログラム。

Images