JP7679993B2 - 空間に文字を書くように器具を動かすことで、動きの軌跡を取得し、文字認識の後文字入力する方法 - Google Patents

Description

本願発明の文字入力方式は、器具の動きの軌跡により器具に文字入力する方法である。これにより、電子機器の文字入力に慣れていない方であっても、紙に字を書くように簡単に文字を入力できる方法を提供する。

今日、電子機器は小型化し、腕時計型となったり携帯電話となったりして持ち運びに非常に便利になっている。しかし、小型で持ちやすい電子機器ほどキーボードがなかったりディスプレイが小さかったりするので、ディスプレイを押すタイプの文字入力においても入力し難いことになっている。最近は機械学習や人工知能技術の発展により、このような器具に向かって言葉を発するだけで文字入力できるという音声認識の認識率も上がり、これを利用する人も多くなってきた。

特開2014-232347

電子機器に文字入力をする際、ディスプレイに表示されたキーボードを指で押すなどの慣れや訓練なく、もっと簡単に文字入力したいという課題がある。音声認識による文字入力は簡単な方法ではあるが、セキュリティや個人情報保護に関する意識が高い時代なので、周りに容易に情報が漏れない方法で文字入力をしたいという課題がある。特許文献１は、ディスプレイに文字を手書きで書いて文字入力するものであるが、もっと手軽で手間のかかる訓練なく、周りに情報が漏れ難い文字入力方法が求められている。

本願発明の文字入力方式は、器具の動きの軌跡により器具に文字入力する方法のため、電子機器の文字入力に慣れていない方であっても、紙に字を書くように簡単に文字を入力できる方法であり、かつ周りの人から見られたとしても、ただ器具を振っているだけのように見え、どのような文字を入力したのか判別し難いものとなり、課題は解決される。

本願発明の処理の流れ

本願発明にて器具とは、様々なセンサーやマイク、カメラ、スピーカーを内蔵したもの、またはそれらを内蔵した小型のコンピューター、またはそれらと有線、無線で通信する事ができる通信手段を持つコンピューターである。代表的なものはスマートフォンや、スマートウォッチである。複数の器具で連携して文字認識や入力を行う場合、無線通信や有線通信による通信手段で連携する事ができる器具でなければならない。

スマートフォン等の器具で文字入力する際、ディスプレイ内のキーボードを打つか、ディスプレイ内に文字を書いて文字認識して入力する、あるいは音声入力を文字認識させて入力する方法が主流となっている。慣れればキーボードで入力するのが一番楽ではあるが、やはりある程度入力に慣れていなければ、難しい。文字を書く方法ではスマートフォンを机に置いて書くか、片手でしっかり持って書くことになるが、ディスプレイの中の限られた範囲に書かなければならず、紙に書くように大きく書けないので煩わしく感じる。音声入力は他人がいない室内でやるのならば良いが、電車等の公共の場所では他人に聞かれてしまうため実施する事が難しい。本願発明のスマートフォン等の器具を文字の形に振って文字入力する方法は、文字さえ書けるならば慣れがいらず、片手で実施でき、他人に見られたとしても、何を書いているか分かり難い入力方法である。また、病気や怪我等で身体を起こすことができない、言葉を発することができない方でも、片手が動かせるならば文字入力をすることができる。

入力するための文字は日本語、ひらがな、カタカナに限らず、英語でもドイツ語、アラビア文字でもどのような言語でも良い。紙に記述できる文字の形ならばどのようなものでも良い。日本語の草書体や速記で使う文字、英語の筆記体は一筆書きに近い形で書く事ができて早く書けると言う利点があり、本願発明の入力方法でもその利点が発揮できる。

文字そのものでなく、より単純なモールス信号でも文字入力できる。モールス信号はトン、ツーと言う短い信号と長い信号があるが、器具を小さく振ったら短い信号、大きく振ったら長い信号と見立てて文字入力が行える。

器具を振る回数と、タイミングによって文字入力をする事ができる。ポケベル入力のような方式、例えば子音と母音に分けて、最初の数は「あかさたなはまやらわん」の列を表し、次の数は「あいうえお」の行を表し、最初に３回振って次に５回振れば「さ」行の「お」の母音なので「そ」となり、最初に５回振って次に２回振れば「な」行の「い」の母音なので「に」となるといったようなルールで、振る回数の順序と組み合わせで文字を表し、このルールに沿って振る事で、文字を認識できるため、文字入力することができる。

図１のように、まず文字入力をする器具の文字入力処理を開始（１００）し、センサによる軌跡の取得を始める。次にセンサによる器具自体の軌跡の取得（２００）をする。そして軌跡のデータ化（３００）をして、そのデータをもとに文字認識（４００）を行う。認識された文字が正しいかどうか使用者が確認（５００）し、間違っているならば、文字の修正（６００）をしてから、その器具に認識した文字をデータとして入力（７００）する。正しいならば、そのままデータ入力（７００）する。

文字入力を行うには、文字入力処理の開始（１００）を行い、器具の軌跡を取得できる状態にする。ワードプロセッサ等のソフトウェアによる書類入力を開始したり、WEBの検索窓をクリックして文字の入力モードにする等の方法がある。

続いて、器具の動きである軌跡の取得（２００）であるが、本願発明の方法では、入力したい文字の形にスマートフォン等の器具を振るため、その動きを捉えるものである。各種センサー類や、マイク、スピーカー、カメラ等が考えられるが、器具自体の位置や動きの方向、大きさの把握ができるものであればどのようなものでも、２つ以上組み合わせても、どのような組み合わせでも良い。その文字入力する器具自体を振るのではなく、振っている器具やものを他の器具で軌跡を把握する場合は、振っている器具やものの位置や動きの方向、大きさの把握ができれば、どのようなセンサーや装置を使用しても良い。２つ以上組み合わせても、どのような組み合わせでも良い。

器具のセンサー類や装置には様々なものがある。ＧＰＳ、磁気センサー、ジャイロセンサー、加速度センサー、環境光センサー、近接センサー、U1チップ、Soli、LiDAR、WiFiや携帯電話の信号等、カメラ、照度センサー、気圧センサー
等がある。特に最近のスマートフォンには様々なセンサーが搭載されている。

器具には空間上の地点の情報を検出するセンサーやその時の加速度、傾きを検出するセンサー等が搭載されている。これらのセンサーや器具に搭載された１つまたは複数の組み合わせで器具自体の単位時間ごとの位置や単位時間ごとの器具の傾き、加速度、方向等のデータを集めてその器具自体の動きの軌跡を取得することができればどのようなセンサーや装置でも良い。Ｘ軸、Ｙ軸、Ｚ軸での３軸による３次元のデータとして記録する。１つ、あるいは複数のセンサーや装置等のデータを取得することで、その器具自体の動きの軌跡のデータとすることができれば、どのようなセンサーや装置でも良く、１つのセンサーや装置ではなく組み合わせでも良い。

例えば正確に器具自身の位置が分かるセンサーが使用できる場合、単位時間毎、あるいは断続的に３次元空間での位置を取得し、その点の繋がりを器具が動いた軌跡とする。

単位時間毎に器具の加速度の強さや３次元空間での力の方向を記録し、力と向きを持つ３次元のベクトルの矢印とし、加速度をベクトルの線の長さ、３次元空間での方向をベクトルの線の向きで表現し、それらを繋げる事で器具が動いた軌跡とする。

単位時間毎にスピーカーから音を出し、その反響音をマイクで捉えることによる３次元空間での器具自体の位置や移動方向、距離の取得をしてそれらを繋げる事で器具が動いた軌跡とする。

単位時間毎にレーダー波等の音波や電波などの物体に当たると跳ねかえる特性を持つものの反響をセンサーで捉え、３次元空間での器具自体の位置や移動方向、距離の取得をしてそれらを繋げる事で器具が動いた軌跡とする。

単位時間毎に無線等の電波を出し、それを受け取った１つまたは複数の器具、機器等から返信される時間をもとに３次元空間での器具自体の位置や移動方向、距離の取得をしてそれらを繋げる事で器具が動いた軌跡とする。

文字を空間で書くために振る器具自体のカメラで単位時間毎に画像を撮影し、そこに映った特定のいくつかの物体の位置のズレをはかることによりその器具自体の３次元空間での移動方向、距離の取得をしてそれらを繋げる事で器具が動いた軌跡とする。

文字を空間で書くために振る器具自体ではなく、他の器具のカメラで振っている器具やものと周りの画像を撮影し、そこに映った特定のいくつかの物体の位置のズレをはかることにより、文字を空間で書くために振る器具自体の３次元空間での移動方向、距離の取得をしてそれらを繋げる事で器具が動いた軌跡とする。

その他、様々なセンサーが日々開発されているが、器具自体の位置を把握でき
るようなものならば、どのような方法でも良い。

また、器具にて文字を書いているときに、その器具のハードキーを押したり、ディスプレイ画面のタッチをして文字を書いている最中であることを器具に知らせるようにすると、字と字の間の繋ぎの動きなどの余計な情報を捨て取り込むことがなくなるので、認識精度を上げることができる。

なお、軌跡のデータは基本的に３軸からなる３次元のデータになるが、テーブルなどの平面上でのみ器具を動かす事を本文字入力の前提とすることもできる。そのようにすれば、最初から２次元のデータとして取得することができる。

軌跡のデータ化（３００）は文字認識（４００）をかけるデータを軌跡から作成する処理である。文字認識（４００）が２次元のデータでしか認識できないか、３次元のデータでも行うことができるかによって、作成するデータが異なる。取得した軌跡は器具を空中で振っているので、基本的には３次元のデータである。しかしながら、場合により２次元のデータに変換する。

センサーから取得した軌跡は３軸からなる３次元のデータである。文字認識（４００）が３次元のデータで認識することが可能ならば、３次元のデータをそのまま文字認識（４００）に渡す。３次元のデータを文字認識できない、または、２次元と３次元の文字認識ならば、２次元の方が精度が高い場合、３次元のデータを２次元に変換する必要がある。

２次元に変換する場合、センサー等を使用して取得した軌跡のデータを３次元で一旦持っておき、後ほどまとめて変換するか、あるいはそれを２次元上に逐次変換して配置し軌跡として記録する方法がある。

人が３次元空間上に文字を書く場合、３次元空間上とはいえ、平面上に書いているつもりで書く。したがって、器具自体の動きは３次元空間の中で行われるが、文字はもともと２次元であるため、逐次器具の軌跡である線の角度や歪みを修正し、２次元にすることは可能である。線１本１本の歪みや曲がりを逐次データ修正することにより、２次元データとする事ができる。

平面上でなく、空間上で器具を振って文字を書くので、前回引いた線から今引いている線の角度は少しずつずれていくものである。その角度を逐次修正し、元の角度に置き直していけば２次元データとなる。逐次角度のずれを修正していくのである。

３次元のデータを逐次２次元に修正するように逐次変換をかけても良いが、３次元の軌跡を１文字毎や、それ以上のまとまった単位で３次元から２次元データに変換しても良い。まとまった単位で変換する場合は、やはりまとめて３次元での線の角度や歪みを修正して２次元に落としていく。

また、器具をテーブルの上など平面上に置いたまま、滑らせて動かすという制約を加えれば、このような角度ずれを修正することもなく、そのまま２次元データとして使用することもできる。

文字認識（４００）は、従来からＯＣＲ等に使われていた技術があり、さらに近年の機械学習や人工知能の活用によって認識精度が上がっている。２次元データを使用する場合は、従来の文字認識と全く変わりがないため、紙に書いたデータと同じようにインプットとして使用して文字認識する。ただ、空間上に器具を振って書く場合は、文字によって大きく書いた文字と小さく書いた文字のばらつきが起こりやすい。そのためデータのサイズを逐次調整し、文字の大きさを合わせることにより、誤認識を少なくする事ができる。

近年の機械学習や人工知能技術の発展により、３次元データを入力として使用しても、出力として文字を出すことができるようになった。空間で文字を書くように振った軌跡の３次元データを入力として機械学習や人工知能の技術を用いて学習させたプログラムを使用して変換を行う。つまり文字変換させるためには、適切な量の軌跡の３次元データと対応する文字を用意し、教師あり学習等により機械学習を行う事が必要となる。それにより、３次元データから文字に変換するブログラムができる。そのようにして作成したプログラムを使用すれば、３次元データから直接文字に変換することができる。

認識された文字の確認（５００）である。間違っているならば、文字の修正（６００）をしてから、その器具に認識した文字をデータとして入力（７００）しなければならない。ここは、使用者がディスプレイで認識された文字を見て、誤変換を修正するという通常のスマートフォン等の文字入力で使用する機能である。文字入力のために振っている器具自体に文字を入力しており、他の器具と連携していない場合は、文字入力中は器具のディスプレイが見えないので、まとめて入力を行い、そして認識された文字をまとめて確認し、まとめて確認と修正をすることが好ましい。一単語入力するごとに動作を止めていては、かえって入力が煩わしく感じられるからである。

また、このような場合、ディスプレイでなく、イヤフォンやスピーカーで文字認識の結果を音声で確認しながら文字入力することもできる。

片手で器具を振って文字認識させ、入力した文字の確認、文字入力は他の器具、例えばスマートフォンやスマートウォッチのディスブレイを見て行うという方法もできる。その場合、その器具同士が有線や無線等の何らかの通信手段にて、２次元データ、３次元データ、または文字認識した文字等の必要な情報を相互間でやり取りする必要がある。また、このような場合でも他の器具のディスプレイを見ながらでなく、他の器具からのイヤフォンやスピーカーで文字認識の結果を確認しながら文字入力することもできる。

また、２次元や３次元データとなっている取り込んだ軌跡と、文字認識が導き出した文字と、使用者が認識した文字を修正した結果をそれぞれ器具自身にフィードバックして認識精度を上げることもできる。使用者なりの文字の癖を機械学習等により学習させることで、文字認識の精度がより向上する。

モールス信号にて文字変換を行う場合、器具を長く振ると長い音、器具を短く振ると短い音とし、それを解析し、文字への変換を行う。器具の振りを長い振りと短い振りに分けてデータ化し、それを変換する。文字入力処理の開始（１００）をし、軌跡の取得（２００）をする。軌跡の取得方法は先ほどと同じである。その後、軌跡のデータ化（３００）をして、その２次元や３次元データをもとに文字認識（４００）を行うが、ここで行う文字認識は、まず、器具の軌跡データを長い音と短い音に変換し、その組み合わせをモールス信号のルールに則って文字に変換することとなる。認識された文字が正しいかどうか使用者が確認（５００）し、間違っているならば、文字の修正（６００）をしてから、その器具に認識した文字をデータとして入力（７００）する。正しいならば、そのままデータ入力（７００）するという流れとなる。

器具を振る回数と、タイミングによって文字入力をする事ができる。ポケベル入力のような方式、例えば子音と母音に分けて、最初の数は「あかさたなはまやらわん」の列を表し、次の数は「あいうえお」の行を表し、最初に３回振って次に５回振れば「さ」行の「お」の母音なので「そ」となり、最初に５回振って次に２回振れば「な」行の「い」の母音なので「に」となるといったようなルールで、振る回数の順序と組み合わせで文字を表し、このルールに沿って振る事で、文字を認識できるため、文字入力することができる。

ここでの器具の振りは、モールス信号の例に似ているが、長い音と短い音に分ける必要がないので、振りの区切りの認識が重要となる。先ほど３回振って次に５回振ればという表現をしたが、区切りがきちんと認識できていないと、合わせて８回の振りと間違えられてしまう。区切りは通常タイミングにより区切る。特定のリズムで振って少し待ってから次の振りを始める等を使用者が意識して行い、文字認識（４００）のときに、それを正しく認識することが必要である。

その他にも、振る器具のハードキーを押したり、ディスプレイをタップしたりすることで、使用者が区切りを器具に知らせる方法もある。タイミングに頼らないので、より信頼できるデータとなる。

文字入力処理の開始（１００）をし、軌跡の取得（２００）をする。軌跡の取得方法は今までと同じである。その後、軌跡のデータ化（３００）をして、その２次元や３次元データをもとに文字認識（４００）を行うが、ここで行う文字認識は、まず何回連続で振ったかと、区切りの認識をする。それをもとにルールに則って文字に変換する。認識された文字が正しいかどうか使用者が確認（５００）し、間違っているならば、文字の修正（６００）をしてから、その器具に認識した文字をデータとして入力（７００）する。正しいならば、そのままデータ入力（７００）するという流れとなる。

なお、本願発明の空間に文字を書くように器具を動かすことで、動きの軌跡を取得し、文字認識の後文字入力する方法は上記実施例に限定されるものではなく、本願発明の空間に文字を書くように器具を動かすことで、動きの軌跡を取得し、文字認識の後文字入力する方法の趣旨に基づき種々の変形が可能であり、これらを本願発明の空間に文字を書くように器具を動かすことで、動きの軌跡を取得し、文字認識の後文字入力する方法の範囲から排除するものではない。

１００…文字入力開始
２００…センサーによる器具自体の軌跡の取得
３００…軌跡のデータ化
４００…文字認識
５００…認識された文字が正しいか
６００…文字の修正
７００…文字入力

Claims (9)

1. 手で握ったり、身体に身につけた単一の器具を空間上で振るように文字の形に動かすことで、前記単一の器具自身に備わった器具自身の位置または動きの取得が可能なセンサーを使用して、前記単一器具自身の動きの軌跡を取得し、前記単一の器具の動きの軌跡を３次元または２次元のデータ、あるいは３次元のデータから２次元に変換したデータを取得し、これら３次元や２次元のデータをもとに文字認識技術を用いて文字を認識し、前記単一の器具自体に認識した前記文字を入力し、前記文字を前記単一器具自身で利用できることを特徴とする方法。
2. 前記センサーは、ＧＰＳ、磁気センサー、ジャイロセンサー、加速度センサー、環境光センサー、近接センサー、U1チップ、Soli、LiDAR、WiFi或いは携帯電話の信号を受信する受信器、照度センサー、気圧センサー、カメラ、または、スピーカーおよびマイクであり、前記センサーからの情報を断続的、あるいは単位時間毎に取得することで前記単一器具自身の動きの軌跡を取得し、これらセンサーを２つ以上組み合わせても、どのような組み合わせで使用してもよい請求項１記載の方法。
3. 前記センサーは、ジャイロセンサーまたは加速度センサー、あるいはジャイロセンサーと加速度センサー両方を組み合わせて使用し、前記単一器具自身の動きの方向および加速度を取得することで前記単一器具自身の動きの軌跡を取得し、これらセンサーを２つ以上組み合わせても、どのような組み合わせで使用してもよい請求項２記載の方法。
4. 前記センサーは、ＧＰＳ、磁気センサー、環境光センサー、近接センサー、照度センサー、気圧センサーであり、前記単一器具自身の位置および動いた情報を取得することで前記単一器具自身の動きの軌跡を取得し、これらセンサーを２つ以上組み合わせても、どのような組み合わせで使用してもよい請求項２記載の方法。
5. 前記センサーは、スピーカーおよびマイクであって、単位時間毎にスピーカーから音を出し、その反響音をマイクで捉えることによって３次元空間での前記単一器具自身の位置、移動方向、距離を取得することで前記単一器具自身の動きの軌跡を取得し、これらセンサーを２つ以上組み合わせても、どのような組み合わせで使用してもよい請求項２記載の方法。
6. 前記センサーは、Soli、LiDARであって、音波または電波が物体に当たって跳ねかえった反響を捉え、３次元空間での前記単一器具自身の位置、移動方向、距離を取得することで前記単一器具自身の動きの軌跡を取得し、これらセンサーを２つ以上組み合わせても、どのような組み合わせで使用してもよい請求項２記載の方法。
7. 前記センサーは、単位時間毎に単一の器具自身から送信されたWiFi或いは携帯電話の信号の無線の電波を受信する受信器であって、前記電波を送信してから受
   信するまでの時間をもとに３次元空間での前記単一器具自身の位置、移動方向、距離を取得することで前記単一器具自身の動きの軌跡を取得し、これらセンサーを２つ以上組み合わせても、どのような組み合わせで使用してもよい請求項２記載の方法。
8. 前記センサーは、カメラであって、単位時間毎に画像を撮影し、そこに映った特定の物体の位置のズレをはかることにより３次元空間での前記単一器具自身の移動方向、距離を取得することで前記単一器具自身の動きの軌跡を取得し、これらセンサーを２つ以上組み合わせても、どのような組み合わせで使用してもよい請求項２記載の方法。
9. 空間上で器具を小さく振ったら短い信号、大きく振ったら長い信号と見立てることにより、前記軌跡の長さをモールス信号と見立てて認識し、認識した前記モールス信号から得た文字を前記単一器具自身に入力して使用する、請求項１記載の方法。