Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5660966B2 - Bookmark output device, bookmark output program, bookmark output method, and electronic book browsing device - Google Patents
[go: Go Back, main page]

JP5660966B2 - Bookmark output device, bookmark output program, bookmark output method, and electronic book browsing device - Google Patents

Bookmark output device, bookmark output program, bookmark output method, and electronic book browsing device Download PDF

Info

Publication number
JP5660966B2
JP5660966B2 JP2011094656A JP2011094656A JP5660966B2 JP 5660966 B2 JP5660966 B2 JP 5660966B2 JP 2011094656 A JP2011094656 A JP 2011094656A JP 2011094656 A JP2011094656 A JP 2011094656A JP 5660966 B2 JP5660966 B2 JP 5660966B2
Authority
JP
Japan
Prior art keywords
bookmark
electronic book
unit
voice
language information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011094656A
Other languages
Japanese (ja)
Other versions
JP2012226626A (en
Inventor
安田 尚高
尚高 安田
早紀 窪田
早紀 窪田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2011094656A priority Critical patent/JP5660966B2/en
Publication of JP2012226626A publication Critical patent/JP2012226626A/en
Application granted granted Critical
Publication of JP5660966B2 publication Critical patent/JP5660966B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

この発明はしおり出力装置、しおり出力プログラムおよびしおり出力方法ならびに電子書籍閲覧装置に関し、特にたとえば、電子書籍に設定されたしおりを音声で出力する、しおり出力装置、しおり出力プログラムおよびしおり出力方法ならびに電子書籍閲覧装置に関する。   BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a bookmark output device, a bookmark output program, a bookmark output method, and an electronic book browsing device, and more particularly, for example, a bookmark output device, a bookmark output program, a bookmark output method, and an electronic device that output a bookmark set in an electronic book. The present invention relates to a book browsing device.

この種のしおり出力装置の一例が特許文献1に開示されている。この特許文献1の電子書籍閲覧装置では、電子書籍の所定の位置を示すしおり情報が設定される際に、読書情報に基づき、しおり情報の属性情報(しおり属性)が設定される。しおり属性としては、該当する電子書籍のどこまで読んだかを把握するための読書状況把握属性、文章中の不明な単語の意味を調べるための単語属性、目次や人物表など同一書籍中で複数回参照するための恒常参照属性、カタログや参考書などで図や写真などを比較するときに用いる比較属性、その他、後から参照するための目印としての参照属性に分類される。
特開2008−9606号[G06F 17/30]
An example of this kind of bookmark output device is disclosed in Patent Document 1. In the electronic book browsing apparatus of Patent Document 1, when bookmark information indicating a predetermined position of an electronic book is set, attribute information (bookmark attribute) of bookmark information is set based on the reading information. As bookmark attributes, reading status grasping attributes for grasping how far the corresponding electronic book has been read, word attributes for examining the meaning of unknown words in sentences, table of contents and person table, etc. referenced multiple times in the same book This is classified into a permanent reference attribute for reference, a comparison attribute used when comparing figures and photographs in catalogs and reference books, and other reference attributes as marks for reference later.
JP 2008-9606 [G06F 17/30]

しかし、特許文献1の電子書籍閲覧装置では、様々な属性のしおりを登録可能であるため、しおりが多数存在する場合には、各しおりを使用者が目視することにより確認するのは面倒であり、多大な労力を要することになる。   However, in the electronic book browsing apparatus of Patent Document 1, since bookmarks having various attributes can be registered, it is troublesome for the user to visually confirm each bookmark when there are many bookmarks. It will take a lot of effort.

それゆえに、この発明の主たる目的は、新規な、しおり出力装置、しおり出力プログラムおよびしおり出力方法ならびに電子書籍閲覧装置を提供することである。   Therefore, a main object of the present invention is to provide a novel bookmark output device, bookmark output program, bookmark output method, and electronic book browsing device.

また、この発明の他の目的は、所望のしおりを容易に検索することができる、しおり出力装置、しおり出力プログラムおよびしおり出力方法ならびに電子書籍閲覧装置を提供することである。   Another object of the present invention is to provide a bookmark output device, a bookmark output program, a bookmark output method, and an electronic book browsing device that can easily search for a desired bookmark.

本発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、本発明の理解を助けるために後述する実施の形態との対応関係を示したものであって、本発明を何ら限定するものではない。   The present invention employs the following configuration in order to solve the above problems. The reference numerals in parentheses, supplementary explanations, and the like indicate correspondence relationships with embodiments described later to help understanding of the present invention, and do not limit the present invention in any way.

第1の発明は、電子書籍のしおりを音声で出力するしおり出力装置であって、電子書籍に設定されたしおりの文字列情報を記憶する記憶部と、電子書籍の言語情報を抽出する抽出部と、抽出部によって抽出された言語情報に応じた音声変換エンジンを選択するエンジン選択部と、エンジン選択部によって選択された音声変換エンジンを動作させることにより、記憶部に記憶されたしおりの文字列情報を音声で出力する出力部を備える、しおり出力装置である。   1st invention is the bookmark output device which outputs the bookmark of an electronic book by voice, Comprising: The memory | storage part which memorize | stores the character string information of the bookmark set to the electronic book, The extraction part which extracts the linguistic information of an electronic book And an engine selection unit that selects a speech conversion engine according to the language information extracted by the extraction unit, and a bookmark character string stored in the storage unit by operating the speech conversion engine selected by the engine selection unit It is a bookmark output device provided with the output part which outputs information with a voice.

第1の発明では、しおり出力装置(10)は、電子書籍のしおりを音声で出力する。記憶部(24)は、電子書籍に設定されたしおりの文字列情報を記憶する。抽出部(12、S53、S57、S67、S69)は、電子書籍の言語情報を抽出する。エンジン選択部(12、S71)は、抽出部によって抽出された言語情報に応じた音声変換エンジンを選択する。出力部(12、S79)は、エンジン選択部によって選択された音声変換エンジンを動作させることにより、記憶部に記憶されたしおりの文字列情報を音声で出力する。このとき、合成音声データが用いられる。   In the first invention, the bookmark output device (10) outputs a bookmark of an electronic book by voice. A memory | storage part (24) memorize | stores the character string information of the bookmark set to the electronic book. The extraction unit (12, S53, S57, S67, S69) extracts language information of the electronic book. The engine selection unit (12, S71) selects a speech conversion engine corresponding to the language information extracted by the extraction unit. The output unit (12, S79) outputs the character string information of the bookmark stored in the storage unit by voice by operating the voice conversion engine selected by the engine selection unit. At this time, synthesized voice data is used.

第1の発明によれば、しおりの文字列情報を音声で出力するので、目視で所望のしおりを検索するよりも簡単に検索することができる。   According to the first invention, since the character string information of the bookmark is output by voice, it is possible to search more easily than by searching for a desired bookmark visually.

第2の発明は、第1の発明に従属し、電子書籍の言語情報が記憶されているかどうかを判断する言語情報判断部と、言語情報判断部によって電子書籍の言語情報が記憶されていないことが判断されたとき、電子書籍の言語情報を使用者に選択させる言語情報選択部をさらに備え、抽出は、言語情報選択部によって選択された言語情報を抽出する。 The second invention is dependent on the first invention, and the language information determining unit that determines whether or not the language information of the electronic book is stored, and the language information of the electronic book is not stored by the language information determining unit. Is determined, the language information selection unit that allows the user to select the language information of the electronic book is further provided, and the extraction unit extracts the language information selected by the language information selection unit.

第2の発明では、言語情報判断部(12、S51)は、電子書籍の言語情報が記憶されているかどうかを判断する。言語情報選択部(12、S55、S57)は、言語情報判断部によって電子書籍の言語情報が記憶されていないことが判断されたとき、電子書籍の言語情報を使用者に選択させる。抽出は、言語情報選択部によって選択された言語情報を抽出する。 In the second invention, the language information determination unit (12, S51) determines whether the language information of the electronic book is stored. The language information selection unit (12, S55, S57) causes the user to select the language information of the electronic book when the language information determination unit determines that the language information of the electronic book is not stored. The extraction unit extracts the language information selected by the language information selection unit.

第2の発明によれば、電子書籍の言語情報が記憶されていない場合には、使用者に言語情報を選択させるので、使用者によって選択された言語情報に応じた音声変換エンジンを用いて、しおりの文字列情報を音声で出力することができる。   According to the second invention, when the language information of the electronic book is not stored, the user is made to select the language information. Therefore, using the speech conversion engine corresponding to the language information selected by the user, The character string information of the bookmark can be output by voice.

第3の発明は、第2の発明に従属し、言語情報選択部によって電子書籍の言語情報が選択されないとき、電子書籍のフォーマットが所定のフォーマットであるかどうかを判断するフォーマット判断部と、フォーマット判断部によって電子書籍が所定のフォーマットであることが判断されたとき、当該所定のフォーマットを読み取り可能な読み取りエンジンに基づいて電子書籍の言語情報を判定する言語情報判定部をさらに備え、抽出は、言語情報判定部によって判定された言語情報を抽出する。 A third invention is dependent on the second invention, and when the language information of the electronic book is not selected by the language information selection unit, the format determination unit determines whether the format of the electronic book is a predetermined format, and the format When the determination unit determines that the electronic book has a predetermined format, the extraction unit further includes a language information determination unit that determines language information of the electronic book based on a reading engine that can read the predetermined format. The language information determined by the language information determination unit is extracted.

第3の発明では、フォーマット判断部(12、S59)は、言語情報選択部によって電子書籍の言語情報が選択されないとき(S57で“NO”)、電子書籍のフォーマットが所定のフォーマットであるかどうかを判断する。たとえば、電子書籍のフォーマットがテキストであるかどうかが判断される。言語情報判定部(12、S67)は、フォーマット判断部によって電子書籍が所定のフォーマットであることが判断されたとき(S59で“YES”)、当該所定のフォーマットを読み取り可能な読み取りエンジンに基づいて電子書籍の言語情報を判定する。たとえば、複数の言語に対応する読み取りエンジンのうち、当該電子書籍を読み取り可能な読み取りエンジンの言語が電子書籍の言語情報として判定される。   In the third invention, the format determination unit (12, S59) determines whether or not the format of the electronic book is a predetermined format when the language information selection unit does not select the language information of the electronic book (“NO” in S57). Judging. For example, it is determined whether the format of the electronic book is text. When the format determination unit determines that the electronic book has a predetermined format ("YES" in S59), the language information determination unit (12, S67) is based on a reading engine that can read the predetermined format. Determine the language information of the electronic book. For example, among the reading engines corresponding to a plurality of languages, the language of a reading engine that can read the electronic book is determined as language information of the electronic book.

第3の発明によれば、電子書籍の読み取りエンジンに基づいて言語情報を自動で判定することができる。   According to the third invention, language information can be automatically determined based on an electronic book reading engine.

第4の発明は、第3の発明に従属し、フォーマット判断部によって電子書籍が所定のフォーマットでないことが判断されたとき、当該電子書籍を所定のフォーマットに変換する変換部をさらに備える。   A fourth invention is dependent on the third invention, and further includes a conversion unit that converts the electronic book into a predetermined format when the format determination unit determines that the electronic book is not in the predetermined format.

第4の発明では、変換部(12、S63)は、フォーマット判断部によって電子書籍が所定のフォーマットでないことが判断されたとき(S59で“NO”)、当該電子書籍を所定のフォーマットに変換する。たとえば、電子書籍を文字認識することにより、テキストデータに変換する。   In the fourth invention, the conversion unit (12, S63) converts the electronic book into a predetermined format when the format determination unit determines that the electronic book is not in the predetermined format (“NO” in S59). . For example, the electronic book is converted into text data by character recognition.

第4の発明によれば、電子書籍を所定のフォーマットに変換するので、電子書籍が所定のフォーマットでない場合であっても、言語情報を自動で判定することができる。   According to the fourth aspect, since the electronic book is converted into a predetermined format, the language information can be automatically determined even when the electronic book is not in the predetermined format.

第5の発明は、第1ないし第4の発明のいずれかに従属し、音を出力しないモードが設定されているかどうかを判断するモード判断部と、モード判断部によって音を出力しないモードが設定されていると判断されたとき、出力部を動作させるかどうかを判断する動作判断部をさらに備え、動作判断部によって出力部を動作させることが判断されたとき、出力部は、エンジン選択部によって選択された音声変換エンジンを動作させることにより、記憶部に記憶されたしおりの文字列情報を音声で出力する。   A fifth invention is dependent on any one of the first to fourth inventions, and a mode determining unit that determines whether or not a mode that does not output sound is set, and a mode that does not output sound is set by the mode determining unit. An operation determining unit that determines whether or not to operate the output unit when it is determined that the output unit is operated, and when the operation determining unit determines to operate the output unit, the output unit is By operating the selected voice conversion engine, the character string information of the bookmark stored in the storage unit is output by voice.

第5の発明では、モード判断部(12、S101)は、音を出力しないモードが設定されているかどうかを判断する。動作判断部(12、S105)は、モード判断部によって音を出力しないモードが設定されていると判断されたとき(S101で“YES”)、出力部を動作させるかどうかを判断する。たとえば、使用者に出力部を動作させるかどうかを選択させる。動作判断部によって出力部を動作させることが判断されたとき(S105で“YES”)、出力部は、エンジン選択部によって選択された音声変換エンジンを動作させることにより、記憶部に記憶されたしおりの文字列情報を音声で出力する。   In the fifth invention, the mode determination unit (12, S101) determines whether or not a mode in which no sound is output is set. The operation determining unit (12, S105) determines whether or not to operate the output unit when the mode determining unit determines that a mode in which no sound is output is set (“YES” in S101). For example, the user selects whether to operate the output unit. When the operation determining unit determines that the output unit is to be operated (“YES” in S105), the output unit operates the voice conversion engine selected by the engine selecting unit to store the bookmark stored in the storage unit. The character string information of is output by voice.

第5の発明によれば、音を出力しないモードが設定されている場合には、使用者の選択により出力部を動作させるので、適切にしおりを音声で出力することができる。   According to the fifth aspect, when a mode in which no sound is output is set, the output unit is operated according to the user's selection, so that an appropriate bookmark can be output by voice.

第6の発明は、第1ないし第5の発明のいずれかに従属し、通信部と、抽出部によって抽出された言語情報に応じた音声変換エンジンが無いとき、外部のコンピュータに、記憶部に記憶されたしおりの文字列情報を音声データに変換させる音声変換要求を送信する変換要求送信部と、外部のコンピュータから送信された音声データを受信する音声データ受信部をさらに備え、出力部は、音声データ受信部によって受信された音声データに対応する音声を出力する。   A sixth invention is dependent on any one of the first to fifth inventions, and when there is no speech conversion engine corresponding to the language information extracted by the communication unit and the extraction unit, the external computer stores the storage unit. A conversion request transmitting unit that transmits a voice conversion request for converting stored character string information of bookmarks into voice data, and a voice data receiving unit that receives voice data transmitted from an external computer, and an output unit, The sound corresponding to the sound data received by the sound data receiving unit is output.

第6の発明では、しおり出力装置は、通信部(30)をさらに備える。したがって、外部の(他の)コンピュータと通信可能に接続される。変換要求送信部(12、S121)は、抽出部によって抽出された言語情報に応じた音声変換エンジンが無いとき(S73で“NO”)、外部のコンピュータに、記憶部に記憶されたしおりの文字列情報を音声データに変換させる音声変換要求を送信する。また、音声データ受信部(12、S123)は、外部のコンピュータから送信された音声データを受信する。したがって、出力部は、音声データ受信部によって受信された音声データに対応する音声を出力する。   In the sixth invention, the bookmark output device further includes a communication unit (30). Therefore, it is communicably connected to an external (other) computer. When there is no voice conversion engine corresponding to the language information extracted by the extraction unit (“NO” in S73), the conversion request transmission unit (12, S121) stores the bookmark character stored in the storage unit in the external computer. A voice conversion request for converting the column information into voice data is transmitted. The audio data receiving unit (12, S123) receives audio data transmitted from an external computer. Therefore, the output unit outputs sound corresponding to the sound data received by the sound data receiving unit.

第6の発明によれば、該当する音声変換エンジンが無い場合には、外部のコンピュータで変換された音声データに対応するしおりの音声を出力するので、たとえば、音声変換エンジンを備えていなくても、しおりを音声で読み上げることができる。   According to the sixth invention, when there is no corresponding voice conversion engine, the voice of the bookmark corresponding to the voice data converted by the external computer is output. For example, even if the voice conversion engine is not provided , You can read the bookmarks aloud.

第7の発明は、第1ないし第5の発明のいずれかに従属し、通信部と、抽出部によって抽出された言語情報に応じた音声変換エンジンが無いとき、外部のコンピュータに、当該音声変換エンジンの配信要求を送信する配信要求送信部と、外部のコンピュータから配信された音声変換エンジンを受信する音声変換エンジン受信部をさらに備え、出力部は、音声変換エンジン受信部によって受信された声変換エンジンを動作させることにより、記憶部に記憶されたしおりの文字列情報を音声で出力する。 A seventh invention is dependent on any one of the first to fifth inventions, and when there is no voice conversion engine corresponding to the language information extracted by the communication unit and the extraction unit, the voice conversion is performed on an external computer. a delivery request transmitting unit that transmits a delivery request of the engine, further comprising a speech engine receiving unit that receives a speech engine delivered from an external computer, the output unit, voice received by the speech engine receiving unit By operating the conversion engine, the character string information of the bookmark stored in the storage unit is output by voice.

第7の発明では、しおり出力装置は、通信部(30)をさらに備える。したがって、外部の(他の)コンピュータと通信可能に接続される。配信要求送信部(12、S131)は、抽出部によって抽出された言語情報に応じた音声変換エンジンが無いとき(S73で“NO”)、外部のコンピュータに、当該音声変換エンジンの配信要求を送信する。また、音声変換エンジン受信部(12、S133)は、外部のコンピュータから配信された音声変換エンジンを受信する。したがって、出力部は、音声変換エンジン受信部によって受信された声変換エンジンを動作させることにより、記憶部に記憶されたしおりの文字列情報を音声で出力する。 In the seventh invention, the bookmark output device further includes a communication unit (30). Therefore, it is communicably connected to an external (other) computer. When there is no speech conversion engine corresponding to the language information extracted by the extraction unit (“NO” in S73), the distribution request transmission unit (12, S131) transmits a distribution request for the speech conversion engine to an external computer. To do. The voice conversion engine reception unit (12, S133) receives the voice conversion engine distributed from an external computer. Accordingly, the output unit, by operating the voice conversion engine that is received by the speech engine receiving unit, and outputs the character string information of the bookmark stored in the storage unit by voice.

第7の発明によれば、該当する音声変換エンジンが無い場合には、外部のコンピュータから該当する音声変換エンジンの配信を受けて動作させるので、しおりを音声で読み上げることができる。   According to the seventh invention, when there is no corresponding voice conversion engine, the corresponding voice conversion engine is distributed and operated from an external computer, so that the bookmark can be read out by voice.

第8の発明は、電子書籍に設定されたしおりの文字列情報を記憶する記憶部を備え、電子書籍のしおりを音声で出力する、コンピュータのしおり出力プログラムであって、コンピュータに、電子書籍の言語情報を抽出する抽出ステップと、抽出ステップによって抽出された言語情報に応じた音声変換エンジンを選択するエンジン選択ステップと、エンジン選択ステップによって選択された音声変換エンジンを動作させることにより、記憶部に記憶されたしおりの文字列情報を音声で出力する出力ステップを実行させる、しおり出力プログラムである。   An eighth invention is a bookmark output program for a computer that includes a storage unit that stores character string information of a bookmark set in an electronic book and outputs the bookmark of the electronic book by voice. An extraction step for extracting language information, an engine selection step for selecting a speech conversion engine according to the language information extracted by the extraction step, and a voice conversion engine selected by the engine selection step by operating the storage unit. A bookmark output program for executing an output step of outputting stored character string information of a bookmark by voice.

第9の発明は、電子書籍に設定されたしおりの文字列情報を記憶する記憶部を備え、電子書籍のしおりを音声で出力する、コンピュータのしおり出力方法であって、コンピュータは、(a)電子書籍の言語情報を抽出し、(b)ステップ(a)によって抽出された言語情報に応じた音声変換エンジンを選択し、そして(c)ステップ(b)によって選択された音声変換エンジンを動作させることにより、記憶部に記憶されたしおりの文字列情報を音声で出力する、しおり出力方法である。   A ninth invention is a bookmark output method for a computer, comprising a storage unit for storing character string information of a bookmark set in an electronic book, and outputting the bookmark of the electronic book by voice, the computer comprising: (a) Extract language information of the electronic book, (b) select a speech conversion engine according to the language information extracted in step (a), and (c) operate the speech conversion engine selected in step (b). This is a bookmark output method for outputting the character string information of the bookmark stored in the storage unit by voice.

第10の発明は、電子書籍を閲覧する電子書籍閲覧装置であって、電子書籍に設定されたしおりの文字列情報を記憶する記憶部と、電子書籍の言語情報を抽出する抽出部と、抽出部によって抽出された言語情報に応じた音声変換エンジンを選択するエンジン選択部と、エンジン選択部によって選択された音声変換エンジンを動作させることにより、記憶部に記憶されたしおりの文字列情報を音声で出力する出力部を備える、電子書籍閲覧装置である。   A tenth invention is an electronic book browsing device for browsing an electronic book, the storage unit storing character string information of a bookmark set in the electronic book, the extraction unit extracting the language information of the electronic book, and the extraction By operating the engine selection unit that selects the speech conversion engine according to the language information extracted by the unit and the speech conversion engine selected by the engine selection unit, the character string information of the bookmark stored in the storage unit is It is an electronic book browsing apparatus provided with the output part which outputs by.

第8ないし第10の発明においても、第1の発明と同様に、所望のしおりを容易に検索することができる。   In the eighth to tenth inventions, as in the first invention, a desired bookmark can be easily searched.

この発明によれば、所望のしおりを容易に検索することができる。   According to the present invention, it is possible to easily search for a desired bookmark.

この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。   The above object, other objects, features and advantages of the present invention will become more apparent from the following detailed description of embodiments with reference to the drawings.

図1はこの発明の一実施例の電子書籍閲覧装置の電気的な構成を示すブロック図である。FIG. 1 is a block diagram showing an electrical configuration of an electronic book browsing apparatus according to an embodiment of the present invention. 図2は図1に示すディスプレイに表示される閲覧画面の一例を示す図である。FIG. 2 is a diagram showing an example of a browsing screen displayed on the display shown in FIG. 図3は図1に示すディスプレイに表示される閲覧画面の第2の例を示す図である。FIG. 3 is a diagram showing a second example of the browsing screen displayed on the display shown in FIG. 図4は図1に示すディスプレイに表示される閲覧画面の第3の例を示す図である。FIG. 4 is a diagram showing a third example of the browsing screen displayed on the display shown in FIG. 図5は図1に示すディスプレイに表示される閲覧画面の第4の例を示す図である。FIG. 5 is a diagram showing a fourth example of the browsing screen displayed on the display shown in FIG. 図6は図1に示すディスプレイに表示される閲覧画面の第5の例を示す図である。FIG. 6 is a diagram showing a fifth example of the browsing screen displayed on the display shown in FIG. 図7は図1に示すディスプレイに表示される閲覧画面の第6の例を示す図である。FIG. 7 is a diagram showing a sixth example of the browsing screen displayed on the display shown in FIG. 図8は図1に示すRAMのメモリマップの一例を示す図である。FIG. 8 is a diagram showing an example of a memory map of the RAM shown in FIG. 図9は図1に示すCPUのしおり作成処理を示すフロー図である。FIG. 9 is a flowchart showing bookmark creation processing of the CPU shown in FIG. 図10は図1に示すCPUのしおり読み上げ処理の一部を示すフロー図である。FIG. 10 is a flowchart showing a part of the bookmark reading process of the CPU shown in FIG. 図11は図1に示すCPUのしおり読み上げ処理の他の一部であって、図10に後続するフロー図である。FIG. 11 is another part of the bookmark reading process of the CPU shown in FIG. 1, and is a flowchart subsequent to FIG. 図12は図1に示すCPUのしおり読み上げ処理のその他の一部であって、図11に後続するフロー図である。FIG. 12 is another part of the bookmark reading process of the CPU shown in FIG. 1, and is a flowchart subsequent to FIG. 図13は図1に示すCPUのしおり読み上げ処理の他の例の一部を示すフロー図である。FIG. 13 is a flowchart showing a part of another example of the bookmark reading process of the CPU shown in FIG. 図14はこの発明の他の実施例の電子書籍閲覧装置の電気的な構成を示すブロック図である。FIG. 14 is a block diagram showing an electrical configuration of an electronic book browsing apparatus according to another embodiment of the present invention. 図15は図14に示す電子書籍閲覧装置を用いたシステムの一例を示す図解図である。FIG. 15 is an illustrative view showing one example of a system using the electronic book browsing apparatus shown in FIG. 図16は図14に示すCPUのしおり読み上げ処理の一部を示すフロー図である。FIG. 16 is a flowchart showing a part of the bookmark reading process of the CPU shown in FIG. 図17は図14に示すCPUのしおり読み上げ処理の一部を示すフロー図である。FIG. 17 is a flowchart showing a part of the bookmark reading process of the CPU shown in FIG.

図1を参照して、この実施例の電子書籍閲覧装置10は、しおり作成装置またはしおりの音声読み上げ装置(出力装置)としても機能し、CPU12を含む。CPU12には、キー入力装置14、表示ドライバ16、タッチパネル20、ハードディスクドライブ(HDD)22、RAM24およびD/A変換器26が接続される。また、表示ドライバ16には、ディスプレイ18が接続される。図示は省略するが、タッチパネル20は、ディスプレイ18上に設けられる。さらに、D/A変換器26には、スピーカ28が接続される。   Referring to FIG. 1, an electronic book browsing device 10 of this embodiment also functions as a bookmark creation device or a bookmark voice reading device (output device), and includes a CPU 12. Connected to the CPU 12 are a key input device 14, a display driver 16, a touch panel 20, a hard disk drive (HDD) 22, a RAM 24, and a D / A converter 26. A display 18 is connected to the display driver 16. Although not shown, the touch panel 20 is provided on the display 18. Furthermore, a speaker 28 is connected to the D / A converter 26.

CPU12は、電子書籍閲覧装置10の全体制御を司る。また、CPU12にはRTC12aが内蔵され、RTC12aでカウントされる時刻情報(年月日および時分秒)がCPU12に与えられる。   The CPU 12 governs overall control of the electronic book browsing apparatus 10. The CPU 12 has a built-in RTC 12a, and time information (year / month / day and hour / minute / second) counted by the RTC 12a is given to the CPU 12.

キー入力装置14は、図示は省略するが、アルファベットまたは仮名或いは記号(符号、数字など)などを入力するための各種キーを含む。たとえば、各種キーは、Qwerty配列で配置される。使用者が操作したキーに対応する情報(キーデータ)はCPU12に入力される。   Although not shown, the key input device 14 includes various keys for inputting alphabets, kana or symbols (codes, numbers, etc.). For example, the various keys are arranged in a Qwerty array. Information (key data) corresponding to the key operated by the user is input to the CPU 12.

表示ドライバ16は、CPU12の指示の下、ディスプレイ18の表示を制御する。図示は省略するが、表示ドライバ16は、ディスプレイ18に表示する画面に対応する表示画像データを一時的に記憶するVRAM(Video−RAM)を有している。CPU12は、表示画像データを、このVRAMに記憶させる。   The display driver 16 controls display on the display 18 under the instruction of the CPU 12. Although not shown, the display driver 16 has a VRAM (Video-RAM) that temporarily stores display image data corresponding to a screen displayed on the display 18. The CPU 12 stores the display image data in this VRAM.

タッチパネル20は、ディスプレイ18の画面内で、任意の位置を指示するためのポインティングデバイスである。たとえば、この実施例のタッチパネル20は、指などの物体が表面に接近して生じた電極間の静電容量の変化を検出する静電容量方式のタッチパネルであって、たとえば1本または複数本の指がタッチパネル20に触れたことを検出可能である。また、タッチパネル20は、その表面(上面)を指で、押したり、撫でたり、触れたりすると、その指の位置を特定し、操作された位置(タッチ位置)を示す座標のデータ(座標データ)をCPU12に出力する。CPU12は、タッチパネル20からの座標データに基づいて、使用者の指の動きによる操作を特定したり、使用者がタッチした位置に対応してディスプレイ18に表示される画像などを特定したりする。   The touch panel 20 is a pointing device for instructing an arbitrary position within the screen of the display 18. For example, the touch panel 20 of this embodiment is a capacitive touch panel that detects a change in capacitance between electrodes that occurs when an object such as a finger approaches the surface, and includes, for example, one or a plurality of touch panels. It is possible to detect that a finger has touched the touch panel 20. In addition, when the touch panel 20 is pressed, stroked, or touched with a finger on the surface (upper surface), the position of the finger is specified, and coordinate data (coordinate data) indicating the operated position (touch position). Is output to the CPU 12. Based on the coordinate data from the touch panel 20, the CPU 12 specifies an operation based on the movement of the user's finger, or specifies an image displayed on the display 18 corresponding to the position touched by the user.

以下、この実施例においては、使用者がタッチパネル20の上面を指で触れる操作を「タッチ」と言うことにする。一方、タッチパネル20から指を離す操作を「リリース」と言うことにする。また、タッチパネル20の上面を指で撫でる操作を「スライド」と言うことにする。さらに、タッチパネル20の上面を指で弾いたり、はらったりする操作を「フリック」と言うことにする。そして、タッチによって示された座標を「タッチ点(タッチ開始位置)」、リリースによって示された座標を「リリース点(タッチ終了位置)」と言うことにする。さらに、使用者がタッチパネル20の上面をタッチし、続けてリリースする操作を「タッチアンドリリース」と言うことにする。そして、タッチ、リリース、スライド、フリックおよびタッチアンドリリースなどのタッチパネル20に対して行う操作を、総じて「タッチ操作」と言うことにする。   Hereinafter, in this embodiment, an operation in which the user touches the upper surface of the touch panel 20 with a finger is referred to as “touch”. On the other hand, the operation of releasing the finger from the touch panel 20 is referred to as “release”. Further, an operation of stroking the upper surface of the touch panel 20 with a finger is referred to as “slide”. Further, an operation of flipping or touching the upper surface of the touch panel 20 with a finger is referred to as “flick”. The coordinates indicated by the touch are referred to as “touch point (touch start position)”, and the coordinates indicated by the release are referred to as “release point (touch end position)”. Furthermore, an operation in which the user touches the upper surface of the touch panel 20 and subsequently releases it is referred to as “touch and release”. An operation performed on the touch panel 20 such as touch, release, slide, flick, and touch and release is generally referred to as a “touch operation”.

なお、タッチ操作は指だけに限らず、導電体が先端に取り付けられたタッチペン(スタイラスペン)など、その他の物体によって行われてもよい。また、この実施例では、タッチパネル20としては、表面型の静電容量方式のタッチパネルを採用してあるが、抵抗膜方式、超音波方式、赤外線方式および電磁誘導方式などの他の方式のタッチパネルを採用してもよい。   Note that the touch operation is not limited to a finger, and may be performed by other objects such as a touch pen (stylus pen) with a conductor attached to the tip. In this embodiment, a surface type capacitive touch panel is adopted as the touch panel 20, but other types of touch panels such as a resistive film type, an ultrasonic type, an infrared type and an electromagnetic induction type are used. It may be adopted.

HDD22は、この実施例の電子書籍閲覧装置10の主記憶装置であり、後述する、制御プログラム、電子書籍の情報(電子書籍データ)、文字認識用データ、合成音声データなどを記憶し、必要に応じて、RAM24にロードする。RAM24は、CPU12の作業領域(描画領域を含む)ないしバッファ領域として用いられる。   The HDD 22 is a main storage device of the electronic book browsing device 10 of this embodiment, and stores a control program, electronic book information (electronic book data), character recognition data, synthesized voice data, and the like, which will be described later. In response, the data is loaded into the RAM 24. The RAM 24 is used as a work area (including a drawing area) or a buffer area of the CPU 12.

なお、この実施例では、不揮発性メモリとして、HDD22を用いるようにしてあるが、フラッシュメモリやEEPROMのような他の不揮発性メモリを用いることも可能である。   In this embodiment, the HDD 22 is used as the non-volatile memory. However, other non-volatile memories such as a flash memory and an EEPROM can be used.

D/A変換器26は、デジタル音声信号をアナログ音声信号に変換(復号)して、アンプを介してスピーカ28に与える。したがって、アナログ音声信号に対応する音声ないし音がスピーカ28から出力される。   The D / A converter 26 converts (decodes) the digital audio signal into an analog audio signal and supplies the analog audio signal to the speaker 28 via the amplifier. Therefore, sound or sound corresponding to the analog sound signal is output from the speaker 28.

たとえば、このような電子書籍閲覧装置10において、メニュー画面(図示せず)において、キー入力装置14やタッチパネル20用いた使用者からの指示によって、所望の電子書籍が選択され、その閲覧の指示が入力されると、図2に示すような閲覧画面100がディスプレイ18に表示される。閲覧画面100では、表示領域102に電子書籍の本文(内容)が表示される。詳細な説明は省略するが、閲覧の指示が入力され、電子書籍の本文が表示される当初では、当該本文の先頭から表示される。   For example, in such an electronic book browsing apparatus 10, a desired electronic book is selected on the menu screen (not shown) by an instruction from the user using the key input device 14 or the touch panel 20, and the browsing instruction is issued. When input, a browsing screen 100 as shown in FIG. 2 is displayed on the display 18. On the browsing screen 100, the text (contents) of the electronic book is displayed in the display area 102. Although detailed description is omitted, when a browsing instruction is input and the text of the electronic book is initially displayed, the text is displayed from the top of the text.

なお、図2(図3−図7も同じ)では、簡略化のため、本文の一部のみを日本語で示してある。後述するしおりの一覧についても同様である。   In FIG. 2 (the same applies to FIGS. 3 to 7), only a part of the text is shown in Japanese for simplification. The same applies to a list of bookmarks to be described later.

また、閲覧画面100の右端には、ボタン画像110およびボタン画像112が設けられ、その間に、スクロールバー114が表示される。ボタン画像110は、閲覧画面100を下方向にスクロールさせるためのボタンである。また、ボタン画像112は、閲覧画面100を上方向にスクロールさせるためのボタンである。たとえば、ボタン画像110またはボタン画像112がタッチされると、閲覧画面100は下方向または上方向にスクロールされる。   Further, a button image 110 and a button image 112 are provided at the right end of the browsing screen 100, and a scroll bar 114 is displayed therebetween. The button image 110 is a button for scrolling the browsing screen 100 downward. The button image 112 is a button for scrolling the browsing screen 100 upward. For example, when the button image 110 or the button image 112 is touched, the browsing screen 100 is scrolled downward or upward.

また、閲覧画面100が下方向または上方向にスクロールされるに従ってスクロールバー114が上下に移動される。ただし、スクロールバー114をタッチして上下にスライド(ドラッグ)させることにより、閲覧画面100を下方向または上方向にスクロールさせることもできる。   Further, the scroll bar 114 is moved up and down as the browsing screen 100 is scrolled downward or upward. However, the viewing screen 100 can be scrolled downward or upward by touching the scroll bar 114 and sliding (dragging) up and down.

さらに、ボタン画像112の下側に、ボタン画像116およびボタン画像118が表示される。ボタン画像116は、表示領域102の縦方向の長さ単位で、閲覧画面100を下方向にスクロールさせるためのボタンである。また、ボタン画像118は、表示領域102の縦方向の長さ単位で、閲覧画面100を上方向にスクロールさせるためのボタンである。たとえば、ボタン画像116またはボタン画像118が、タッチされると、閲覧画面100が縦方向の長さ単位で、下方向または上方向にスクロールされる。   Further, a button image 116 and a button image 118 are displayed below the button image 112. The button image 116 is a button for scrolling the browsing screen 100 downward in units of the vertical length of the display area 102. The button image 118 is a button for scrolling the browsing screen 100 upward in units of length in the vertical direction of the display area 102. For example, when the button image 116 or the button image 118 is touched, the browsing screen 100 is scrolled downward or upward in units of length in the vertical direction.

なお、ここでは、ボタン画像110、112、116、118およびスクロールバー114をタッチ操作するようにしてあるが、カーソル(矢印)キー、ページアップキー、または、ページダウンキーを操作するようにしてもよい。   Here, the button images 110, 112, 116, 118 and the scroll bar 114 are touch-operated, but the cursor (arrow) key, page-up key, or page-down key may be operated. Good.

使用者が、電子書籍を閲覧中に、しおり作成(登録)の指示を入力すると、しおりを作成したい場所(位置)を選択可能な状態となる。このとき、使用者が所望の範囲すなわち先頭位置および末尾位置をタッチ(指定)すると、当該範囲がしおりを設定する範囲として選択される。   When a user inputs a bookmark creation (registration) instruction while browsing an electronic book, the user can select a location (position) where a bookmark is to be created. At this time, when the user touches (specifies) a desired range, that is, the start position and the end position, the range is selected as a range for setting a bookmark.

なお、詳細な説明は省略するが、この実施例では、使用者は、所定の文字数(全角20文字以内)で範囲を選択可能である。   Although detailed description is omitted, in this embodiment, the user can select a range with a predetermined number of characters (within 20 full-width characters).

一方、使用者が所望の範囲を選択しない場合には、チャプターやページの先頭から所定の文字数(この実施例では、全角20文字)で決定される範囲がしおりを設定する範囲として自動で選択される。ただし、電子書籍の本文に、チャプターやページのような所定の区切りが設定されていない場合には、ディスプレイ18の表示領域102の先頭から所定の文字数(全角20文字)で決定される範囲がしおりを設定する範囲として自動で選択される。   On the other hand, when the user does not select a desired range, a range determined by a predetermined number of characters (in this embodiment, 20 full-width characters) from the beginning of the chapter or page is automatically selected as a range for setting a bookmark. The However, when a predetermined break such as a chapter or page is not set in the text of the electronic book, a range determined by a predetermined number of characters (20 full-width characters) from the top of the display area 102 of the display 18 is a bookmark. Is automatically selected as the setting range.

しおりを設定する範囲が選択されると、図3に示すように、表示領域102に表示された本文では、選択された範囲(選択範囲)にマーカ102aが表示(設定)される。ただし、図3では、マーカ102aを四角枠で示してある。以下、マーカ102aが表示される場合について同様である。図示は省略するが、自動で選択される範囲については、当該範囲(文字数)を予め知ることができないため、予め設定された長さのマーカ102aが本文の該当箇所に表示(設定)される。したがって、上述したように、自動で選択範囲の先頭位置が決定(指定)されると、マーカ102aの長さによって末尾位置が決定(指定)される。   When a range for setting a bookmark is selected, as shown in FIG. 3, in the text displayed in the display area 102, a marker 102a is displayed (set) in the selected range (selected range). However, in FIG. 3, the marker 102a is indicated by a square frame. The same applies to the case where the marker 102a is displayed. Although illustration is omitted, since the range (the number of characters) cannot be known in advance for the automatically selected range, a marker 102a having a preset length is displayed (set) at the corresponding portion of the text. Therefore, as described above, when the head position of the selection range is automatically determined (designated), the tail position is determined (designated) by the length of the marker 102a.

なお、この実施例では、選択範囲にマーカ102aを表示するようにしてあるが、選択範囲に含まれる文字列を他の文字とは異なる色で表示したり、色反転して表示したりしてもよい。   In this embodiment, the marker 102a is displayed in the selection range. However, the character string included in the selection range is displayed in a color different from that of other characters, or displayed in reverse color. Also good.

また、しおりを設定する範囲が選択されると、当該範囲に表示される(含まれる)文字列が読み込まれる。この実施例では、しおり情報として、選択範囲に含まれる文字列に対応するテキストデータを登録するようにしてあるため、テキストの読み取りエンジンによって、選択範囲の文字列が読み取られる。ただし、自動で選択される範囲については、チャプターやページの先頭から20文字分の読み取りを実行したり、表示領域102aの先頭から20文字分の読み取りを実行したりする。また、電子書籍は、日本語以外の言語で記載されている場合もあるため、電子書籍閲覧装置10に登録されているすべての言語についての読み取りエンジンを用いて、読み取りが実行される。   When a range for setting a bookmark is selected, a character string displayed (included) in the range is read. In this embodiment, since the text data corresponding to the character string included in the selection range is registered as bookmark information, the character string in the selection range is read by the text reading engine. However, for the automatically selected range, reading of 20 characters from the top of the chapter or page is executed, or reading of 20 characters from the top of the display area 102a is executed. In addition, since the electronic book may be written in a language other than Japanese, reading is performed using a reading engine for all languages registered in the electronic book browsing apparatus 10.

読み取りに成功すれば、文字列に対応するテキストデータをしおり情報として登録することができる。かかる場合には、選択範囲の位置情報と、当該選択範囲において自動で読み込まれた文字列に対応するテキストデータを含むしおり情報が登録される。   If reading is successful, text data corresponding to the character string can be registered as bookmark information. In such a case, bookmark information including position information of the selected range and text data corresponding to the character string automatically read in the selected range is registered.

一方、読み取りに失敗すれば、エラーとなり、自動でテキストデータをしおり情報として登録することができない。これは、電子書籍データが、PDF形式、JPEG形式、BMP形式など、テキスト形式以外の形式で作成されている場合があるからである。   On the other hand, if reading fails, an error occurs and text data cannot be automatically registered as bookmark information. This is because the electronic book data may be created in a format other than the text format, such as the PDF format, the JPEG format, or the BMP format.

かかる場合には、選択範囲に関する文字列を使用者が入力したり、選択範囲(設定するしおり)についての固有の情報(この実施例では、日時情報)の文字列が自動で入力されたりする。ただし、選択範囲に関する文字列とは、選択範囲に含まれる文字列または当該範囲について使用者が任意に入力した文字列を意味する。   In such a case, the user inputs a character string related to the selection range, or a character string of unique information about the selection range (bookmark to be set) (date information in this embodiment) is automatically input. However, the character string related to the selection range means a character string included in the selection range or a character string arbitrarily input by the user for the range.

したがって、文字列が使用者によって入力された場合には、選択範囲の位置情報と、使用者によって入力された文字列に対応するテキストデータを含むしおり情報が登録される。また、日時情報の文字列が自動で入力された場合には、選択範囲の位置情報と、日時情報の文字列に対応するテキストデータを含むしおり情報が登録される。   Therefore, when a character string is input by the user, bookmark information including the position information of the selection range and text data corresponding to the character string input by the user is registered. Further, when a character string of date / time information is automatically input, bookmark information including position information of the selection range and text data corresponding to the character string of date / time information is registered.

たとえば、選択範囲についての文字列の読み取りに失敗すると、図4に示すように、閲覧画面100の前面に、使用者が文字列を入力するかどうかを選択するための入力選択画面150が表示される。この入力選択画面150は、表示領域150aを含み、表示領域150aには、しおりに登録する語句ないし文章(文字列)、すなわち選択範囲に関する文字列を、使用者が入力するかどうかを選択する旨のテキストが表示される。また、表示領域150aの下側には、ボタン画像150bおよびボタン画像150cが表示される。ボタン画像150bは、使用者が文字列を入力することを選択するために設けられる。ボタン画像150cは、使用者が文字列を入力しないことを選択するために設けられる。   For example, when reading of a character string for a selection range fails, an input selection screen 150 for selecting whether or not the user inputs a character string is displayed on the front of the browsing screen 100 as shown in FIG. The This input selection screen 150 includes a display area 150a. In the display area 150a, it is selected whether or not the user inputs a word or sentence (character string) registered in the bookmark, that is, a character string related to the selection range. Is displayed. A button image 150b and a button image 150c are displayed below the display area 150a. The button image 150b is provided for the user to select to input a character string. The button image 150c is provided for the user to select not to input a character string.

ただし、ボタン画像150bをタッチすることに代えて、Yキーが操作されてもよいし、同様に、ボタン画像150cをタッチすることに代えて、Nキーが操作されてもよい。   However, instead of touching the button image 150b, the Y key may be operated, and similarly, the N key may be operated instead of touching the button image 150c.

入力選択画面150でボタン画像150bがタッチされることにより、使用者が文字列を入力することが選択されると、図5に示すように、入力選択画面150に代えて、文字列を入力するための入力画面200が閲覧画面100の前面に表示される。この閲覧画面100には、表示領域200aが設けられ、表示領域200aには、文字列を、所定の文字数(この実施例では、20文字)以内で入力する旨がテキストで表示される。また、表示領域200aの下側には、表示領域200bが設けられ、表示領域200bには、入力された文字列が表示されるとともに、その下側に、ボタン画像200cおよびボタン画像200dが表示される。ボタン画像200cは、文字列の入力を終了するために設けられる。ボタン画像200dは、文字列の入力をキャンセルするために設けられる。   When the user selects to input a character string by touching the button image 150b on the input selection screen 150, the character string is input instead of the input selection screen 150 as shown in FIG. An input screen 200 is displayed on the front of the browsing screen 100. The browsing screen 100 is provided with a display area 200a, and text indicating that a character string is input within a predetermined number of characters (20 characters in this embodiment) is displayed in the display area 200a. A display area 200b is provided below the display area 200a. The input character string is displayed on the display area 200b, and a button image 200c and a button image 200d are displayed below the display area 200b. The The button image 200c is provided to end the input of the character string. The button image 200d is provided to cancel the input of the character string.

ただし、ボタン画像200cをタッチすることに代えて、Fキーが操作されてもよいし、同様に、ボタン画像200dをタッチすることに代えて、Cキーが操作されてもよい。   However, the F key may be operated instead of touching the button image 200c. Similarly, the C key may be operated instead of touching the button image 200d.

ボタン画像200cがタッチされることにより、文字列の入力を終了すると、入力された文字列に対応するテキストデータが、しおり情報として登録される。一方、ボタン画像200dがタッチされることにより、文字列の入力をキャンセルすると、図4に示した入力選択画面150に戻る。   When the input of the character string is completed by touching the button image 200c, text data corresponding to the input character string is registered as bookmark information. On the other hand, when the input of the character string is canceled by touching the button image 200d, the screen returns to the input selection screen 150 shown in FIG.

また、図4に示した入力選択画面150において、ボタン画像150cがタッチされることにより、使用者が文字列を入力しないことが選択されると、日時情報に対応するテキストデータが、しおり情報のテキストデータとして登録される。このとき、CPU12は、RTC12aから現在時刻(年月日を含む)を取得して、それに対応するテキストデータを登録する。   When the user selects not to input a character string by touching the button image 150c on the input selection screen 150 shown in FIG. 4, the text data corresponding to the date / time information is changed to the bookmark information. Registered as text data. At this time, the CPU 12 acquires the current time (including date) from the RTC 12a, and registers text data corresponding to the current time.

なお、しおりが登録されると、図2に示したような通常の閲覧画面100に戻る。ただし、しおりが登録されている箇所は、図3に示したように、マーカ102aでハイライト表示される。   When the bookmark is registered, the normal browsing screen 100 as shown in FIG. However, the location where the bookmark is registered is highlighted by the marker 102a as shown in FIG.

また、この実施例の電子書籍閲覧装置10では、登録されたしおりを音声で読み上げること(しおりの音声読み上げ)ができる。簡単に説明すると、しおり情報に含まれるテキストデータに対応するテキストが合成音声でスピーカ28から出力される。たとえば、図2や図3に示したような閲覧画面100がディスプレイ18に表示されている場合に、使用者がキー入力装置14を用いて、しおりの音声読み上げを指示すると、図6に示すように、閲覧画面100の表示が変化される。   Moreover, in the electronic book browsing apparatus 10 of this embodiment, a registered bookmark can be read out by voice (bookmark voice reading out). Briefly, text corresponding to text data included in the bookmark information is output from the speaker 28 as synthesized speech. For example, when the browsing screen 100 as shown in FIG. 2 or FIG. 3 is displayed on the display 18, when the user uses the key input device 14 to instruct to read out the voice of the bookmark, as shown in FIG. 6. In addition, the display of the browsing screen 100 is changed.

図6に示すように、しおりの音声読み上げを実行する場合には、たとえば、表示領域102が縮小されて、閲覧画面100の右側に表示される。そして、閲覧画面100の左側には、その中央に、表示領域104が設けられる。表示領域104の中央であり、その右端部には、ボタン画像250が設けられる。また、表示領域104の上側には、ボタン画像120およびボタン画像122が並んで表示される。さらに、表示領域104の下側には、操作パネル252が表示される。   As shown in FIG. 6, when the reading of a bookmark is performed, for example, the display area 102 is reduced and displayed on the right side of the browsing screen 100. On the left side of the browsing screen 100, a display area 104 is provided in the center. A button image 250 is provided at the center of the display area 104 and at the right end thereof. A button image 120 and a button image 122 are displayed side by side above the display area 104. Further, an operation panel 252 is displayed below the display area 104.

表示領域104には、複数のチェックボックス104aがその左端に表示され、各チェックボックス104aに対応して、登録されたしおりの文字列が表示される。ただし、空白となっている箇所は、しおりが未登録であることを示す。   In the display area 104, a plurality of check boxes 104a are displayed at the left end thereof, and a registered bookmark character string is displayed corresponding to each check box 104a. However, a blank part indicates that the bookmark is not registered.

ボタン画像120は、しおりの一覧に代えて目次(図示せず)を表示領域104に表示するために設けられる。ボタン画像122は、目次に代えてしおりの一覧を表示領域104に表示するために設けられる。ボタン画像250は、表示領域104と閉じるとともに、ボタン画像120、122および操作パネル252を非表示するために設けられる。したがって、このボタン画像250がタッチされると、図2または図3に示したような閲覧画面100に戻る。   The button image 120 is provided to display a table of contents (not shown) in the display area 104 instead of the bookmark list. The button image 122 is provided to display a list of bookmarks in the display area 104 instead of the table of contents. The button image 250 is provided to close the display area 104 and to hide the button images 120 and 122 and the operation panel 252. Therefore, when the button image 250 is touched, the browsing screen 100 as shown in FIG. 2 or 3 is returned.

操作パネル252は、ボタン画像252a、ボタン画像252b、ボタン画像252cおよびボタン画像252dを含む。ボタン画像252aは、しおりの音声読み上げを開始するために設けられる。ボタン画像252bは、しおりの音声読み上げを停止して、読み上げを停止したときの当該しおりについての文字列を含む本文の内容を表示領域102に表示するために設けられる。ボタン画像252cは、1つ前のしおりに戻るために設けられる。そして、ボタン画像252dは、次のしおりに進むために設けられる。具体的には、しおりを音声で読み上げている場合に、ボタン画像252cまたはボタン画像252dがタッチされると、チェックボックス104aのチェックが1つ前または次のしおりに付されるとともに、1つ前または次のしおりを音声で読み上げる。ただし、しおりを音声で読み上げていない場合には、ボタン画像252cまたはボタン画像252dがタッチされると、チェックボックス104aのチェックが1つ前または次のしおりに付されるだけである。   The operation panel 252 includes a button image 252a, a button image 252b, a button image 252c, and a button image 252d. The button image 252a is provided in order to start reading out a bookmark voice. The button image 252b is provided to display the content of the text including the character string of the bookmark when the reading of the bookmark is stopped and the reading of the bookmark is stopped in the display area 102. The button image 252c is provided to return to the previous bookmark. The button image 252d is provided to advance to the next bookmark. Specifically, when the bookmark is being read out by voice, when the button image 252c or the button image 252d is touched, the check in the check box 104a is added to the previous or next bookmark and the previous one. Or read the next bookmark aloud. However, when the bookmark is not read out by voice, when the button image 252c or the button image 252d is touched, the check in the check box 104a is only attached to the previous or next bookmark.

たとえば、しおりの音声読み上げの実行が指示されると、電子書籍データの属性情報として、言語情報が記憶されているかどうかを判断する。これは、テキストデータで記憶されているしおりの文字列を、正しい言語の音声変換エンジンを用いて、音声で読み上げるためである。   For example, when an instruction to read aloud a bookmark is instructed, it is determined whether or not language information is stored as attribute information of electronic book data. This is because a character string of a bookmark stored as text data is read out by voice using a speech conversion engine of a correct language.

電子書籍データに関連して言語情報が記憶されている場合には、当該言語情報を抽出して、該当する言語の音声変換エンジンを選択する。該当する言語の音声変換エンジンが電子書籍閲覧装置10に記憶(登録)されている場合には、ボタン画像252aがタッチされることに応じて、しおりが設定された文字列が順次音声で読み上げられる。具体的には、しおりが設定された文字列のテキストデータが、当該文字列の言語についての合成音声データおよび音声変換エンジンを用いてデジタル音声信号に変換され、さらに、D/A変換器26でアナログ音声信号に変換された後に、スピーカ28から出力される。以下、しおりを音声で読み上げる場合について同様である。   When language information is stored in association with the electronic book data, the language information is extracted and a speech conversion engine of the corresponding language is selected. When the speech conversion engine of the corresponding language is stored (registered) in the electronic book browsing apparatus 10, the character string with the bookmark set is read out sequentially by voice in response to the touch of the button image 252a. . More specifically, text data of a character string in which a bookmark is set is converted into a digital voice signal using synthesized voice data and a voice conversion engine for the language of the character string, and is further converted by a D / A converter 26. After being converted into an analog audio signal, it is output from the speaker 28. The same applies to the case where the bookmark is read out by voice.

ただし、該当する言語の音声変換エンジンが電子書籍閲覧装置10に記憶(登録)されていない場合には、音声読み上げできない旨が使用者に報知される。図示は省略するが、しおりを音声で読み上げることができない旨のメッセージが閲覧画面100の前面に表示されたり、警告音がスピーカ28(または、図示しない別のスピーカ)から出力されたり、それらの両方が実行されたりする。以下、しおりを音声で読み上げることができない場合について同様である。   However, if the speech conversion engine of the corresponding language is not stored (registered) in the electronic book browsing apparatus 10, the user is notified that the speech cannot be read out. Although illustration is omitted, a message indicating that the bookmark cannot be read out by voice is displayed on the front of the browsing screen 100, a warning sound is output from the speaker 28 (or another speaker not shown), or both of them. Is executed. The same applies to the case where the bookmark cannot be read out by voice.

また、電子書籍データに関連して言語情報が記憶されていない場合には、図7に示すように、使用者に言語を選択させるための言語選択画面300が、閲覧画面100の前面に表示される。言語選択画面300では、表示領域302が表示され、その右側にボタン画像304が表示される。さらに、表示領域302およびボタン画像304の下方に、ボタン画像306が表示される。   When language information is not stored in association with electronic book data, a language selection screen 300 for allowing the user to select a language is displayed on the front of the browsing screen 100 as shown in FIG. The On the language selection screen 300, a display area 302 is displayed, and a button image 304 is displayed on the right side thereof. Further, a button image 306 is displayed below the display area 302 and the button image 304.

表示領域302には、使用者が選択した言語が表示される。ボタン画像304は、言語をプルダウンメニュー(図示せず)で表示するために設けられる。したがって、使用者は、ボタン画像304をタッチすることにより、プルダウンメニューを表示して、表示領域302に表示される言語を変更することができる。ただし、プルダウンメニューには、言語を自動で選択する(使用者が言語を選択しない)旨の表示(たとえば、「自動選択」)も含まれる。これは、使用者が電子書籍の言語を知らない(認識していない)場合もあるからである。ボタン画像306は、使用者が選択した言語を決定するために設けられる。   The display area 302 displays the language selected by the user. The button image 304 is provided for displaying a language in a pull-down menu (not shown). Therefore, the user can change the language displayed in the display area 302 by displaying a pull-down menu by touching the button image 304. However, the pull-down menu includes a display (for example, “automatic selection”) indicating that the language is automatically selected (the user does not select the language). This is because the user may not know (not recognize) the language of the electronic book. The button image 306 is provided for determining the language selected by the user.

ただし、ボタン画像306をタッチすることに代えて、ENTERキーが操作されてもよい。また、図示は省略するが、ボタン画像306がタッチされ、使用者が選択した言語が決定されると、選択言語画面300が非表示され、図6に示したような閲覧画面100に戻る。   However, instead of touching the button image 306, the ENTER key may be operated. Although illustration is omitted, when the button image 306 is touched and the language selected by the user is determined, the selected language screen 300 is not displayed and the browsing screen 100 as shown in FIG. 6 is returned.

言語選択画面300において、使用者が言語を選択した場合には、上述したように、当該言語の音声変換エンジンが電子書籍閲覧装置10に登録されているかどうかに応じた処理が実行される。簡単に説明すると、該当する言語の音声変換エンジンが電子書籍閲覧装置10に登録されている場合には、上述したように、操作パネル252に設けられた各ボタン画像252a−252dがタッチされた場合の処理が実行される。一方、該当する言語の音声変換エンジンが電子書籍閲覧装置10に登録されていない場合には、音声読み上げ出来ない旨が報知される。このことは、後述するように、言語の判定に失敗した場合についても同様である。   When the user selects a language on the language selection screen 300, processing according to whether or not the speech conversion engine of the language is registered in the electronic book browsing device 10 is executed as described above. Briefly, when the speech conversion engine of the corresponding language is registered in the electronic book browsing apparatus 10, the button images 252a-252d provided on the operation panel 252 are touched as described above. The process is executed. On the other hand, when the speech conversion engine of the corresponding language is not registered in the electronic book browsing apparatus 10, it is notified that the speech cannot be read out. The same applies to the case where language determination fails, as will be described later.

また、言語選択画面300において、使用者が言語を選択しない場合には、つまり「自動選択」を決定した場合には、自動的に言語が判定される。具体的には、まず、電子書籍データがテキストデータで作成されているかどうかが判断される。電子書籍データがテキストデータで作成されている場合には、その一部を抽出し、言語を判定する。このとき、複数の言語についての読み取りエンジンを用いて、テキストデータを読み取ることができるかどうかが判断され、読み取ることができた読み取りエンジンについての言語が電子書籍の言語であると判定される。   On the language selection screen 300, when the user does not select a language, that is, when “automatic selection” is determined, the language is automatically determined. Specifically, first, it is determined whether or not electronic book data is created as text data. When the electronic book data is created as text data, a part thereof is extracted and the language is determined. At this time, it is determined whether the text data can be read using the reading engines for a plurality of languages, and the language for the reading engines that can be read is determined to be the language of the electronic book.

一方、電子書籍データがテキストデータで作成されていない場合には、当該電子書籍データの一部を抽出して、テキストデータに変換する。たとえば、テキストデータに変換する技術としては、周知のOCR(Optical Character Reader)の技術を使用することができる。ただし、電子書籍データは、印字等された文字を光学的に読み取ったデータと同等であるため、OCRが実行される場合には、光学的に読み取る処理は実行されず、予め記憶されたパターン(文字認識用データ)と照合されることにより、文字列が特定され、特定された文字列のテキストデータが出力される。そして、上述したように、複数の言語についての読み取りエンジンを用いて、言語が判定される。   On the other hand, if the electronic book data is not created as text data, a part of the electronic book data is extracted and converted to text data. For example, as a technique for converting into text data, a well-known OCR (Optical Character Reader) technique can be used. However, since the electronic book data is equivalent to data obtained by optically reading a printed character or the like, when OCR is executed, the optical reading process is not executed and a pre-stored pattern ( The character string is identified by collating with (character recognition data), and the text data of the identified character string is output. Then, as described above, the language is determined using the reading engines for a plurality of languages.

言語の判定に失敗すると、しおりを音声で読み上げることができないことが判断され、音声読み上げ出来ない旨が報知される。一方、言語の判定に成功すると、判定された言語についての音声変換エンジンが電子書籍閲覧装置10に登録されているかどうかに応じた処理が実行される。   If the determination of the language fails, it is determined that the bookmark cannot be read out by voice, and a notification that the voice cannot be read out is notified. On the other hand, when the determination of the language is successful, processing according to whether or not the voice conversion engine for the determined language is registered in the electronic book browsing apparatus 10 is executed.

図8は図1に示したRAM24のメモリマップ500の一例を示す図である。図8に示すように、RAM24は、プログラム記憶領域502およびデータ記憶領域504を含む。プログラム記憶領域502は、電子書籍閲覧装置10の制御プログラムを記憶し、制御プログラムは、画像生成プログラム502a、画像表示プログラム502b、しおり作成プログラム502c、しおり読み上げプログラム502d、テキスト変換プログラム502e、読み取りエンジン502fおよび音声変換エンジン502gなどによって構成される。   FIG. 8 is a diagram showing an example of the memory map 500 of the RAM 24 shown in FIG. As shown in FIG. 8, the RAM 24 includes a program storage area 502 and a data storage area 504. The program storage area 502 stores a control program for the electronic book browsing apparatus 10, and the control programs include an image generation program 502a, an image display program 502b, a bookmark creation program 502c, a bookmark reading program 502d, a text conversion program 502e, and a reading engine 502f. And a voice conversion engine 502g.

画像生成プログラム502aは、電子書籍データ504a、しおりデータ504dおよびボタン画像データ(図示せず)等を用いて、各種画面(100、150、200、300など)についての表示画像データを生成するためのプログラムである。画像表示プログラム502bは、画像生成プログラム502aに従って生成された表示画像データをディスプレイ18に出力するためのプログラムである。   The image generation program 502a generates display image data for various screens (100, 150, 200, 300, etc.) using the electronic book data 504a, bookmark data 504d, button image data (not shown), and the like. It is a program. The image display program 502b is a program for outputting display image data generated according to the image generation program 502a to the display 18.

しおり作成プログラム502cは、自動的に、または、使用者の指示に従って、しおり情報を作成するためのプログラムである。しおり読み上げプログラム502dは、後述する音声変換エンジン502gおよび合成音声データ504cを用いて、しおりデータ504dに含まれるしおりのテキストデータを音声で出力するためのプログラムである。   The bookmark creation program 502c is a program for creating bookmark information automatically or in accordance with a user instruction. The bookmark reading program 502d is a program for outputting the text data of the bookmark included in the bookmark data 504d by voice using a voice conversion engine 502g and synthesized voice data 504c described later.

テキスト変換プログラム502eは、電子書籍データの一部をテキストデータに変換するためのプログラムである。読み取りエンジン502fは、テキストデータを読み取るためのプログラムであり、この実施例では、電子書籍データを読み取り可能であるかどうかを判断する。ただし、読み取りエンジン502fは、複数の言語の各々に対応して設けられる。音声変換エンジン502gは、合成音声データ504cを用いて、テキストデータを音声で出力するためのプログラムである。この音声変換エンジン502gは、複数の言語の各々に対応して設けられる。   The text conversion program 502e is a program for converting a part of electronic book data into text data. The reading engine 502f is a program for reading text data. In this embodiment, the reading engine 502f determines whether electronic book data can be read. However, the reading engine 502f is provided corresponding to each of a plurality of languages. The voice conversion engine 502g is a program for outputting text data by voice using the synthesized voice data 504c. The voice conversion engine 502g is provided corresponding to each of a plurality of languages.

なお、図示は省略するが、プログラム記憶領域502には、他のプログラムも記憶される。   Although not shown, other programs are also stored in the program storage area 502.

データ記憶領域504には、電子書籍データ504a、文字認識用データ504b、合成音声データ504cおよびしおりデータ504dが記憶される。   In the data storage area 504, electronic book data 504a, character recognition data 504b, synthesized voice data 504c, and bookmark data 504d are stored.

電子書籍データ504aは、出版物についての所定の形式(フォーマット)の電子データであり、図示しない言語情報などの属性情報が関連して記憶される。電子書籍データ504aは、1の出版物のみならず、複数の出版物を含む場合がある。文字認識用データ504bは、テキスト変換プログラム502eで、電子書籍データ504aをテキストデータに変換する際に、文字を認識するためのパターンについてのデータである。   The electronic book data 504a is electronic data of a predetermined format (format) about a publication, and attribute information such as language information (not shown) is stored in association with it. The electronic book data 504a may include not only one publication but also a plurality of publications. The character recognition data 504b is data about a pattern for recognizing characters when the text conversion program 502e converts the electronic book data 504a into text data.

合成音声データ504cは、テキストデータを音声で出力する際に用いられる音声データであり、言語毎に記憶される。しおりデータ504dは、しおり情報についてのデータである。上述したように、しおり情報は、少なくとも、しおりを設定する電子書籍の本文中の範囲についての位置情報(アドレス情報)と、しおりを設定する文字列のテキストデータとを含む。   The synthesized voice data 504c is voice data used when outputting text data by voice, and is stored for each language. Bookmark data 504d is data on bookmark information. As described above, the bookmark information includes at least position information (address information) about a range in the body of the electronic book in which the bookmark is set and text data of a character string in which the bookmark is set.

図示は省略するが、データ記憶領域504には、ボタン画像などのキャラクタ画像のデータなどの他のデータも記憶される。また、データ記憶領域504には、制御プログラムの実行に必要な、カウンタ(タイマ)やフラグなども設けられる。   Although illustration is omitted, the data storage area 504 stores other data such as character image data such as button images. The data storage area 504 is also provided with a counter (timer), a flag, and the like necessary for executing the control program.

図9は図1に示したCPU12のしおり作成処理を示すフロー図である。使用者がしおり作成の指示を入力すると、図9に示すように、CPU12は、しおり作成処理を開始し、ステップS1で、任意の範囲の選択があるかどうかを判断する。つまり、使用者がしおりを設定する範囲(先頭位置および末尾位置)を指定したかどうかを判断する。ステップS1で“YES”であれば、つまり任意の範囲が選択されれば、ステップS3で、選択範囲の読み込みを行い、ステップS7に進む。ステップS3では、使用者が指定した先頭位置と末尾位置とで決定される選択範囲に含まれる文字列を読み取りエンジン502fで読み取ることができるかどうかを判断する。上述したように、読み取ることができない場合には、エラーとなる。後述するステップS5においても同様である。一方、ステップS1で“NO”であれば、つまり任意の範囲が選択されなければ、ステップS5で、先頭から20文字を選択範囲として読み込みを行い、ステップS7に進む。   FIG. 9 is a flowchart showing bookmark creation processing of the CPU 12 shown in FIG. When the user inputs a bookmark creation instruction, as shown in FIG. 9, the CPU 12 starts a bookmark creation process, and determines whether or not an arbitrary range is selected in step S1. That is, it is determined whether or not the user has designated a range (head position and tail position) for setting a bookmark. If “YES” in the step S1, that is, if an arbitrary range is selected, the selected range is read in a step S3, and the process proceeds to the step S7. In step S3, it is determined whether or not the reading engine 502f can read the character string included in the selection range determined by the head position and the tail position specified by the user. As described above, if reading is impossible, an error occurs. The same applies to step S5 described later. On the other hand, if “NO” in the step S1, that is, if an arbitrary range is not selected, 20 characters from the head are read as a selected range in a step S5, and the process proceeds to a step S7.

なお、詳細な説明は省略するが、使用者がしおりを設定する位置ないし範囲を考えている時間を考慮するため、任意の範囲が選択されたかどうかの判断処理は、所定時間(たとえば、5〜10秒)実行される。   Although detailed explanation is omitted, in order to consider the time when the user considers the position or range where the bookmark is set, the determination process of whether or not an arbitrary range has been selected is performed for a predetermined time (for example, 5 to 5). 10 seconds).

ステップS7では、正しく読み取れたかどうかを判断する。ステップS7で“YES”であれば、つまり正しく読み取れれば、ステップS9で、しおりデータ504dに、選択範囲(アドレス情報)および文字列情報を記憶(追加)して、しおり作成処理を終了する。つまり、ステップS9では、選択範囲についての位置情報と、当該選択範囲について自動で読み取ったテキスデータとを含むしおり情報が登録される。一方、ステップS7で“NO”であれば、つまり正しく読み取れなければ、ステップS11で、図4に示したような入力選択画面150をディスプレイ18に表示する。   In step S7, it is determined whether the data has been read correctly. If “YES” in the step S7, that is, if it can be read correctly, in a step S9, the selection range (address information) and the character string information are stored (added) in the bookmark data 504d, and the bookmark creating process is ended. That is, in step S9, bookmark information including position information about the selected range and text data automatically read for the selected range is registered. On the other hand, if “NO” in the step S7, that is, if the reading is not correct, an input selection screen 150 as shown in FIG. 4 is displayed on the display 18 in a step S11.

次のステップS13では、自動入力かどうかを判断する。つまり、ボタン画像150bがタッチされたか、ボタン画像150cがタッチされたかを判断する。ステップS13で“YES”であれば、つまりボタン画像150cがタッチされれば、自動入力が選択されたと判断して、ステップS15で、しおりデータ504dに、選択範囲の位置情報および日時情報を記憶(追加)して、しおり作成処理を終了する。ただし、CPU12は、ステップS15の処理を実行するとき、RTC12aから日時情報を取得する。また、ステップS15では、選択範囲についての位置情報と、日時情報のテキストデータとを含むしおり情報が登録される。   In the next step S13, it is determined whether or not the input is automatic. That is, it is determined whether the button image 150b is touched or the button image 150c is touched. If “YES” in the step S13, that is, if the button image 150c is touched, it is determined that the automatic input is selected, and the position information and date / time information of the selected range are stored in the bookmark data 504d in a step S15 ( Add) to finish the bookmark creation process. However, the CPU 12 acquires date and time information from the RTC 12a when executing the process of step S15. In step S15, bookmark information including position information about the selected range and text data of date / time information is registered.

また、ステップS13で“NO”であれば、つまりボタン画像150bがタッチされれば、手動入力が選択されたと判断して、ステップS17で、図5に示したような入力画面200をディスプレイ18に表示する。次のステップS19では、キャンセルかどうかを判断する。つまり、CPU12は、ボタン画像200dがタッチされたかどうかを判断する。   If “NO” in the step S13, that is, if the button image 150b is touched, it is determined that the manual input is selected, and the input screen 200 as shown in FIG. indicate. In the next step S19, it is determined whether or not to cancel. That is, the CPU 12 determines whether or not the button image 200d has been touched.

ステップS19で“YES”であれば、つまりボタン画像200dがタッチされれば、キャンセルであると判断して、ステップS11に戻る。つまり、入力選択画面150に戻る。一方、ステップS19で“NO”であれば、つまりボタン画像200dがタッチされなければ、ステップS21で、文字列の入力の終了であるかどうかを判断する。   If “YES” in the step S19, that is, if the button image 200d is touched, it is determined that the cancel is made, and the process returns to the step S11. That is, the screen returns to the input selection screen 150. On the other hand, if “NO” in the step S19, that is, if the button image 200d is not touched, it is determined whether or not the input of the character string is completed in a step S21.

ステップS21で“NO”であれば、つまり文字列の入力の終了でなければ、そのままステップS19に戻る。したがって、文字列の入力が継続される。図示は省略するが、ステップS19とS21とのループを処理している間に、キー入力装置14を用いて文字が入力されると、入力された文字が表示領域200bに表示されるのである。   If “NO” in the step S21, that is, if the character string input is not finished, the process returns to the step S19 as it is. Therefore, the input of the character string is continued. Although illustration is omitted, if a character is input using the key input device 14 while the loop of steps S19 and S21 is being processed, the input character is displayed in the display area 200b.

一方、ステップS21で“YES”であれば、つまり文字列の入力の終了であれば、ステップS23で、しおりデータ504dに、選択範囲(アドレス情報)および文字列情報を記憶(追加)して、しおり作成処理を終了する。つまり、ステップS23では、選択範囲の位置情報と、使用者が手動で入力した文字列に対応するテキストデータと含むしおり情報が登録される。   On the other hand, if “YES” in the step S21, that is, if the input of the character string is completed, the selection range (address information) and the character string information are stored (added) in the bookmark data 504d in a step S23, and The bookmark creation process ends. That is, in step S23, the bookmark information including the position information of the selection range and the text data corresponding to the character string manually input by the user is registered.

図10−図12は、図1に示したCPU12のしおりの音声読み上げ処理を示すフロー図である。使用者がしおりの音声読み上げを指示すると、CPU12は、しおりの音声読み上げ処理を開始し、ステップS51で、言語情報があるかどうかを判断する。つまり、当該電子書籍データに関連して記憶された属性情報に言語情報が記述されているかどうかを判断する。   10 to 12 are flowcharts showing the voice reading process of the bookmark of the CPU 12 shown in FIG. When the user instructs the bookmark to be read aloud, the CPU 12 starts a bookmark voice reading process, and determines whether or not there is language information in step S51. That is, it is determined whether or not language information is described in the attribute information stored in association with the electronic book data.

ステップS51で“YES”であれば、つまり言語情報が有れば、ステップS53で、言語情報を抽出して、図11に示すステップS71に進む。一方、ステップS51で“NO”であれば、つまり言語情報が無ければ、ステップS55で、図7に示したような言語選択画面300をディスプレイ18に表示して、ステップS57で、言語の選択が有るかどうかを判断する。つまり、CPU12は、いずれかの言語が選択された状態で、ボタン画像306がタッチされたかどうかを判断する。   If “YES” in the step S51, that is, if there is language information, the language information is extracted in a step S53, and the process proceeds to a step S71 shown in FIG. On the other hand, if “NO” in the step S51, that is, if there is no language information, a language selection screen 300 as shown in FIG. 7 is displayed on the display 18 in a step S55, and the language is selected in a step S57. Judge whether there is. That is, the CPU 12 determines whether or not the button image 306 is touched in a state where any language is selected.

ステップS57で“YES”であれば、つまり言語が選択されれば、そのままステップS71に進む。一方、ステップS57で“NO”であれば、つまり「自動選択」が選択されれば、言語が選択されていないと判断して、ステップS59で、電子書籍データがテキストデータであるかどうかを判断する。ここでは、複数の言語の読み取りエンジン502fによって読み取り可能であるかどうかを判断する。上述したように、読み取り不能であれば、エラーとなる。   If “YES” in the step S57, that is, if a language is selected, the process proceeds to a step S71 as it is. On the other hand, if “NO” in the step S57, that is, if “automatic selection” is selected, it is determined that no language is selected, and whether or not the electronic book data is text data is determined in a step S59. To do. Here, it is determined whether or not reading is possible by the reading engines 502f of a plurality of languages. As described above, if reading is impossible, an error occurs.

ステップS59で“YES”であれば、つまり読み取りエンジン502fで読み取り可能であれば、電子書籍データはテキストデータであると判断して、ステップS61で、テキストデータの一部(たとえば、数行程度)を抽出して、図11に示すステップS65に進む。一方、ステップS59で“NO”であれば、つまり読み取りエンジン502fで読み取り不能であれば、ステップS63で、電子書籍データの一部(たとえば、数行程度に相当する範囲)をテキストデータに変換する処理を実行して、ステップS65に進む。上述したように、ステップS63では、OCRの技術を用いて、電子書籍データの一部がテキストデータに変換される。このとき、パターン認識のために、文字認識用データ504bが使用される。   If “YES” in the step S59, that is, if it can be read by the reading engine 502f, it is determined that the electronic book data is text data, and a part of the text data (for example, about several lines) is determined in a step S61. Is extracted, and the process proceeds to step S65 shown in FIG. On the other hand, if “NO” in the step S59, that is, if the reading engine 502f cannot read, a part (for example, a range corresponding to about several lines) of the electronic book data is converted into text data in a step S63. The process is executed and the process proceeds to step S65. As described above, in step S63, a part of the electronic book data is converted into text data using the OCR technique. At this time, the character recognition data 504b is used for pattern recognition.

図11に示すように、ステップS65では、テキストデータの抽出に成功したかどうかを判断する。ステップS65で“NO”であれば、テキストデータの抽出に失敗すれば、ステップS75に進む。たとえば、電子書籍データをテキストデータに正しく変換できない場合には、テキストデータを抽出することができない。一方、ステップS65で“YES”であれば、つまりテキストデータの抽出に成功すれば、ステップS67で、言語判定処理を実行し、ステップS69で、言語判定に成功したかどうかを判断する。   As shown in FIG. 11, in step S65, it is determined whether or not the text data has been successfully extracted. If “NO” in the step S65, if the text data extraction fails, the process proceeds to a step S75. For example, when electronic book data cannot be correctly converted into text data, the text data cannot be extracted. On the other hand, if “YES” in the step S65, that is, if extraction of the text data is successful, a language determination process is executed in a step S67, and it is determined whether or not the language determination is successful in a step S69.

ただし、ステップS67では、CPU12は、複数の言語の読み取りエンジン502fで読み取りを実行し、正しく読み取ることができた読み取りエンジンについての言語を、抽出したテキストデータすなわち電子書籍データの言語として判定する。一方、複数の言語の読み取りエンジン502fによって、抽出したテキストデータを読み取ることができなければ、言語判定に失敗したことになる。   However, in step S67, the CPU 12 performs reading with the reading engines 502f of a plurality of languages, and determines the language of the reading engine that has been read correctly as the language of the extracted text data, that is, electronic book data. On the other hand, if the extracted text data cannot be read by the reading engines 502f of a plurality of languages, the language determination has failed.

ステップS69で“NO”であれば、つまり言語判定に失敗すれば、ステップS75に進む。一方、ステップS69で“YES”であれば、つまり言語判定に成功すれば、ステップS71で、音声変換エンジンを選択する。ここでは、CPU12は、電子書籍の言語についての音声変換エンジンを選択する。次のステップ73では、該当する音声変換エンジンが有るかどうかを判断する。つまり、該当する言語の音声変換エンジンが電子書籍閲覧装置10(プログラム記憶領域502)に登録(記憶)されているかどうかを判断する。   If “NO” in the step S69, that is, if the language determination fails, the process proceeds to a step S75. On the other hand, if “YES” in the step S69, that is, if the language determination is successful, a speech conversion engine is selected in a step S71. Here, the CPU 12 selects a voice conversion engine for the language of the electronic book. In the next step 73, it is determined whether or not there is a corresponding speech conversion engine. That is, it is determined whether the speech conversion engine of the corresponding language is registered (stored) in the electronic book browsing apparatus 10 (program storage area 502).

ステップS73で“NO”であれば、つまり該当する音声変換エンジンが無ければ、ステップS75で、音声読み上げ不可を使用者に報知する。ここでは、CPU12は、音声読み上げが出来ない旨のメッセージをディスプレイ18に表示したり、その旨の音(警告音)をスピーカ28などから出力したり、それらの両方を実行したりする。   If “NO” in the step S73, that is, if there is no corresponding voice conversion engine, the user is notified in a step S75 that the voice reading is impossible. Here, the CPU 12 displays a message to the effect that the voice cannot be read out on the display 18, outputs a sound to that effect (warning sound) from the speaker 28 or the like, or executes both of them.

一方、ステップS73で“YES”であれば、つまり該当する音声変換エンジンが有れば、図12に示すステップS77で、音声読み上げの開始かどうかを判断する。つまり、CPU12は、ボタン画像252aがタッチされたかどうかを判断する。   On the other hand, if “YES” in the step S73, that is, if there is a corresponding speech conversion engine, it is determined whether or not the speech reading is started in a step S77 shown in FIG. That is, the CPU 12 determines whether or not the button image 252a is touched.

ステップS77で“NO”であれば、つまり音声読み上げの開始でなければ、そのままステップS81に進む。一方、ステップS77で“YES”であれば、つまり音声読み上げの開始であれば、ステップS79で、しおりの音声読み上げを開始する。ここでは、ステップS71で選択された音声変換エンジン502gを動作させることにより、合成音声データ504cを用いて、チェックボックス104aにチェックが入っている文字列についてのテキストデータから順に、音声読み上げが実行される。したがって、しおりの文字列に対応する音声がスピーカ28から出力される。図示は省略したが、電子書籍閲覧装置10にイヤホンジャックを設ける場合には、イヤホンが接続されたときに、しおりの文字列に対応する音声がそのイヤホンジャックから出力される。ただし、電子書籍閲覧装置10がBluetooth(登録商標)のような無線通信機能を備え、使用者がこの電子書籍閲覧装置10と無線通信可能なイヤホンを装着している場合には、音声読み上げによる音声データが当該イヤホンに無線通信によって送信される。   If “NO” in the step S77, that is, if the voice reading is not started, the process proceeds to a step S81 as it is. On the other hand, if “YES” in the step S77, that is, if the reading of the voice is started, the reading of the voice of the bookmark is started in a step S79. Here, by operating the speech conversion engine 502g selected in step S71, the speech is read out in order from the text data of the character string whose check box 104a is checked using the synthesized speech data 504c. The Therefore, the voice corresponding to the bookmark character string is output from the speaker 28. Although illustration is omitted, when an earphone jack is provided in the electronic book browsing apparatus 10, when the earphone is connected, sound corresponding to the character string of the bookmark is output from the earphone jack. However, when the electronic book browsing apparatus 10 has a wireless communication function such as Bluetooth (registered trademark) and the user wears an earphone capable of wireless communication with the electronic book browsing apparatus 10, the voice by reading aloud is read out. Data is transmitted to the earphone by wireless communication.

次のステップS81では、停止かどうかを判断する。つまり、CPU12は、ボタン画像252bがタッチされたかどうかを判断する。ステップS81“NO”であれば、つまり停止でなければ、そのままステップS87に進む。一方、ステップS81で“YES”であれば、つまり停止であれば、ステップS83で、しおりの音声読み上げを停止し、つまり音声変換エンジン502gを停止させる。そして、ステップS85で、該当する電子書籍の内容を表示して、ステップS87に進む。ここでは、CPU12は、チェックボックス104aがチェックされたしおり(文字列)に対応するテキストデータとともにしおり情報に含まれる位置情報(アドレス情報)を取得し、当該位置情報を含むページを表示領域102に表示したり、当該位置情報を先頭に表示領域102に本文を表示したりする。   In the next step S81, it is determined whether or not to stop. That is, the CPU 12 determines whether or not the button image 252b is touched. If “NO” in the step S81, that is, if not stopped, the process proceeds to a step S87 as it is. On the other hand, if “YES” in the step S81, that is, if it is stopped, the speech reading of the bookmark is stopped in a step S83, that is, the speech conversion engine 502g is stopped. In step S85, the contents of the corresponding electronic book are displayed, and the process proceeds to step S87. Here, the CPU 12 acquires the position information (address information) included in the bookmark information together with the text data corresponding to the bookmark (character string) whose check box 104 a is checked, and displays the page including the position information in the display area 102. Or display the text in the display area 102 with the position information at the top.

ステップS87では、戻りかどうかを判断する。つまり、CPU12は、ボタン画像252cがタッチされたかどうかを判断する。ステップS87で“NO”であれば、つまり戻りでなければ、そのままステップS91に進む。一方、ステップS87で“YES”であれば、つまり戻りであれば、ステップS89で、1つ前のしおりに戻って、ステップS91に進む。ステップS89では、手前の(1つ上の)しおりのチェックボックス104aがチェックされ、音声読み上げ中であれば、当該手前のしおりについての文字列ないし日時情報が音声で読み上げられる。ただし、最上段のしおりのチェックボックス104aがチェックされているときに、ボタン画像252cがタッチされると、最下段のしおりのチェックボックス104aがチェックされたり、読み上げられたりする。   In step S87, it is determined whether or not to return. That is, the CPU 12 determines whether or not the button image 252c is touched. If “NO” in the step S87, that is, if not returning, the process proceeds to a step S91 as it is. On the other hand, if “YES” in the step S87, that is, if a return is made, the process returns to the previous bookmark in a step S89 and proceeds to a step S91. In step S89, the check box 104a of the previous bookmark (up one) is checked, and if the voice is being read out, the character string or date / time information of the previous bookmark is read out by voice. However, when the button image 252c is touched while the uppermost bookmark check box 104a is checked, the lowermost bookmark check box 104a is checked or read out.

次のステップS91では、送りかどうかを判断する。つまり、CPU12は、ボタン画像252dがタッチされたかどうかを判断する。ステップS91で“NO”であれば、つまり送りでなければ、そのままステップS95に進む。一方、ステップS91で“YES”であれば、つまり送りであれば、ステップS93で、次のしおりに進んで、ステップS95に進む。ステップS93では、次の(1つ下の)しおりのチェックボックス104aがチェックされ、音声読み上げ中であれば、当該次のしおりについての文字列ないし日時情報が音声で読み上げられる。ただし、最下段のしおりのチェックボックス104aがチェックされているときに、ボタン画像252dがタッチされると、最上段のしおりのチェックボックス104aがチェックされたり、読み上げられたりする。   In the next step S91, it is determined whether or not to send. That is, the CPU 12 determines whether or not the button image 252d is touched. If “NO” in the step S91, that is, if not feeding, the process proceeds to a step S95 as it is. On the other hand, if “YES” in the step S91, that is, if it is a feed, the process proceeds to the next bookmark in a step S93, and then proceeds to the step S95. In step S93, the check box 104a for the next (one lower) bookmark is checked, and if it is being read out by voice, the character string or date / time information about the next bookmark is read out by voice. However, when the button image 252d is touched while the lowermost bookmark check box 104a is checked, the uppermost bookmark check box 104a is checked or read out.

そして、ステップS95では、終了かどうかを判断する。つまり、音声読み上げの終了が指示されたかどうかを判断する。ステップS95で“NO”であれば、つまり終了でなければ、そのままステップS77に戻る。一方、ステップS95で“YES”であれば、つまり終了であれば、しおりの音声読み上げ処理を終了する。   In step S95, it is determined whether or not the process is finished. That is, it is determined whether or not the end of the speech reading is instructed. If “NO” in the step S95, that is, if not finished, the process returns to the step S77 as it is. On the other hand, if “YES” in the step S95, that is, if it is finished, the bookmark speech reading process is finished.

この実施例によれば、しおりの文字列情報を音声で出力するので、目視により所望のしおりを検索するよりも容易に検索することができる。特に、多数のしおりが登録されている場合には、その効果が顕著に現れる。   According to this embodiment, since the character string information of the bookmark is output by voice, it is possible to search more easily than by searching for a desired bookmark visually. In particular, when a large number of bookmarks are registered, the effect appears remarkably.

なお、この実施例では、電子書籍を閲覧する装置として、専用の電子書籍閲覧装置を用いた場合について説明したが、これに限定される必要はない。たとえば、PDA、携帯電話機、スマートフォン、タブレット型のコンピュータ(iPad、iPod、Walkman(登録商標)などを含む)、PC(ノート、デスクトップ)、携帯ゲーム機、電子黒板、デジタルフォトフレーム、電子レンジおよび冷蔵庫などを用いることもできる。ただし、電子レンジおよび冷蔵庫は、レシピなどを読む機能が付いていることを前提とする。   In this embodiment, the case where a dedicated electronic book browsing apparatus is used as an apparatus for browsing an electronic book has been described. However, the present invention is not limited to this. For example, PDA, mobile phone, smartphone, tablet computer (including iPad, iPod, Walkman (registered trademark), etc.), PC (notebook, desktop), portable game machine, electronic blackboard, digital photo frame, microwave oven and refrigerator Etc. can also be used. However, it is assumed that the microwave oven and refrigerator have a function of reading recipes and the like.

たとえば、携帯電話機やスマートフォンを用いる場合には、音声を出力しないモード(マナーモード)が設定されている場合がある。かかる場合には、しおりの音声読み上げを開始することが判断されたときに、音声読み上げするかどうかを使用者に確認し、使用者が音声読み上げすることを選択した場合に、しおりの音声読み上げを開始するようにすればよい。   For example, when a mobile phone or a smartphone is used, a mode (silent mode) in which no sound is output may be set. In such a case, when it is determined to start reading aloud a bookmark, the user is asked whether or not to read aloud, and if the user chooses to speak aloud, Just start.

したがって、携帯電話機やスマートフォンを用いる場合には、図13に示すように、図10−図12に示したしおり音声読み上げ処理の一部が変更される。図13に示すように、CPU12は、ステップS77で“YES”と判断すると、ステップS101で、マナーモードが設定されているかどうかを判断する。ステップS101で“NO”であれば、つまりマナーモードが設定されていなければ、そのままステップS79に進む。   Therefore, when using a mobile phone or a smartphone, as shown in FIG. 13, a part of the bookmark voice reading process shown in FIGS. 10 to 12 is changed. As shown in FIG. 13, when the CPU 12 determines “YES” in step S77, it determines whether or not the manner mode is set in step S101. If “NO” in the step S101, that is, if the manner mode is not set, the process proceeds to a step S79 as it is.

一方、ステップS101で“YES”であれば、つまりマナーモードが設定されていれば、ステップS103で、確認画面をディスプレイ18に表示する。図示は省略するが、たとえば、確認画面には、マナーモードが設定されているが、しおりを読み上げるかどうかを質問する旨のメッセージが表示されるとともに、しおりを読み上げることを選択するボタン画像およびしおりを読み上げないことを選択するボタン画像が表示される。   On the other hand, if “YES” in the step S101, that is, if the manner mode is set, a confirmation screen is displayed on the display 18 in a step S103. Although illustration is omitted, for example, although the manner mode is set on the confirmation screen, a message asking whether or not to read the bookmark is displayed, and a button image and a bookmark for selecting to read the bookmark are displayed. A button image for selecting not to read is displayed.

そして、ステップS105では、しおりを読み上げるかどうかを判断する。ステップS105で“NO”であれば、つまりしおりを読み上げないことを選択するボタン画像がタッチされれば、しおりを読み上げないと判断して、そのままステップS81に進む。一方、ステップS105で“YES”であれば、つまりしおりを読み上げることを選択するボタン画像がタッチされれば、しおりを読み上げると判断して、ステップS79に進む。   In step S105, it is determined whether to read the bookmark. If “NO” in the step S105, that is, if a button image for selecting not to read the bookmark is touched, it is determined that the bookmark is not read, and the process proceeds to a step S81 as it is. On the other hand, if “YES” in the step S105, that is, if a button image for selecting reading a bookmark is touched, it is determined that the bookmark is read, and the process proceeds to a step S79.

なお、図13では、ステップS101−S105の処理を、ステップS77とステップS79との間で実行するようにしたが、これらの処理はステップS1の前で実行してもよい。ただし、かかる場合には、ステップS105で“NO”であれば、そのまましおり音声読み上げ処理を終了するようにしてもよい。   In FIG. 13, the processes in steps S101 to S105 are executed between steps S77 and S79. However, these processes may be executed before step S1. However, in such a case, if “NO” in the step S105, the bookmark voice reading process may be terminated as it is.

また、この実施例では、テキストデータをデジタル音声信号に変換する音声変換エンジンを使用するため、しおり情報に含む文字列情報(日時情報)をテキスト形式にしたが、他のフォーマットのデータをデジタル音声信号に変換する音声変換エンジンを用いる場合には、当該他のフォーマットの文字列情報(日時情報)をしおり情報に含むようにすればよい。   In this embodiment, since a voice conversion engine that converts text data into a digital voice signal is used, character string information (date and time information) included in bookmark information is in a text format. However, data in other formats is converted into digital voice. When a speech conversion engine that converts signals is used, the character string information (date / time information) of the other format may be included in the bookmark information.

さらに、この実施例では、ディスプレイ上にタッチパネルを設けるようにしたが、タッチパネルは設けなくてもよいし、コンピュータマウスのような他のポインティングデバイスを用いるようにしてもよい。   Furthermore, in this embodiment, the touch panel is provided on the display, but the touch panel may not be provided, or another pointing device such as a computer mouse may be used.

さらにまた、この実施例では、しおりの音声読み上げ処理では、電子書籍の言語情報を抽出し、音声変換エンジンを選択して、しおりを読み上げるため、この実施例で示したようなしおり情報が登録されている電子書籍であれば、しおりを読み上げることが可能である。つまり、しおりデータは、この実施例の電子書籍閲覧装置を用いて作成および登録される必要はない。   Furthermore, in this embodiment, in the bookmark speech reading process, the language information of the electronic book is extracted, the speech conversion engine is selected, and the bookmark is read, so that the bookmark information as shown in this embodiment is registered. If you have an e-book, you can read a bookmark. That is, the bookmark data does not need to be created and registered using the electronic book browsing apparatus of this embodiment.

さらに、この実施例では、文字を入力する場合には、キー入力装置のようなハードウェアキーを用いるようにしたが、ソフトウェアキーをディスプレイに表示し、このソフトウェアキーを用いて文字等を入力するようにしてもよい。   Further, in this embodiment, when inputting characters, a hardware key such as a key input device is used. However, software keys are displayed on the display, and characters and the like are input using the software keys. You may do it.

さらにまた、以上の説明で挙げた具体的な文字数や画面は、いずれも単なる一例であり、製品の仕様などの必要に応じて適宜変更可能である。   Furthermore, the specific number of characters and screens mentioned in the above description are merely examples, and can be appropriately changed according to the needs of product specifications and the like.

また、上述の実施例では、しおり音声読み上げ処理において、該当する音声変換エンジンが無い場合(ステップS73で“NO”)には、音声読み上げを行わずに、しおり音声読み上げ処理を終了するようにしたが、これに限定される必要はない。他の実施例では、(1)外部の(他の)コンピュータでしおり情報に含まれるテキストデータを合成音声データに変換し、変換された合成音声データを受信して再生するようにしてもよい。(2)また、外部のコンピュータから該当する音声変換エンジンの配信し、配信された音声変換エンジンを動作させることにより、しおりの音声読み上げを実行するようにしてもよい。   In the above-described embodiment, if there is no corresponding voice conversion engine in the bookmark voice reading process (“NO” in step S73), the voice reading process is ended without performing voice reading. However, it need not be limited to this. In another embodiment, (1) text data included in bookmark information may be converted into synthesized voice data by an external (other) computer, and the converted synthesized voice data may be received and reproduced. (2) Alternatively, the corresponding voice conversion engine may be distributed from an external computer, and the voice conversion of the bookmark may be executed by operating the distributed voice conversion engine.

かかる場合には、外部のコンピュータと通信する必要がある。したがって、他の実施例では、図14に示すように、電子書籍閲覧装置10には、さらに、他の(外部の)コンピュータとの間で通信するための無線通信モジュール30が設けられ、CPU12に接続される。また、無線通信モジュール30には、アンテナ32が接続される。ただし、有線で外部のコンピュータやネットワークに、通信可能に接続されるようにしてもよい。   In such a case, it is necessary to communicate with an external computer. Therefore, in another embodiment, as shown in FIG. 14, the electronic book browsing apparatus 10 is further provided with a wireless communication module 30 for communicating with another (external) computer. Connected. An antenna 32 is connected to the wireless communication module 30. However, it may be communicably connected to an external computer or network by wire.

図15に示すように、システム50は、サーバ52を含み、サーバ52はインターネットやLANのようなネットワーク52を介して電子書籍閲覧装置10に接続される。このサーバ52が上述した外部のコンピュータに相当する。たとえば、サーバ52は、汎用のサーバであり、多数の言語についての音声変換エンジンおよび合成音声データを記憶する。たとえば、サーバ52は、電子書籍閲覧装置10が備える音声変換エンジンの数よりも多い数の言語についての音声変換エンジンおよび合成音声データを記憶している。   As shown in FIG. 15, the system 50 includes a server 52, and the server 52 is connected to the electronic book browsing apparatus 10 via a network 52 such as the Internet or a LAN. This server 52 corresponds to the external computer described above. For example, the server 52 is a general-purpose server, and stores speech conversion engines and synthesized speech data for many languages. For example, the server 52 stores voice conversion engines and synthesized voice data for a larger number of languages than the number of voice conversion engines included in the electronic book browsing apparatus 10.

上記の(1)の場合には、電子書籍閲覧装置10は、該当する音声変換エンジンが無いと判断すると、電子書籍の言語情報、しおりのテキストデータおよび音声変換要求を、ネットワーク54を介してサーバ52に送信する。サーバ52は、言語情報およびしおりのテキストデータを受信すると、当該しおりのテキストデータを、合成音声データを用いて、当該言語情報が示す言語についての音声変換エンジンを動作させることにより、しおりの合成音声データを生成する。そして、サーバ52は、生成したしおりの合成音声データを、音声変換要求を送信してきた電子書籍閲覧装置10に送信する。したがって、電子書籍閲覧装置10は、しおりの合成音声データを受信し、その後に、音声読み上げの開始が指示されると、当該しおりの合成音声データを再生(出力)する。   In the case of (1) above, when the electronic book browsing apparatus 10 determines that there is no corresponding voice conversion engine, the electronic book browsing apparatus 10 sends the language information of the electronic book, the text data of the bookmark, and the voice conversion request to the server via the network 54. 52. When the server 52 receives the language information and the text data of the bookmark, the server 52 operates the speech conversion engine for the language indicated by the language information by using the synthesized speech data for the bookmark text data. Generate data. Then, the server 52 transmits the generated synthesized voice data of the bookmark to the electronic book browsing apparatus 10 that has transmitted the voice conversion request. Therefore, when the electronic book browsing apparatus 10 receives the synthesized voice data of the bookmark and then instructs to start reading out the voice, the electronic book browsing apparatus 10 reproduces (outputs) the synthesized voice data of the bookmark.

具体的には、図16に示すように、図10−図12に示したしおりの音声読み上げ処理の一部が変更される。ここでは、簡単のため、変更された処理についてのみ説明することにする。図16に示すように、該当する音声変換エンジンが無い場合には、ステップS73で“NO”となり、CPU12は、ステップS121で、サーバ52に、電子書籍の言語情報、しおりのテキストデータおよび音声変換要求を送信する。続くステップS123では、しおりの合成音声データを受信したかどうかを判断する。   Specifically, as shown in FIG. 16, a part of the bookmark voice reading process shown in FIGS. 10 to 12 is changed. Here, for the sake of simplicity, only the changed processing will be described. As shown in FIG. 16, if there is no corresponding speech conversion engine, “NO” is determined in the step S73, and the CPU 12 sends the language information of the electronic book, the text data of the bookmark, and the speech conversion to the server 52 in a step S121. Send a request. In a succeeding step S123, it is determined whether or not the synthesized voice data of the bookmark is received.

ステップS123で“YES”であれば、つまりしおりの合成音声データを受信すれば、そのままステップS77に進む。ただし、CPU12は、ステップS79で、しおりの読み上げを開始すると、受信したしおりの合成音声データを再生(出力)する。一方、ステップS123で“NO”であれば、つまりしおりの合成音声データを受信しなければ、ステップS125で、エラーかどうかを判断する。たとえば、CPU12は、通信エラーが発生したり、サーバ12からエラーの通知を受信したりしたかどうかを判断する。このことは、後述する(2)の場合についても同様である。ステップS125で“NO”であれば、つまりエラーでなければ、そのままステップS123に戻る。一方、ステップS125で“YES”であれば、つまりエラーであれば、ステップS75に進む。   If “YES” in the step S123, that is, if the synthesized voice data of the bookmark is received, the process proceeds to a step S77 as it is. However, when the CPU 12 starts reading the bookmark in step S79, the CPU 12 reproduces (outputs) the received synthesized voice data of the bookmark. On the other hand, if “NO” in the step S123, that is, if the synthesized voice data of the bookmark is not received, it is determined whether or not there is an error in a step S125. For example, the CPU 12 determines whether a communication error has occurred or an error notification has been received from the server 12. The same applies to the case of (2) described later. If “NO” in the step S125, that is, if not an error, the process returns to the step S123 as it is. On the other hand, if “YES” in the step S125, that is, if an error occurs, the process proceeds to a step S75.

また、上記の(2)の場合には、電子書籍閲覧装置10は、該当する音声変換エンジンが無いと判断すると、電子書籍の言語情報および音声変換エンジンの配信要求を、ネットワーク54を介してサーバ52に送信する。サーバ52は、電子書籍の言語情報および音声変換エンジンの配信要求を受信すると、当該言語情報が示す言語についての音声変換エンジンを、当該配信要求を送信してきた電子書籍閲覧装置10に配信(送信)する。したがって、電子書籍閲覧装置10は、音声変換エンジンを受信し、その後に、音声読み上げの開始が指示されると、受信した音声変換エンジを動作させて、しおりの音声読み上げを実行する。   In the case of (2) above, when the electronic book viewing apparatus 10 determines that there is no corresponding voice conversion engine, the electronic book browsing apparatus 10 sends the language information of the electronic book and the delivery request for the voice conversion engine to the server via the network 54. 52. Upon receiving the electronic book language information and the voice conversion engine delivery request, the server 52 delivers (transmits) the voice conversion engine for the language indicated by the language information to the electronic book browsing apparatus 10 that has sent the delivery request. To do. Accordingly, when the electronic book browsing apparatus 10 receives the voice conversion engine and then instructs to start reading the voice, the electronic book browsing apparatus 10 operates the received voice conversion engine to read the voice of the bookmark.

具体的には、図17に示すように、図10−図12に示したしおりの音声読み上げ処理の一部が変更される。ここでは、簡単のため、変更された処理についてのみ説明することにする。図17に示すように、該当する音声変換エンジンが無い場合には、ステップS73で“NO”となり、CPU12は、ステップS131で、サーバ52に、電子書籍の言語情報および音声変換エンジンの配信要求を送信する。続くステップS133では、音声変換エンジンを受信したかどうかを判断する。   Specifically, as shown in FIG. 17, a part of the bookmark voice reading process shown in FIGS. 10 to 12 is changed. Here, for the sake of simplicity, only the changed processing will be described. As shown in FIG. 17, if there is no corresponding voice conversion engine, “NO” is determined in the step S73, and the CPU 12 sends the electronic book language information and the voice conversion engine distribution request to the server 52 in a step S131. Send. In a succeeding step S133, it is determined whether or not the voice conversion engine is received.

ステップS133で“YES”であれば、つまり音声変換エンジンを受信すれば、ステップS77に進む。したがって、CPU12は、ステップS79で、しおりの読み上げを開始すると、受信した音声変換エンジンを動作させる。一方、ステップS133で“NO”であれば、つまり音声変換エンジンを受信しなければ、ステップS135で、エラーかどうかを判断する。ステップS135で“NO”であれば、そのままステップS133に戻る。一方、ステップS135で“YES”であれば、ステップS75に進む。   If “YES” in the step S133, that is, if the voice conversion engine is received, the process proceeds to a step S77. Therefore, when the CPU 12 starts reading the bookmark in step S79, the CPU 12 operates the received voice conversion engine. On the other hand, if “NO” in the step S133, that is, if the voice conversion engine is not received, it is determined whether or not an error occurs in a step S135. If “NO” in the step S135, the process returns to the step S133 as it is. On the other hand, if “YES” in the step S135, the process proceeds to a step S75.

なお、通信機能を備える携帯電話機やスマートフォンを用いる場合には、さらに、図13に示したような処理を実行することも可能である。   In addition, when using a mobile phone and a smart phone provided with a communication function, it is also possible to perform a process as shown in FIG.

また、他の実施例では、該当する音声変換エンジンが無い場合に、外部のコンピュータ(サーバ52)でしおりのテキストデータを合成音声データに変換したり、サーバ52から音声変換エンジンをダウロードしたりするようにしたが、言語判定に失敗した場合(ステップS69)には、さらに、サーバ52で、言語判定を実行するようにしてもよい。かかる場合には、電子書籍から抽出したテキストデータおよび言語判定要求がサーバ52に送信される。サーバ52は、電子書籍閲覧装置10と同様の言語判定処理を実行し、言語を判定する。詳細な説明は省略するが、サーバ52は、電子書籍閲覧装置10が備える読み取りエンジンの数よりも多い数の言語についての読み取りエンジンを備えている。そして、判定結果を、言語判定要求のあった電子書籍閲覧装置10に通知する。   In another embodiment, when there is no corresponding voice conversion engine, the text data of the bookmark is converted into synthesized voice data by the external computer (server 52), or the voice conversion engine is downloaded from the server 52. However, if the language determination fails (step S69), the server 52 may further execute the language determination. In such a case, text data extracted from the electronic book and a language determination request are transmitted to the server 52. The server 52 executes a language determination process similar to that of the electronic book browsing apparatus 10 to determine the language. Although detailed description is omitted, the server 52 includes reading engines for a number of languages larger than the number of reading engines included in the electronic book browsing apparatus 10. Then, the determination result is notified to the electronic book browsing apparatus 10 that has made the language determination request.

さらに、図16および図17の説明では省略したが、サーバ52でしおりのテキストデータを合成音声データに変換することができない場合や、サーバ52から音声変換エンジンを配信できない場合に、サーバ52は電子書籍閲覧装置10にエラーを通知する。   Further, although omitted in the description of FIG. 16 and FIG. 17, when the text data of the bookmark cannot be converted into the synthesized voice data by the server 52 or when the voice conversion engine cannot be distributed from the server 52, the server 52 is electronic. An error is notified to the book browsing apparatus 10.

10 …電子書籍閲覧装置
12 …コンピュータ
14 …キー入力装置
16 …表示ドライバ
18 …ディスプレイ
20 …タッチパネル
22 …HDD
24 …RAM
28 …スピーカ
50 …システム
52 …サーバ
54 …ネットワーク
DESCRIPTION OF SYMBOLS 10 ... Electronic book browsing apparatus 12 ... Computer 14 ... Key input device 16 ... Display driver 18 ... Display 20 ... Touch panel 22 ... HDD
24 ... RAM
28 ... Speaker 50 ... System 52 ... Server 54 ... Network

Claims (10)

電子書籍のしおりを音声で出力するしおり出力装置であって、
前記電子書籍に設定されたしおりの文字列情報を記憶する記憶部と、
前記電子書籍の言語情報を抽出する抽出部と、
前記抽出部によって抽出された言語情報に応じた音声変換エンジンを選択するエンジン選択部と、
前記エンジン選択部によって選択された音声変換エンジンを動作させることにより、前記記憶部に記憶された前記しおりの文字列情報を音声で出力する出力部を備える、しおり出力装置。
A bookmark output device for outputting a bookmark of an electronic book by voice,
A storage unit that stores character string information of a bookmark set in the electronic book;
An extraction unit for extracting language information of the electronic book;
An engine selection unit that selects a speech conversion engine according to the language information extracted by the extraction unit;
A bookmark output device comprising: an output unit that outputs the character string information of the bookmark stored in the storage unit by voice by operating the voice conversion engine selected by the engine selection unit.
前記電子書籍の前記言語情報が記憶されているかどうかを判断する言語情報判断部と、
前記言語情報判断部によって前記電子書籍の前記言語情報が記憶されていないことが判断されたとき、前記電子書籍の言語情報を使用者に選択させる言語情報選択部をさらに備え、
前記抽出は、前記言語情報選択部によって選択された言語情報を抽出する、請求項1記載のしおり出力装置。
A language information determination unit for determining whether or not the language information of the electronic book is stored;
When the language information determination unit determines that the language information of the electronic book is not stored, the language information determination unit further includes a language information selection unit that allows the user to select language information of the electronic book,
The bookmark output device according to claim 1, wherein the extraction unit extracts language information selected by the language information selection unit.
前記言語情報選択部によって前記電子書籍の前記言語情報が選択されないとき、前記電子書籍のフォーマットが所定のフォーマットであるかどうかを判断するフォーマット判断部と、
前記フォーマット判断部によって前記電子書籍が所定のフォーマットであることが判断されたとき、当該所定のフォーマットを読み取り可能な読み取りエンジンに基づいて前記電子書籍の言語情報を判定する言語情報判定部をさらに備え、
前記抽出は、前記言語情報判定部によって判定された言語情報を抽出する、請求項2記載のしおり出力装置。
A format determination unit that determines whether the format of the electronic book is a predetermined format when the language information of the electronic book is not selected by the language information selection unit;
A language information determination unit that determines language information of the electronic book based on a reading engine capable of reading the predetermined format when the format determination unit determines that the electronic book is in a predetermined format; ,
The bookmark output device according to claim 2, wherein the extraction unit extracts language information determined by the language information determination unit.
前記フォーマット判断部によって前記電子書籍が所定のフォーマットでないことが判断されたとき、当該電子書籍を前記所定のフォーマットに変換する変換部をさらに備える、請求項3記載のしおり出力装置。   The bookmark output device according to claim 3, further comprising: a converting unit that converts the electronic book into the predetermined format when the format determining unit determines that the electronic book is not in the predetermined format. 音を出力しないモードが設定されているかどうかを判断するモード判断部と、
前記モード判断部によって音を出力しないモードが設定されていると判断されたとき、前記出力部を動作させるかどうかを判断する動作判断部をさらに備え、
前記動作判断部によって前記出力部を動作させることが判断されたとき、前記出力部は、前記エンジン選択部によって選択された音声変換エンジンを動作させることにより、前記記憶部に記憶された前記しおりの文字列情報を音声で出力する、請求項1ないし4のいずれかに記載のしおり出力装置。
A mode determination unit that determines whether or not a mode in which no sound is output is set;
An operation determining unit that determines whether to operate the output unit when the mode determining unit determines that a mode that does not output sound is set;
When the operation determining unit determines that the output unit is to be operated, the output unit operates the voice conversion engine selected by the engine selecting unit to thereby store the bookmark stored in the storage unit. The bookmark output device according to any one of claims 1 to 4, which outputs character string information by voice.
通信部と、
前記抽出部によって抽出された言語情報に応じた音声変換エンジンが無いとき、外部のコンピュータに、前記記憶部に記憶された前記しおりの文字列情報を音声データに変換させる音声変換要求を送信する変換要求送信部と、
前記外部のコンピュータから送信された音声データを受信する音声データ受信部をさらに備え、
前記出力部は、前記音声データ受信部によって受信された音声データに対応する音声を出力する、請求項1ないし5のいずれかに記載のしおり出力装置。
A communication department;
Conversion for transmitting a voice conversion request for converting the bookmark character string information stored in the storage unit into voice data to an external computer when there is no voice conversion engine corresponding to the language information extracted by the extraction unit A request transmitter;
An audio data receiving unit for receiving audio data transmitted from the external computer;
The bookmark output device according to any one of claims 1 to 5, wherein the output unit outputs a voice corresponding to the voice data received by the voice data receiving unit.
通信部と、
前記抽出部によって抽出された言語情報に応じた音声変換エンジンが無いとき、外部のコンピュータに、当該音声変換エンジンの配信要求を送信する配信要求送信部と、
前記外部のコンピュータから配信された前記音声変換エンジンを受信する音声変換エンジン受信部をさらに備え、
前記出力部は、前記音声変換エンジン受信部によって受信された前記声変換エンジンを動作させることにより、前記記憶部に記憶された前記しおりの文字列情報を音声で出力する、請求項1ないし5のいずれかに記載のしおり出力装置。
A communication department;
When there is no voice conversion engine according to the language information extracted by the extraction unit, a distribution request transmission unit that transmits a distribution request of the voice conversion engine to an external computer;
A voice conversion engine receiving unit for receiving the voice conversion engine distributed from the external computer;
The output unit, by operating the sound voice conversion engine that is received by the speech engine receiving unit, and outputs a voice character string information of the bookmark stored in the storage unit, claims 1 5 The bookmark output device according to any one of the above.
電子書籍に設定されたしおりの文字列情報を記憶する記憶部を備え、前記電子書籍のしおりを音声で出力する、コンピュータのしおり出力プログラムであって、
前記コンピュータに、
前記電子書籍の言語情報を抽出する抽出ステップと、
前記抽出ステップによって抽出された言語情報に応じた音声変換エンジンを選択するエンジン選択ステップと、
前記エンジン選択ステップによって選択された音声変換エンジンを動作させることにより、前記記憶部に記憶された前記しおりの文字列情報を音声で出力する出力ステップを実行させる、しおり出力プログラム。
A bookmark output program for a computer comprising a storage unit for storing character string information of a bookmark set in an electronic book, and outputting the bookmark of the electronic book by voice,
In the computer,
An extraction step of extracting language information of the electronic book;
An engine selection step of selecting a speech conversion engine according to the language information extracted by the extraction step;
A bookmark output program for executing an output step of outputting the character string information of the bookmark stored in the storage unit by voice by operating the voice conversion engine selected in the engine selection step.
電子書籍に設定されたしおりの文字列情報を記憶する記憶部を備え、前記電子書籍のしおりを音声で出力する、コンピュータのしおり出力方法であって、
前記コンピュータは、
(a)前記電子書籍の言語情報を抽出し、
(b)前記ステップ(a)によって抽出された言語情報に応じた音声変換エンジンを選択し、そして
(c)前記ステップ(b)によって選択された音声変換エンジンを動作させることにより、前記記憶部に記憶された前記しおりの文字列情報を音声で出力する、しおり出力方法。
A bookmark output method for a computer, comprising a storage unit for storing character string information of a bookmark set in an electronic book, and outputting the bookmark of the electronic book by voice,
The computer
(A) extracting language information of the electronic book;
(B) selecting a speech conversion engine according to the language information extracted in the step (a), and (c) operating the speech conversion engine selected in the step (b) A bookmark output method for outputting the stored character string information of the bookmark by voice.
電子書籍を閲覧する電子書籍閲覧装置であって、
前記電子書籍に設定されたしおりの文字列情報を記憶する記憶部と、
前記電子書籍の言語情報を抽出する抽出部と、
前記抽出部によって抽出された言語情報に応じた音声変換エンジンを選択するエンジン選択部と、
前記エンジン選択部によって選択された音声変換エンジンを動作させることにより、前記記憶部に記憶された前記しおりの文字列情報を音声で出力する出力部を備える、電子書籍閲覧装置。
An electronic book browsing device for browsing electronic books,
A storage unit that stores character string information of a bookmark set in the electronic book;
An extraction unit for extracting language information of the electronic book;
An engine selection unit that selects a speech conversion engine according to the language information extracted by the extraction unit;
An electronic book browsing apparatus comprising: an output unit that outputs the character string information of the bookmark stored in the storage unit by voice by operating the voice conversion engine selected by the engine selection unit.
JP2011094656A 2011-04-21 2011-04-21 Bookmark output device, bookmark output program, bookmark output method, and electronic book browsing device Active JP5660966B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011094656A JP5660966B2 (en) 2011-04-21 2011-04-21 Bookmark output device, bookmark output program, bookmark output method, and electronic book browsing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011094656A JP5660966B2 (en) 2011-04-21 2011-04-21 Bookmark output device, bookmark output program, bookmark output method, and electronic book browsing device

Publications (2)

Publication Number Publication Date
JP2012226626A JP2012226626A (en) 2012-11-15
JP5660966B2 true JP5660966B2 (en) 2015-01-28

Family

ID=47276705

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011094656A Active JP5660966B2 (en) 2011-04-21 2011-04-21 Bookmark output device, bookmark output program, bookmark output method, and electronic book browsing device

Country Status (1)

Country Link
JP (1) JP5660966B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015060451A (en) * 2013-09-19 2015-03-30 株式会社日立ソリューションズ Electronic book data distribution server, computer program used for viewing electronic book data, and data structure of electronic book data

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05342269A (en) * 1992-06-09 1993-12-24 Ricoh Co Ltd Document management system
JP2001014305A (en) * 1999-06-30 2001-01-19 Sony Corp Electronic document processing method, electronic document processing apparatus, and recording medium on which electronic document processing program is recorded
JP2003316565A (en) * 2002-04-25 2003-11-07 Canon Inc Reading device, control method thereof, and program

Also Published As

Publication number Publication date
JP2012226626A (en) 2012-11-15

Similar Documents

Publication Publication Date Title
CN114564113B (en) Handwriting input on electronic devices
JP6138866B2 (en) Device, method and graphical user interface for document manipulation
CN205427822U (en) Electronic equipment and device that is used for editing text
CN101506867B (en) Keyboards with input-sensitive display devices
JP6038927B2 (en) Establishing content navigation direction based on directional user gestures
CN103403659B (en) Apparatus, method and graphical user interface for navigating a list of identifiers
US20180239512A1 (en) Context based gesture delineation for user interaction in eyes-free mode
US9898111B2 (en) Touch sensitive device and method of touch-based manipulation for contents
EP3155501B1 (en) Accessibility detection of content properties through tactile interactions
EP2871563A1 (en) Electronic device, method and storage medium
TW201419053A (en) Method for operation of pen function and electronic device supporting the same
JP2017111797A (en) Devices, methods, and graphical user interfaces for keyboard interface functionalities
JP6991486B2 (en) Methods and systems for inserting characters into strings
JP2019514097A (en) Method for inserting characters in a string and corresponding digital device
US20170109343A1 (en) Dictionary device, dictionary search method, dictionary system, and server device
KR102213861B1 (en) Sketch retrieval system, user equipment, service equipment, service method and computer readable medium having computer program recorded therefor
EP3938878A1 (en) System and method for navigating interfaces using touch gesture inputs
JP7496699B2 (en) Display device
EP2835734A1 (en) Apparatus and method for selecting a control object by voice recognition
JP5660966B2 (en) Bookmark output device, bookmark output program, bookmark output method, and electronic book browsing device
JP2019101739A (en) Information processor, information processing system and program
JP5608602B2 (en) Bookmark creation device, bookmark creation program, bookmark creation method, and electronic book browsing device
JP2010165120A (en) Device and method for displaying electronic information
US20150347004A1 (en) Indic language keyboard interface
JP5213794B2 (en) Information processing apparatus and information processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140805

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140919

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141202

R150 Certificate of patent or registration of utility model

Ref document number: 5660966

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150