JP7554624B2 - System of record - Google Patents
System of record Download PDFInfo
- Publication number
- JP7554624B2 JP7554624B2 JP2020163829A JP2020163829A JP7554624B2 JP 7554624 B2 JP7554624 B2 JP 7554624B2 JP 2020163829 A JP2020163829 A JP 2020163829A JP 2020163829 A JP2020163829 A JP 2020163829A JP 7554624 B2 JP7554624 B2 JP 7554624B2
- Authority
- JP
- Japan
- Prior art keywords
- inspection
- unit
- mode
- information
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 claims description 133
- 239000000284 extract Substances 0.000 claims description 33
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 2
- 230000037430 deletion Effects 0.000 claims description 2
- 238000007689 inspection Methods 0.000 description 897
- 238000012545 processing Methods 0.000 description 211
- 238000000034 method Methods 0.000 description 195
- 230000008569 process Effects 0.000 description 190
- 238000012360 testing method Methods 0.000 description 177
- 238000012790 confirmation Methods 0.000 description 31
- 238000010276 construction Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 27
- 230000004044 response Effects 0.000 description 25
- 230000006870 function Effects 0.000 description 13
- 238000005259 measurement Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000009435 building construction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000003908 quality control method Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、撮影部で撮影した映像を記録する記録システムの技術に関する。 The present invention relates to a recording system technology that records video captured by a camera unit.
従来、撮影部で撮影した映像を記録する記録システムの技術は公知となっている。例えば、特許文献１に記載の如くである。
The technology for recording systems that record images captured by a camera unit is publicly known. For example, see
特許文献１に記載の建築現場管理システムは、現場ポータブルシステム及び映像蓄積伝送サーバ等を具備する。現場ポータブルシステムは、建築現場を巡回する監視作業員が携帯するものである。現場ポータブルシステムは、ビデオカメラを具備する。映像蓄積伝送サーバには、ビデオカメラで撮像された映像データが、ネットワークを介して入力される。映像蓄積伝送サーバは、入力された映像データをＨＤＤ等の記憶装置に蓄積する。確認者（映像データを確認する者）は、映像蓄積伝送サーバにアクセスすることで、蓄積された映像データを確認することができる。
The construction site management system described in
しかし、特許文献１に記載の現場ポータブルシステムは、映像データの長さが長時間となった場合に、当該長時間の映像データの中から確認したい箇所を見つけ出す必要がある。このため、映像データの確認に時間がかかり、ひいては確認者の負担が増大する可能性があった。
However, with the on-site portable system described in
本発明は、以上の如き状況を鑑みてなされたものであり、その解決しようとする課題は、確認者の負担を低減することが可能な記録システムを提供するものである。 The present invention was made in consideration of the above situation, and the problem it aims to solve is to provide a recording system that can reduce the burden on the reviewer.
本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。 The problem that the present invention aims to solve is as described above, and the means for solving this problem will be explained next.
即ち、請求項１においては、音声を含む映像を撮影可能な撮影部と、前記映像に含まれた前記音声を認識する音声認識部と、前記音声認識部での認識結果に基づいて、前記撮影部で撮影した第一映像の中から、一部の時間帯の映像である第二映像を抽出する抽出部と、前記第二映像を記憶する記憶部と、を具備し、前記音声認識部は、前記音声の認識結果を、前記第一映像において当該音声の出力が開始される時間と関連付けて記憶し、前記抽出部は、キーワードが前記認識結果に含まれていた場合に、当該認識結果と関連付けられた前記時間を開始時間として取得し、前記第一映像の中から、前記開始時間以降の時間帯の映像を含むように前記第二映像を抽出し、前記キーワードを含む前記音声の認識結果と、前記第二映像に関する画像と、を表示する表示部をさらに具備するものである。
That is, in
請求項２においては、前記撮影部は、作業現場を撮影するものであり、前記キーワードには、前記作業現場に関する用語が含まれるものである。
In
請求項３においては、前記抽出部は、前記第一映像に含まれた前記音声に基づいて、前記開始時間よりも遅い終了時間を特定し、前記第一映像の中から、前記開始時間から前記終了時間までの時間帯の映像を含むように前記第二映像を抽出するものである。 In claim 3 , the extraction unit identifies an end time that is later than the start time based on the audio contained in the first video, and extracts the second video from the first video so as to include video of the time period from the start time to the end time.
請求項４においては、前記抽出部は、前記音声の認識結果及び当該認識結果と関連付けられた時間に基づいて、前記音声認識部が所定時間前記音声を認識しなかった時間を特定し、当該特定した時間に基づいて前記終了時間を特定可能である。
In
請求項５においては、前記抽出部は、前記開始時間よりも所定時間前の時間から、前記終了時間よりも所定時間後の時間までの時間帯の映像を前記第二映像として抽出するものである。 In a fifth aspect of the present invention, the extraction section extracts, as the second image, an image of a time period from a time that is a predetermined time before the start time to a time that is a predetermined time after the end time.
請求項６においては、前記記憶部は、前記第一映像及び前記第二映像をそれぞれ記憶するものである。 In the sixth aspect of the present invention, the storage section stores the first image and the second image.
請求項７においては、前記記憶部が前記第一映像を記憶してから所定期間が経過した場合に、当該第一映像を削除する削除部をさらに具備するものである。 In a seventh aspect of the present invention, the video recording apparatus further comprises a deleting section which deletes the first video when a predetermined period of time has elapsed since the storage section stored the first video.
本発明の効果として、以下に示すような効果を奏する。 The effects of the present invention are as follows:
請求項１においては、第一映像を確認する確認者の負担を低減することができる。また第一映像からキーワードに関連する事柄を抽出することがきる。また利便性を向上させることができる。
In
請求項２においては、作業現場に関連する事柄を抽出することができる。
In
請求項３においては、第二映像を比較的短時間なものにできる。
In the third aspect, the second image can be made to be of a relatively short duration.
請求項４においては、終了時間を簡単に特定することができる。
In
請求項５においては、キーワードに関連する事柄の全てを、第二映像に含ませ易くすることができる。 In claim 5 , it is possible to easily include all matters related to the keyword in the second image.
請求項６においては、抽出部で抽出されなかった時間帯の映像を確認することができる。
In the sixth aspect, it is possible to check the video of the time period not extracted by the extraction section.
請求項７においては、記憶部の容量を確保することができる。 In the seventh aspect, the capacity of the storage section can be secured.
以下では、本実施形態に係る支援システム１について説明する。
The following describes the
図１に示す支援システム１は、データの入力を支援するためのものである。本実施形態において、支援システム１は、建物の建築作業を行う現場（建築現場）で得られたデータの入力を支援する目的で用いられる。より詳細には、建築現場においては、建物の検査（検査対象物が所定の基準を満たしているか等を調べる作業）や点検作業（建物を見て回る作業等）が行われている。建築現場においては、こうして行われた検査の結果や点検作業の結果等のデータが、後述するサーバ３０へ入力される（記録される）。支援システム１は、このようなサーバ３０へのデータの入力を支援する。支援システム１は、端末１０、サーバ３０及び社内システム４０等を具備する。
The
図１及び図２に示す端末１０は、利用者Ｂ（支援システム１を利用してサーバ３０へデータを入力する者）が所持する機器である。端末１０は、利用者Ｂが装着可能な眼鏡型のウェアラブルデバイスによって構成される。端末１０は、スピーカ１１、マイク１２、カメラ１３及び処理部１４を具備する。
The terminal 10 shown in Figs. 1 and 2 is a device carried by user B (a person who inputs data into the
スピーカ１１は、音声を出力するためのものである。マイク１２は、音声を入力するためのものである。カメラ１３は、写真や映像（動画）を撮影するためのものである。カメラ１３は、映像の撮影時にマイク１２を用いて音声を含む映像を撮影することができる。スピーカ１１、マイク１２及びカメラ１３は、眼鏡のフレーム１０ａに適宜設けられる。当該フレーム１０ａには、例えば、カメラ１３でシャッターを切るためのボタン等も適宜設けられる（不図示）。これにより、端末１０は、利用者Ｂ（図７参照）が適宜操作可能に構成される。
The
図１に示す処理部１４は、演算処理を行うためのものである。処理部１４は、ハードウェア資源とソフトウェア資源との協動により、演算処理を行うことができる。処理部１４は、前記ハードウェア資源として、演算装置及び記憶装置等を具備する。また、処理部１４は、前記ソフトウェア資源として、ＯＳ１５、音声認識部１６及びモード制御部１７を具備する。
The
ＯＳ１５は、プログラムを実行させるための基本となるソフトウェアである。ＯＳ１５は、後述するサーバ３０や関係者端末Ｒ１０との通信を管理したり、記憶装置との間でのデータの受け渡しを管理することができる。また、ＯＳ１５は、スピーカ１１、マイク１２及びカメラ１３との間の入出力を管理することができる。
The
音声認識部１６は、利用者Ｂが発した言葉（発話内容）を認識するためのものである。音声認識部１６は、ＯＳ１５上で動作可能なプログラムによって構成される。音声認識部１６は、音声ファイルを解析し、テキストファイルへと変換可能に構成される。
The
モード制御部１７は、利用者Ｂに所定の機能を提供するための複数のモードを実行するためのものである。モードとは、所定の機能を提供するために設定された一連の処理を指す。モード制御部１７は、ＯＳ１５を介してスピーカ１１等を適宜制御することができる。
The
具体的には、モード制御部１７は、ＯＳ１５を介してスピーカ１１に信号を送信し、所定の音声を出力させることができる。また、モード制御部１７は、マイク１２に信号を送信し、マイク１２への音声入力を受け付ける（マイク１２を介して録音する）ことができる。また、モード制御部１７は、マイク１２から受信した信号に基づいて、マイク１２を介して録音した音声ファイルを取得することができる。また、モード制御部１７は、カメラ１３から受信した信号に基づいて、カメラ１３で撮影したファイル（例えば、画像ファイルや映像ファイル）を取得することができる。
Specifically, the
また、モード制御部１７は、音声認識部１６に指示を出し、音声ファイルをテキストファイルに変換することができる。また、モード制御部１７は、音声認識部１６からの応答に基づいて、変換したテキストファイルを取得することができる。
The
また、モード制御部１７は、ネットワーク回線Ｎを介してサーバ３０と通信することで、当該サーバ３０との間でファイルの転送を行うことができる。より詳細には、モード制御部１７は、サーバ３０から検査項目テーブル３１をダウンロードしたり、カメラ１３で撮影した画像ファイル等をサーバ３０へアップロードすることができる。
The
また、モード制御部１７は、ネットワーク回線Ｎを介して利用者Ｂ以外の者、例えば、建築現場の関係者Ｒが使用する関係者端末Ｒ１０（例えば、パソコンやスマートフォン等）と通信することができる。モード制御部１７は、マイク１２に入力された音声（電気信号）を関係者端末Ｒ１０に送信すると共に、関係者端末Ｒ１０から受信した音声（電気信号）をスピーカ１１から出力させることができる。こうして利用者Ｂは、端末１０を介して関係者Ｒと通話することができる。また、モード制御部１７は、カメラ１３で撮影した映像を関係者端末Ｒ１０に送信することができる。関係者端末Ｒ１０は、モード制御部１７から受信した映像を表示させることができる。こうして関係者Ｒは、カメラ１３で撮影した様子を確認することができる。
The
上述の如く構成されたモード制御部１７において実行される複数のモードには、検査モード、記録モード及び通話モードが含まれる。
The multiple modes executed by the
検査モードは、利用者Ｂが建物の検査を行うためのモードである。通話モードは、利用者Ｂが利用者Ｂ以外の者（本実施形態では関係者Ｒ）と通話するためのモードである。記録モードは、カメラ１３で撮影した様子（例えば、点検作業の様子等）を記録するためのモードである。検査モード、通話モード及び記録モードについては後述する。 The inspection mode is a mode in which user B inspects the building. The call mode is a mode in which user B makes a call to a person other than user B (in this embodiment, related person R). The recording mode is a mode in which the state captured by the camera 13 (for example, the state of the inspection work, etc.) is recorded. The inspection mode, call mode, and recording mode will be described later.
モード制御部１７は、複数のモードのいずれを実行するのかを選択可能（後述するモード選択処理を実行可能）に構成される。また、図３示すように、モード制御部１７は、検査モード、記録モード及び通話モードを実行するためのもの（ＯＳ１５上で動作可能なプログラム）として、検査処理部１８、通話処理部１９及び記録処理部２０を具備する。
The
検査処理部１８は、検査モードを実行するためのものである。検査処理部１８は、後述するように、利用者Ｂが発した言葉に基づいて適宜処理を行うことができる。検査処理部１８は、検査で使用するための記憶領域Ａ１０（空き領域、図１参照）を端末１０の記憶装置に確保することができる。検査処理部１８の処理については後述する。
The
通話処理部１９は、通話モードを実行するためのものである。通話処理部１９は、後述するように、利用者Ｂが発した言葉に基づいて適宜処理を行うことができる。通話処理部１９の処理については後述する。
The
記録処理部２０は、記録モードを実行するためのものである。記録処理部２０は、後述するように、利用者Ｂが発した言葉に基づいて適宜処理を行うことができる。記録処理部２０の処理については後述する。
The
図１に示すサーバ３０は、端末１０及び後述する社内システム４０からの要求に応じて適宜処理を行うものである。サーバ３０は、ネットワーク回線Ｎを介して端末１０及び社内システム４０と接続される。サーバ３０は、クラウドサーバ（厳密には、クラウドサーバ内に仮想的に構築されたサーバ）によって構成される。サーバ３０には、カメラ１３での撮影結果（図１０に示す画像ファイルＣ１１・Ｃ１２参照）や音声認識部１６での認識結果（図１０に示すテキストファイルＦ１１参照）等を記憶するための記憶領域Ａ３０が確保される。記憶領域Ａ３０には、複数のフォルダ（記憶場所、ＯＳによってはディレクトリともいう）が作成される（図２５参照）。記憶領域Ａ３０の構成については後述する。サーバ３０は、検査項目テーブル３１及び保存用ＤＢ３２を具備する。
The
図４に示す検査項目テーブル３１は、検査項目に関する情報を格納するものである。検査項目テーブル３１には、「Ｎｏ」、「工程・部位等」、「検査項目」及び「管理値」が含まれる。 The inspection item table 31 shown in FIG. 4 stores information about inspection items. The inspection item table 31 includes "No.", "Process/part, etc.", "Inspection item," and "Control value."
「Ｎｏ」は、検査項目テーブル３１のレコード毎に割り当てられる通し番号である。 "No." is a serial number assigned to each record in the test item table 31.
「工程・部位等」は、検査の工程（建物の工事におけるどの工程での検査であるのか）、及び検査対象の部位（建物のどの箇所を対象とした検査であるのか）を示すものである。検査の工程としては、例えば、コンクリート打設前の検査であるのか、フレッシュコンクリートの受入の検査であるのか等がある。また、検査対象の部位としては、例えば、基礎等がある。なお、図４に示す検査項目テーブル３１の「工程・部位等」には、検査の工程等を示す文字列が格納されているが、これに限定されるものではなく、検査の工程等を一意に特定可能な数値等が格納されるものであってもよい。 "Process/part, etc." indicates the inspection process (which process in the building construction the inspection is being performed at) and the part to be inspected (which part of the building the inspection is being performed at). The inspection process can be, for example, an inspection before pouring concrete or an inspection of the receipt of fresh concrete. The part to be inspected can be, for example, the foundation. Note that, although the "Process/part, etc." in the inspection item table 31 shown in FIG. 4 stores a character string indicating the inspection process, etc., this is not limited to this, and a numerical value that can uniquely identify the inspection process, etc. may be stored.
「検査項目」は、検査の工程及び検査対象の部位において実施する検査の内容を示すものである。例えば、所定の数値に異常がないかの検査である場合、「検査項目」には、当該数値に相当する情報（例えば、『スランプ値』等）が格納される。なお、図４に示す検査項目テーブル３１の「検査項目」には、検査の内容を示す文字列が格納されているが、これに限定されるものではなく、検査の内容を一意に特定可能な数値等が格納されるものであってもよい。 "Test item" indicates the test process and the content of the test to be performed on the part being tested. For example, if the test is to check whether there are any abnormalities in a specified numerical value, "test item" stores information corresponding to that numerical value (e.g., "slump value"). Note that "test item" in the test item table 31 shown in FIG. 4 stores a character string indicating the content of the test, but is not limited to this, and may store a numerical value or the like that can uniquely identify the content of the test.
「管理値」は、「検査項目」が示す検査の合否判定の基準となる情報を示すものである。「管理値」には、検査の内容に応じて、合格となる値や範囲等が格納される。なお、図４に示す検査項目テーブル３１の「管理値」には、合否判定の基準を示す文字列が格納されているが、これに限定されるものではなく、合否判定の基準を一意に特定可能な数値等が格納されるものであってもよい。 The "control value" indicates information that serves as the standard for determining whether the test indicated by the "test item" passes or fails. The "control value" stores a pass value or range, etc., depending on the content of the test. Note that the "control value" in the test item table 31 shown in FIG. 4 stores a character string that indicates the pass/fail criteria, but is not limited to this, and may store a numerical value that can uniquely identify the pass/fail criteria.
図１に示す保存用ＤＢ３２は、カメラ１３での撮影結果（図１０に示す画像ファイルＣ１１・Ｃ１２参照）やマイク１２を介して録音した音声ファイルや音声認識部１６での認識結果（図１０に示すテキストファイルＦ１１参照）等を記憶するためのもの（テーブル群）である。保存用ＤＢ３２には、例えば、画像ファイルを記憶するためのテーブル、音声ファイルを記憶するためのテーブル及びテキストファイルを記憶するためのテーブル等が含まれる。保存用ＤＢ３２は、例えば、画像ファイル等のファイルパス（より詳細にはフルパス）を、検査項目テーブル３１の「工程・部位等」及び「管理項目」の情報と関連付けて記憶する。これにより、保存用ＤＢ３２は、画像ファイル等がどの検査で得られたものなのかを特定可能となるように、当該画像ファイルを記憶することができる。
The
上述の如く構成されたサーバ３０は、他の端末（例えば、端末１０や関係者端末Ｒ１０等）からの要求に応じて、保存用ＤＢ３２に登録されたデータを提供可能に構成される。具体的には、サーバ３０は、例えば、保存用ＤＢ３２からデータを抽出してＷｅｂページ（例えば、ｈｔｍｌ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）ドキュメント等）を生成し、要求があった端末へ生成したＷｅｂページを送信する。サーバ３０は、当該Ｗｅｂページとして、例えば、確認画面３３（図２４参照）を生成することができる。当該端末において当該Ｗｅｂページを表示することで、保存用ＤＢ３２に登録されたデータを確認することができる。なお、確認画面３３については後述する。
The
社内システム４０は、検査に関する情報を適宜管理するためのものである。社内システム４０は、サーバ３０と通信することで、検査項目テーブル３１の内容を変更する（新たにレコードを追加したり既存のレコードを上書きする）ことができる。より詳細には、例えば、社内システム４０には、検査項目テーブル３１の内容を変更するデータが手動で入力される。社内システム４０は、当該データに基づいて検査項目テーブル３１の内容を変更する。また、社内システム４０は、サーバ３０と通信することで、保存用ＤＢ３２から情報（画像ファイル等）を取得することができる。また、社内システム４０は、取得した情報に基づいて、図５に示す検査報告書Ｄを作成することができる。
The in-
検査報告書Ｄは、検査の結果を報告するためのものである。図５は、検査報告書Ｄの一例を示すものである。図５に示す検査報告書Ｄには、「Ｎｏ」、「工程・部位等」、「検査項目」、「管理値」、「検査値」、「合否」及び「写真」等が含まれる。 Inspection report D is used to report the results of the inspection. Figure 5 shows an example of inspection report D. Inspection report D shown in Figure 5 includes "No.", "Process/part, etc.", "Inspection item," "Control value," "Inspection value," "Pass/fail," and "Photo," etc.
「Ｎｏ」、「工程・部位等」、「検査項目」及び「管理値」は、検査項目テーブル３１の「Ｎｏ」、「工程・部位等」、「検査項目」及び「管理値」と同様である。 "No.", "Process/part, etc.", "Inspection item," and "Control value" are the same as "No.", "Process/part, etc.", "Inspection item," and "Control value" in inspection item table 31.
「検査値」は、検査の結果（例えば、測定値等）を示すものである。「合否」は、検査の結果（「検査値」）が合格基準を満たしているか否かを示すものである。「写真」は、検査で撮影された結果（カメラ１３で撮った画像）を示すものである。 "Test value" indicates the result of the test (e.g., a measurement value, etc.). "Pass/fail" indicates whether the test result ("test value") meets the pass criteria. "Photo" indicates the result photographed during the test (an image taken by camera 13).
上述の如く構成された支援システム１は、利用者Ｂが建築現場で作業（例えば、検査等）を行う場合に使用され、種々のデータ（例えば、検査の結果等）がサーバ３０に記録される。より詳細には、利用者Ｂは、作業の開始前（又は作業中）に、用途に応じたモードを選択する。これにより、選択したモードが実行され、利用者Ｂに種々の機能が提供される。利用者Ｂは、当該機能を利用して、作業を円滑に行うことができる。このようなモードの実行時に得られた検査の結果等のデータが、適宜サーバ３０に記録される。以下、具体的に説明する。
The
まず、利用者Ｂがモードを選択するためのモード選択処理について説明する。モード選択処理は、端末１０を起動して、モード選択処理を指示する言葉（例えば、『モード選択』との言葉等）が発話された場合に開始される。 First, we will explain the mode selection process that allows user B to select a mode. The mode selection process is started when the terminal 10 is started and a word that indicates the mode selection process (for example, the word "mode selection") is spoken.
図６に示すように、モード選択処理が開始されると、モード制御部１７は、ステップＳ１０へ移行する。ステップＳ１０において、モード制御部１７は、利用者Ｂと対話することで、プロジェクトを選択する。プロジェクトは、建物を建築するプロジェクトの名称や建築現場の名称を示すものである。
As shown in FIG. 6, when the mode selection process starts, the
ステップＳ１０において、モード制御部１７は、プロジェクトを問い合わせるための音声（例えば、『プロジェクトを選択して下さい』との音声）をスピーカ１１から出力させる。利用者Ｂは、スピーカ１１からの音声に対してプロジェクトを発声（回答）する。モード制御部１７は、マイク１２を介して当該利用者Ｂが発声した言葉（例えば、『Ａプロジェクト』等の言葉）を録音する。モード制御部１７は、マイク１２を介して録音した音声ファイルを音声認識部１６で処理してテキストファイル（発話内容）を取得する。
In step S10, the
端末１０の記憶装置には、予めプロジェクトに関する情報（例えば、プロジェクトの名称等）が記憶されている。ステップＳ１０において、モード制御部１７は、取得したテキストファイルとプロジェクトに関する情報とを対比することで、複数のプロジェクトの中から利用者Ｂが選択（発声）したプロジェクトを一意に特定する。モード制御部１７は、ステップＳ１０の処理が終了すると、ステップＳ２０へ移行する。
Information about the project (e.g., the name of the project, etc.) is stored in advance in the storage device of the terminal 10. In step S10, the
ステップＳ２０において、モード制御部１７は、利用者Ｂと対話することで、実行するモードを選択する。具体的には、モード制御部１７は、モードを問い合わせるための音声（例えば、『モードを選択して下さい』との音声）をスピーカ１１から出力させ、当該音声に対して利用者Ｂが発声した言葉（例えば、『検査モード』等の言葉）を音声認識部１６で処理して認識結果（モードについての発話内容）を取得する。モード制御部１７は、ステップＳ２０の処理が終了すると、ステップＳ３０へ移行する。
In step S20, the
ステップＳ３０において、モード制御部１７は、ステップＳ２０で選択（発声）されたモードが検査モードであるか否かを確認する。モード制御部１７は、ステップＳ２０で選択されたモードが検査モードである場合に（ステップＳ３０：Ｙｅｓ）、ステップＳ４０へ移行する。一方、モード制御部１７は、ステップＳ２０で選択されたモードが検査モードではない場合に（ステップＳ３０：Ｎｏ）、ステップＳ５０へ移行する。
In step S30, the
ステップＳ４０において、モード制御部１７は、検査処理部１８により、検査モードを実行する。検査モードの流れ（検査処理部１８の処理）については後述する。
In step S40, the
ステップＳ５０において、モード制御部１７は、ステップＳ２０で選択されたモードが通話モードであるか否かを確認する。モード制御部１７は、ステップＳ２０で選択されたモードが通話モードである場合に（ステップＳ５０：Ｙｅｓ）、ステップＳ６０へ移行する。一方、モード制御部１７は、ステップＳ２０で選択されたモードが通話モードではない場合に（ステップＳ５０：Ｎｏ）、ステップＳ７０へ移行する。
In step S50, the
ステップＳ６０において、モード制御部１７は、通話処理部１９により、通話モードを実行する。通話モードの流れ（通話処理部１９の処理）については後述する。
In step S60, the
ステップＳ７０において、モード制御部１７は、ステップＳ２０で選択されたモードが記録モードであるか否かを確認する。モード制御部１７は、ステップＳ２０で選択されたモードが記録モードである場合に（ステップＳ７０：Ｙｅｓ）、ステップＳ８０へ移行する。一方、モード制御部１７は、ステップＳ２０で選択されたモードが記録モードではない場合に（ステップＳ７０：Ｎｏ）、ステップＳ２０へ移行し、実行するモードをもう一度確認する。
In step S70, the
ステップＳ８０において、モード制御部１７は、記録処理部２０により、記録モードを実行する。記録モードの流れ（記録処理部２０の処理）については後述する。
In step S80, the
上述の如く構成されたモード選択処理において利用者Ｂは、発声することでプロジェクト及びモードを選択することができる（ステップＳ１０・Ｓ２０）。これにより、利用者Ｂの手を使うことなくプロジェクト及びモードを選択することができるため、選択の手間を減らして利用者Ｂの負担を低減することができる。 In the mode selection process configured as described above, user B can select a project and a mode by speaking (steps S10 and S20). This allows user B to select a project and a mode without using his/her hands, reducing the effort required for selection and the burden on user B.
以下では、モード選択処理により選択されるモード（検査モード、通話モード及び記録モード）の流れについて説明する。 The following describes the flow of the modes (test mode, call mode, and record mode) selected by the mode selection process.
まず、図７及び図８を参照し、検査モードの流れ（検査処理部１８の処理）について説明する。 First, the flow of the inspection mode (processing of the inspection processing unit 18) will be explained with reference to Figures 7 and 8.
上述の如く、検査モードは、利用者Ｂが建物の検査を行うためのモードであり、検査処理部１８により実行される。なお、本実施形態においては、検査を行う前の事前作業Ａ１１０として、最新の検査項目テーブル３１を取得することが予め決められている。このため、利用者Ｂは、建築現場に行く前に端末１０を操作して、サーバ３０から最新の検査項目テーブル３１を取得する（事前作業Ａ１１０）。端末１０は、当該検査項目テーブル３１を記憶領域Ａ１０に格納する。
As described above, the inspection mode is a mode for user B to inspect a building, and is executed by the
その後、利用者Ｂは、建築現場へ行き、検査モードを実行する（建物の検査を行う）。すなわち、利用者Ｂは、モード選択処理においてプロジェクトを選択し（図６に示すステップＳ１０）、検査モードを選択可能な言葉（例えば、『検査モード』等の言葉）を発声することで、検査モードを実行する（図６に示すステップＳ２０、ステップＳ３０：Ｙｅｓ、ステップＳ４０）。以下、検査モードについて具体的に説明する。 After that, User B goes to the construction site and executes the inspection mode (performs an inspection of the building). That is, User B selects the project in the mode selection process (step S10 shown in FIG. 6), and executes the inspection mode by uttering a word that allows the selection of the inspection mode (e.g., a word such as "inspection mode") (step S20, step S30: Yes, step S40 shown in FIG. 6). The inspection mode will be described in detail below.
検査モードが開始されると、利用者Ｂは、複数の検査の中のどの検査を行うのかを特定可能となるように、検査に関する言葉を適宜発声する（ステップＳ１１０）。例えば、利用者Ｂは、検査項目テーブル３１の「工程・部位等」に格納された値に関する言葉（『フレッシュコンクリートの受入検査』等）を発声する。検査処理部１８は、マイク１２を介して当該利用者Ｂが発声した言葉を録音する。
When the inspection mode is started, user B appropriately speaks words related to the inspection so that it is possible to identify which of the multiple inspections is to be performed (step S110). For example, user B speaks words related to the value stored in the "process/part, etc." in the inspection item table 31 (such as "receiving inspection of fresh concrete"). The
検査処理部１８は、マイク１２を介して録音した音声ファイルを音声認識部１６で処理してテキストファイルを取得する。検査処理部１８は、取得したテキストファイルを解析し、複数の検査の中から利用者Ｂが行う検査を特定する。
The
検査処理部１８は、端末１０の記憶領域Ａ１０に格納された検査項目テーブル３１から「検査項目」を読み込んで、利用者Ｂと対話する形で検査を支援する（ステップＳ１２０～Ｓ２００）。検査処理部１８は、このような検査の支援を、全ての「検査項目」（「工程・部位等」に対応する全ての「検査項目」）が終了するまで行う。
The
具体的には、検査処理部１８は、利用者Ｂが発声した「工程・部位等」（『フレッシュコンクリートの受入検査』等）をキーに検査項目テーブル３１を検索し、「検査項目」を読み込む（ステップＳ１２０）。検査処理部１８は、読み込んだ「検査項目」の情報をスピーカ１１から出力させる（読み上げる）ことで、利用者Ｂに対して「検査項目」を質問する（ステップＳ１３０）。利用者Ｂは、スピーカ１１からの音声に基づいて、「検査項目」の内容を検査する。そして、利用者Ｂは、検査の結果を発声（回答）する（ステップＳ１４０）。
Specifically, the
検査処理部１８は、検査の結果を検査項目テーブル３１の「管理値」と照合する（ステップＳ１５０）。具体的には、検査処理部１８は、ステップＳ１４０で利用者Ｂが発声した言葉（検査の結果）を録音した音声ファイルを、音声認識部１６で処理してテキストファイルを取得する。検査処理部１８は、取得したテキストファイルを解析して検査の結果のデータ（例えば、検査の結果を示す値等）を取得し、検査項目テーブル３１の「管理値」と対比する。
The
そして、検査処理部１８は、検査結果を判定する（ステップＳ１６０）。このとき、検査処理部１８は、検査の結果が「管理値」の条件を満たしている場合、検査の結果（「合否」）がＯＫであると判定する。一方、検査処理部１８は、検査の結果が「管理値」の条件を満たしていない場合、検査の結果がＮＧであると判定する。
Then, the
その後、検査処理部１８は、スピーカ１１を介して音声を出力し、カメラ１３での撮影を促す（ステップＳ１７０）。利用者Ｂは、端末１０を操作して、カメラ１３で適宜の箇所を撮影する（ステップＳ１８０）。
Then, the
カメラ１３での撮影が行われると、検査処理部１８は、撮影された画像ファイルを保存する（ステップＳ１９０）。このとき、検査処理部１８は、カメラ１３からの画像ファイルを記憶領域Ａ１０に格納すると共に、当該画像ファイルをサーバ３０にアップロードする。サーバ３０は、アップロードされた画像ファイルを記憶領域Ａ３０の適宜のフォルダに記憶する。また、サーバ３０は、アップロードされた画像ファイルの記憶先（フルパス）を保存用ＤＢ３２に登録する。
When an image is captured by the
検査処理部１８は、このようなステップＳ１３０～Ｓ１９０を、全ての「検査項目」が終了するまで繰り返す。なお、検査処理部１８は、カメラ１３での撮影が必要のない「検査項目」である場合、ステップＳ１７０～Ｓ１９０をスキップする。具体的には、例えば、検査処理部１８は、写真撮影の有無と「検査項目」とを予め関連付けて記憶しており、当該記憶している情報に基づいて、カメラ１３での撮影が必要のない「検査項目」であるのか否かを判断する。
The
検査処理部１８は、全ての「検査項目」が終了すると（ステップＳ２００）、「検査項目」を振り返る（ステップＳ２１０）。このとき、検査処理部１８は、検査項目テーブル３１の「検査項目」の音声をスピーカ１１から出力し、その後に、ステップＳ１５０で取得した検査の結果（テキストファイルの内容）をスピーカ１１から出力する。検査処理部１８は、これらの出力を、全ての「検査項目」に対して行う。
When all "test items" have been completed (step S200), the
検査処理部１８は、「検査項目」を振り返ると、検査を終える旨の音声をスピーカ１１から出力する（ステップＳ２２０）。これにより、利用者Ｂは、端末１０の電源を切る等し、検査を終了する（ステップＳ２３０）。
The
以下では、図９及び図１０を参照し、検査（ステップＳ１１０～Ｓ１９０）の流れを具体的に説明する。また、以下では、図４に示す検査項目テーブル３１の検査を行う場合を例に挙げて、検査の流れを説明する。 The flow of the test (steps S110 to S190) will be specifically explained below with reference to Figures 9 and 10. The flow of the test will be explained below using an example in which the test item table 31 shown in Figure 4 is tested.
まず、利用者Ｂは、検査を開始するときに、マイク１２に向けて検査開始の旨を発声する。具体的には、利用者Ｂは、モード選択処理において検査モードを選択した後で、『コンクリート検査』と発声する（ステップＳ１１０）。検査処理部１８は、当該発声に基づいて利用者Ｂが『フレッシュコンクリートの受入検査』を開始すると判断する。そして、検査処理部１８は、検査を開始する旨の音声（『コンクリート検査を開始します。』との音声）をスピーカ１１から出力させる。
First, when starting the inspection, user B vocalizes the start of the inspection into the
その後、検査項目テーブル３１から「検査項目」を読み込む（ステップＳ１２０）。このとき、検査処理部１８は、まず、検査項目テーブル３１の「Ｎｏ」が最も小さい「検査項目」である『スランプ値』を読み込んで、その音声をスピーカ１１から出力させる（ステップＳ１３０）。
Then, the "test item" is read from the test item table 31 (step S120). At this time, the
利用者Ｂは、上記音声を受けてスランプ値を測定し、当該測定結果（『Ｘ２』）を発声する（ステップＳ１４０）。なお、『Ｘ２』は、『Ｘ１』よりも大きく、かつ『Ｘ３』よりも小さい値となっている。 User B receives the voice, measures the slump value, and vocalizes the measurement result ("X2") (step S140). Note that "X2" is a value larger than "X1" and smaller than "X3."
検査処理部１８は、当該発声に基づいて『スランプ値』の測定結果が『Ｘ２』であったと判断し、「管理値」と照合する（ステップＳ１５０）。図４に示す検査項目テーブル３１において、『スランプ値』の「管理値」は、『Ｘ１以上Ｘ３以下』であるため、検査処理部１８は、検査結果（『Ｘ２』）がＯＫであると判定する（ステップＳ１６０）。この場合、検査処理部１８は、スピーカ１１から検査結果がＯＫである旨の音声（『問題ありません。』との音声）を出力する。
Based on the vocalization, the
また、図９における『スランプ値』の検査では写真撮影が必要であることから、検査処理部１８は、カメラ１３での撮影を促す音声（『写真を撮ってください。』との音声）をスピーカ１１から出力させる（ステップＳ１７０）。
In addition, since the inspection of the "slump value" in Figure 9 requires taking a photograph, the
利用者Ｂは、上記音声を受けてカメラ１３での撮影を行う。カメラ１３で撮影した画像ファイルＣ１１は、図１０に示す記憶領域Ａ１０に格納されると共に、ネットワーク回線Ｎを介してサーバ３０の記憶領域Ａ３０にも格納される。また、画像ファイルＣ１１は、サーバ３０の保存用ＤＢ３２に登録される（ステップＳ１９０）。
User B receives the voice and takes a picture with the
そして、図９に示す検査処理部１８は、検査項目テーブル３１から次の「検査項目」（「Ｎｏ」が『２』である『空気量』）を読み込み、その音声をスピーカ１１から出力させる。
Then, the
なお、図９における『空気量』の検査では、その結果が『Ｙ４』となっている。当該『Ｙ４』は、『Ｙ３』よりも大きな値、すなわち、「管理値」の条件を満たさない値となっている。この場合、検査処理部１８は、検査結果がＮＧであると判定し、スピーカ１１からその旨の音声（『管理値外です。是正が必要です。』との音声）を出力する。
In the test of "air volume" in FIG. 9, the result is "Y4". "Y4" is a value larger than "Y3", that is, a value that does not satisfy the condition of the "control value". In this case, the
また、検査処理部１８は、検査の結果がＮＧであった場合でも、ＯＫであった場合と同じように動作する。よって、検査処理部１８は、利用者Ｂに写真の撮影を促して、カメラ１３で撮影した画像ファイルＣ１２をサーバ３０にアップロードする。その後、検査処理部１８は、次の「検査項目」を読み込んでスピーカ１１から出力させる。
Even if the result of the inspection is NG, the
また、検査処理部１８は、『フレッシュコンクリートの受入検査』を終了すると、サーバ３０にファイルをアップロードする。当該ファイルには、検査時に録音した音声ファイルと、利用者Ｂの発話内容を音声認識部１６で認識したテキストファイルＦ１１と、検査の結果と、が含まれる。サーバ３０は、アップロードされたテキストファイルＦ１１等を記憶領域Ａ３０の適宜のフォルダに記憶する。サーバ３０は、アップロードされたテキストファイルＦ１１の記憶先等を、「工程・部位等」及び「検査項目」と関連付けて保存用ＤＢ３２に登録する。
When the
社内システム４０は、こうして登録された保存用ＤＢ３２を検索することで、「検査項目」に対応する検査の結果、合否の判定結果及び画像ファイルＣ１１・Ｃ１２を取得することができる。また、社内システム４０は、保存用ＤＢ３２から取得したデータを図５に示す検査報告書Ｄの「検査値」、「合否」及び「写真」に反映させることで、検査報告書Ｄを自動的に作成することができる。
By searching the
本実施形態の支援システム１によれば、検査処理部１８が検査項目テーブル３１の「管理値」に基づいて検査の合否を判定するため（ステップＳ１５０・Ｓ１６０）、利用者Ｂが合否判定を行う手間を省いて、検査における業務負荷を低減することができる。また、合否を誤って判定するのを防止することができるため、検査結果に対する信頼性の向上（品質の均一化）を図ることができる。
According to the
また、本実施形態の支援システム１によれば、スピーカ１１から「検査項目」の音声を出力させることで、利用者Ｂに「検査項目」を提供することができる（ステップＳ１３０）。また、全ての「検査項目」が終了するまで音声出力を繰り返し実行することで（ステップＳ２００）、利用者Ｂに全ての「検査項目」を提供することができる。これによれば、利用者Ｂが検査に漏れがないか確認しなくて済むため、検査における業務負荷を低減することができる。また、検査を漏れなく行うことができ、検査結果に対する信頼性の向上を図ることができる。
Furthermore, according to the
また、検査処理部１８では、現場に行く前に、最新の検査項目テーブル３１を取得するようにしている（事前作業Ａ１１０）。これによれば、現場におけるネットワーク環境に関わらず、検査の支援を安定して行うことができる。具体的には、図１１に示すように、現場によっては、ネットワーク回線Ｎが不安定となり、端末１０がサーバ３０と通信できない可能性がある。本実施形態では、利用者Ｂが現場に行く前に検査項目テーブル３１を端末１０の記憶領域Ａ１０に格納して（事前作業Ａ１１０）、当該記憶領域Ａ１０の検査項目テーブル３１を用いて検査の支援を行うようにしている。これによれば、端末１０は、スタンドアロンで検査の支援を実行することができる。なお、端末１０は、スタンドアロンで検査の支援を実行する場合、画像ファイルＣ１１・Ｃ１２等を適宜（例えば、利用者Ｂが現場から離れてネットワーク回線Ｎが安定すると）アップロードする。
In addition, the
なお、検査処理部１８は、「検査項目」をスキップ可能であってもよい。具体的には、図１２に示すように、検査処理部１８は、利用者Ｂが所定の言葉（図１２では、『スキップ』との言葉）を発した場合に、次の「検査項目」に進むものであってもよい。
The
以上の如く、本実施形態に係る支援システム１（検査支援システム）は、検査部位（「工程・部位等」）、検査項目及び合格基準（「管理値」）を含む検査項目テーブル３１を記憶する記憶領域Ａ１０が確保された記憶装置及びサーバ３０（記憶部）と、少なくとも前記検査項目テーブル３１の前記検査項目を、音声で読み上げるスピーカ１１（音声出力部）と、利用者Ｂ（検査員）の発話の入力を受け、発話内容を認識する音声認識部１６と、前記音声認識部１６での認識内容が前記合格基準を満たすかを判定する検査処理部１８（判定部）と、を具備するものである。
As described above, the support system 1 (inspection support system) according to this embodiment includes a storage device and server 30 (storage unit) in which a memory area A10 is allocated for storing an inspection item table 31 including inspection parts ("processes/parts, etc."), inspection items, and pass criteria ("control values"), a speaker 11 (voice output unit) that reads out at least the inspection items in the inspection item table 31, a
このように構成することにより、利用者Ｂが合否判定を行う手間を省いて、検査における業務負荷の低減を図ることができる。 This configuration eliminates the need for User B to make pass/fail judgments, reducing the workload of the test.
また、前記スピーカ１１は、前記検査処理部１８での判定結果を音声で出力するものである（ステップＳ１６０）。
The
このように構成することにより、利用者Ｂが自発的に判定結果を取得しなくて済むため、利便性を向上させることができる。 By configuring it in this way, user B does not have to obtain the judgment result voluntarily, thereby improving convenience.
また、前記スピーカ１１は、前記検査処理部１８での判定後に前記検査処理部１８の写真撮影を促す音声を出力するものである（ステップＳ１７０）。
The
このように構成することにより、写真撮影が必要な検査項目であるか否かを利用者Ｂが確認しなくて済むため、検査における業務負荷の低減を効果的に図ることができる。また、検査において写真撮影を忘れるのを抑制し、検査結果に対する信頼性の向上を効果的に図ることができる。 By configuring it in this way, User B does not have to check whether or not a test item requires photographing, which effectively reduces the workload during the test. It also reduces the chance of forgetting to take photographs during the test, effectively improving the reliability of the test results.
また、前記記憶領域Ａ１０が確保された記憶装置、前記スピーカ１１、前記音声認識部１６及び前記検査処理部１８は、ウェアラブルデバイスで構成されるものである。
The storage device in which the memory area A10 is secured, the
このように構成することにより、利用者Ｂの手を塞ぐことなく検査を行うことができるため、検査を効率的に行うことができる。 By configuring it in this way, the test can be performed without blocking User B's hands, making the test more efficient.
次に、図１３及び図１４を参照し、通話モードの流れ（通話処理部１９の処理）について説明する。 Next, the flow of the call mode (processing of the call processing unit 19) will be explained with reference to Figures 13 and 14.
上述の如く、通話モードは、利用者Ｂが利用者Ｂ以外の者と通話するためのモードであり、通話処理部１９により実行される。通話モードは、必要に応じて（例えば、建築現場の作業において判断に迷った場合等に）実行される。この際、利用者Ｂは、モード選択処理においてプロジェクトを選択し（図６に示すステップＳ１０）、通話モードを選択可能な言葉（例えば、『通話モード』等の言葉）を発声することで、通話モードを実行する（図６に示すステップＳ２０、ステップＳ３０：Ｎｏ、ステップＳ５０：Ｙｅｓ、ステップＳ６０）。以下、通話モードについて具体的に説明する。
As described above, the call mode is a mode for user B to talk to people other than user B, and is executed by the
通話モードが開始されると、利用者Ｂは、通話したい相手の情報（例えば、関係者Ｒの名前や所属部署等）に関する言葉を発声する（ステップＳ３１０）。 When the call mode is started, user B speaks words related to information about the person he/she wants to talk to (e.g., the name of person R and the department to which he/she belongs) (step S310).
通話処理部１９は、利用者Ｂの発話内容に基づいて、利用者Ｂの通話相手を特定する（ステップＳ３２０）。具体的には、端末１０の記憶装置には、通話相手に関する情報（例えば、名前、所属部署、関係者端末Ｒ１０のＭＡＣアドレス等を互いに関連付けた情報）が予め記憶されている。通話処理部１９は、利用者Ｂが発声した言葉を録音した音声ファイルを音声認識部１６で処理してテキストファイルを取得し、当該テキストファイルと関係者Ｒに関する情報とを対比する。具体的には、例えば、通話処理部１９は、テキストファイル内の文字列と一致する文字列が、関係者Ｒに関する情報に含まれているのかを確認する。こうして通話処理部１９は、利用者Ｂの発話内容から、通話相手となる関係者Ｒ及び当該関係者Ｒが使用する関係者端末Ｒ１０を一意に特定する。
The
通話処理部１９は、利用者Ｂと特定した関係者Ｒとの通話を開始させる（ステップＳ３３０）。具体的には、通話処理部１９は、関係者Ｒを呼び出すための信号を、特定した関係者端末Ｒ１０へ送信する。関係者端末Ｒ１０は、当該信号を受信すると、所定の呼び出し音を出力する等して関係者Ｒを呼び出す。当該呼び出し音に基づいて関係者Ｒが関係者端末Ｒ１０を操作すると、端末１０と関係者端末Ｒ１０とが相互に通信可能な状態となって、利用者Ｂは、端末１０を介して関係者Ｒと通話することができる。
The
通話処理部１９は、関係者Ｒとの通話が開始されると、マイク１２によって通話内容の録音を開始する。また、通話処理部１９は、カメラ１３を起動させ、当該カメラ１３での映像の撮影（録画）を開始する。カメラ１３で撮影された映像は、ネットワーク回線Ｎを介して関係者端末Ｒ１０へ送信され、当該関係者端末Ｒ１０で表示される。こうして、関係者Ｒは、カメラ１３で撮影された映像を確認しながら、利用者Ｂと通話することができる。
When a call with related person R is started, the
利用者Ｂは、関係者Ｒとの通話を終えたい場合に、通話終了の旨を発声する（ステップＳ３４０）。すなわち、利用者Ｂは、通話モードの終了に関する言葉（例えば、『通話終了』等の言葉）を発声する。 When user B wishes to end the call with related person R, user B vocalizes the intention to end the call (step S340). That is, user B vocalizes a phrase related to the end of the call mode (for example, a phrase such as "end call").
通話処理部１９は、当該発声に基づいて関係者端末Ｒ１０との通話を終了させる（ステップＳ３５０）。すなわち、通話処理部１９は、関係者端末Ｒ１０へ通話終了に関する信号を送信し、関係者端末Ｒ１０と相互に通信可能な状態を終了させる。また、通話処理部１９は、マイク１２による録音及びカメラ１３による撮影を終了する。
The
その後、通話処理部１９は、通話時に得られたファイルをサーバ３０に保存する（ステップＳ３６０）。具体的には、通話処理部１９は、通話内容を録音した音声ファイルを音声認識部１６で処理して得られたテキストファイルＦ２１と、通話時にカメラ１３で撮影した映像ファイルＶ２１と、をサーバ３０にアップロードする。サーバ３０は、アップロードされたテキストファイルＦ２１及び映像ファイルＶ２１を記憶領域Ａ３０の適宜のフォルダに記憶する。また、サーバ３０は、アップロードされたテキストファイルＦ２１及び映像ファイルＶ２１の記憶先（フルパス）を保存用ＤＢ３２に登録する。こうして、通話処理部１９による通話モードが終了する。
Then, the
通話モードにおいて、関係者Ｒは、カメラ１３で撮影された映像を確認しながら通話することができる（ステップＳ３３０）。これにより、関係者Ｒは、建築現場の状況をより詳細に把握することができる。このため、関係者Ｒは、例えば、利用者Ｂから建築現場の作業等について相談を受けた場合に、適切な回答を返すことができる。また、関係者Ｒは、回答に要する時間を短縮することもできる。これにより、作業の効率化を図ることができる。 In the call mode, the person involved R can make a call while checking the image captured by the camera 13 (step S330). This allows the person involved R to understand the situation at the construction site in more detail. Therefore, when the person involved R receives a consultation from the user B about work at the construction site, for example, the person involved R can return an appropriate reply. The person involved R can also shorten the time it takes to reply. This can improve the efficiency of work.
また、利用者Ｂは、発話することで通話モードの開始及び終了を端末１０に指示することができる（ステップＳ２０・Ｓ３４０）。また、利用者Ｂは、発話することで通話相手を選択することができる（ステップＳ３１０）。これにより、手を塞ぐことなく関係者Ｒと通話できるため、作業の効率化を図ることができる。 User B can also instruct terminal 10 to start and end the call mode by speaking (steps S20 and S340). User B can also select a call partner by speaking (step S310). This allows user B to talk to related party R without having to use his or her hands, improving work efficiency.
次に、図１５から図１７を参照し、記録モードの流れ（記録処理部２０の処理）について説明する。 Next, the flow of the recording mode (processing of the recording processing unit 20) will be explained with reference to Figures 15 to 17.
上述の如く、記録モードは、カメラ１３で撮影した様子を記録するためのモードであり、記録処理部２０により実行される。記録モードは、建築現場での作業（例えば、建築現場の点検作業等）を記録として残したい場合等に適宜実行される。この際、利用者Ｂは、モード選択処理においてプロジェクトを選択し（図６に示すステップＳ１０）、記録モードを選択可能な言葉（例えば、『記録モード』等の言葉）を発声することで、記録モードを実行する（図６に示すステップＳ２０、ステップＳ３０：Ｎｏ、ステップＳ５０：Ｎｏ、ステップＳ７０：Ｙｅｓ、ステップＳ８０）。以下、記録モードについて具体的に説明する。
As described above, the recording mode is a mode for recording the image captured by the
記録モードが開始されると、記録処理部２０は、カメラ１３を起動させて映像（音声を含む映像）の撮影を開始する（ステップＳ４１０）。また、記録処理部２０は、マイク１２によって発話内容の録音を開始する。利用者Ｂは、カメラ１３により適宜撮影を行う。
When the recording mode is started, the
利用者Ｂは、撮影中にその内容を適宜発声する（ステップＳ４２０）。例えば、利用者Ｂは、点検作業の様子を撮影する場合に、当該点検作業の内容についての言葉（例えば、何を点検しているのかを説明する言葉（『ビスピッチ』等の言葉））を適宜発声する。 User B vocalizes the contents of the inspection as appropriate while filming (step S420). For example, when filming an inspection operation, User B vocalizes words related to the contents of the inspection (for example, words that explain what is being inspected (such as "vispitch")) as appropriate.
そして、利用者Ｂは、撮影を終えたい場合に、記録終了の旨を発声する（ステップＳ４３０）。具体的には、例えば、利用者Ｂは、作業が終了した場合に通話モードの終了に関する言葉（例えば、『記録終了』等の言葉）を発声する。 When user B wishes to end the recording, he/she vocalizes a command to end recording (step S430). Specifically, for example, when user B has finished the task, he/she vocalizes a command to end the call mode (for example, a command such as "end recording").
記録処理部２０は、当該発声に基づいてマイク１２による録音及びカメラ１３による撮影を終了する（ステップＳ４４０）。
The
こうして撮影された映像ファイル（図１９参照、以下、「抽出前映像ファイルＶ３１」と称する）には、例えば、作業を開始してから終了するまでの様子の全てが記録されることとなる。したがって、抽出前映像ファイルＶ３１は、比較的長時間の映像となる。また、抽出前映像ファイルＶ３１には、重要な部分（後日確認する可能性が高い部分、例えば、所定の値を測定する様子等）だけではなく、不要な部分（後日確認する可能性が低い部分、例えば、測定の準備をしている様子等）が記録されることとなる。 The video file thus captured (see FIG. 19, hereafter referred to as "pre-extraction video file V31") will, for example, record the entire process from start to finish of the work. Therefore, the pre-extraction video file V31 will be a relatively long video. Furthermore, the pre-extraction video file V31 will record not only important parts (parts that are likely to be checked at a later date, such as the measurement of a specified value), but also unnecessary parts (parts that are unlikely to be checked at a later date, such as the preparation for measurement).
そこで、記録処理部２０は、抽出前映像ファイルＶ３１から一部の時間帯の映像（図２３参照、以下、「抽出後映像ファイルＶ３２」と称する）を抽出し、抽出前映像ファイルＶ３１の中から重要な部分を抜き出すようにしている（ステップＳ４５０）。
Therefore, the
図１６は、抽出後映像ファイルＶ３２を抽出するステップＳ４５０の処理の詳細を示すフローチャートである。記録処理部２０は、ステップＳ４５０へ移行すると、ステップＳ５１０の処理を行う。
Figure 16 is a flowchart showing the details of the process of step S450 for extracting the post-extraction video file V32. After proceeding to step S450, the
ステップＳ５１０において、記録処理部２０は、抽出前映像ファイルＶ３１からテキストファイルを取得する（ステップＳ５１０）。具体的には、記録処理部２０は、抽出前映像ファイルＶ３１の音声を音声認識部１６に入力する。音声認識部１６は、入力された音声から利用者Ｂの発話内容を認識し、当該発話内容の認識結果と、利用者Ｂが発声した日時と、を関連付けたテキストファイルを出力する。記録処理部２０は、音声認識部１６から当該テキストファイルを取得する。記録処理部２０は、ステップＳ５１０の処理が終了すると、ステップＳ５２０へ移行する。
In step S510, the
ステップＳ５２０において、記録処理部２０は、キーワードに基づいて、抽出前映像ファイルＶ３１の中から重要部２１（図２１参照）の開始日時を特定する。
In step S520, the
重要部２１は、抽出前映像ファイルＶ３１のうち、重要な部分である。すなわち、重要部２１は、抽出後映像ファイルＶ３２として抽出することが望ましい部分である。
The
キーワードは、重要な部分を撮影する際に、利用者Ｂが発することが想定される言葉、例えば、建築現場に関する用語等である。建築現場に関する用語は、建築現場での作業時に使用される言葉である。建築現場に関する用語には、例えば、建築現場で用いられる専門用語（『基礎』や『ビスピッチ』等）や数値を含んだ言葉（例えば、『２００ｍｍ』等）が含まれる。端末１０には、このようなキーワード（利用者Ｂが発することが想定される言葉）が予め記憶装置に記憶されている。 Keywords are words that user B is expected to utter when photographing important parts, such as terms related to a construction site. Terms related to a construction site are words used when working at a construction site. Terms related to a construction site include, for example, technical terms used at construction sites (such as "foundation" and "viscosity pitch") and words containing numerical values (such as "200 mm"). Such keywords (words that user B is expected to utter) are stored in advance in a storage device of the terminal 10.
ステップＳ５２０において、記録処理部２０は、記憶装置に記憶されたキーワードとステップＳ５１０で取得したテキストファイル（発話内容の認識結果）とを対比して、利用者Ｂがキーワードを発声した日時を特定する。そして、特定した日時を重要部２１の開始日時とする。記録処理部２０は、ステップＳ５２０の処理が終了すると、ステップＳ５３０の処理へ移行する。
In step S520, the
ステップＳ５３０において、記録処理部２０は、重要部２１の終了日時を特定する。このとき、記録処理部２０は、開始日時Ｔ４以降で利用者Ｂが所定時間沈黙した日時（時点）を特定し、その日時を重要部２１の終了日時とする。なお、「沈黙している」とは、利用者Ｂが建築現場に関する用語を発声していないことを指す。具体的には、利用者Ｂが何の言葉も発声しない（音声認識部１６が発話内容を認識しない）ことと、利用者Ｂがキーワード以外の言葉を発声したことと、が含まれる。以下、ステップＳ５３０の処理について具体的に説明する。
In step S530, the
ステップＳ５３０において、記録処理部２０は、テキストファイルを読み込んで、キーワードを発声してから所定時間が経過するまでに利用者Ｂが再びキーワードを発声しているかを確認する。仮に利用者Ｂが再びキーワードを発声している場合、記録処理部２０は、その日時からさらに所定時間が経過するまでに利用者Ｂがキーワードを発声しているかを確認する。記録処理部２０は、このような処理を再帰的に行って、最後にキーワードを発声してから所定時間キーワードを発声しなかった日時（沈黙した日時）を特定する。このように、記録処理部２０は、テキストファイル（より詳細には、発話内容（キーワードを発話したこと）が記録されていない日時）に基づいて、所定時間沈黙した日時を特定する。そして、記録処理部２０は、特定した日時を、重要部２１の終了日時とする。
In step S530, the
こうして、ステップＳ５３０において、記録処理部２０は、抽出前映像ファイルＶ３１を、重要部２１（図２１参照）と、重要部２１以外の不要部２２（不要な部分、図２０及び図２２参照）と、に分類する。記録処理部２０は、ステップＳ５３０の処理が終了すると、ステップＳ５４０の処理へ移行する。
Thus, in step S530, the
ステップＳ５４０において、記録処理部２０は、バッファ（余裕）を見て抽出前映像ファイルＶ３１から重要部２１を抽出する（ステップＳ５３０）。すなわち、記録処理部２０は、重要部２１の開始日時より少し前（例えば、数秒前）の日時から、終了日時よりも少し後（例えば、数秒後）の日時までの映像を抽出する。こうして、記録処理部２０は、抽出前映像ファイルＶ３１から、一部の時間帯の映像である抽出後映像ファイルＶ３２を抽出し、映像を抽出するステップＳ４５０の処理を終了する。
In step S540, the
図１５及び図１７に示すように、記録処理部２０は、撮影により得られたファイルをサーバ３０にアップロード（保存）する（ステップＳ４６０）。具体的には、抽出前映像ファイルＶ３１と、抽出後映像ファイルＶ３２と、抽出後映像ファイルＶ３２の音声を音声認識部１６で処理して得られたテキストファイルＦ３２と、をサーバ３０にアップロード（保存）する。サーバ３０は、アップロードされた抽出前映像ファイルＶ３１等を記憶領域Ａ３０の適宜のフォルダに記憶する。また、サーバ３０は、アップロードされた抽出前映像ファイルＶ３１等の記憶先（フルパス）を保存用ＤＢ３２に登録する。こうして、記録処理部２０による記録モードが終了する。
As shown in Figures 15 and 17, the
記録モードにおいて、利用者Ｂは、発話することでモードの開始及び終了を端末１０に指示し、カメラ１３での撮影を行うことができる（ステップＳ２０・Ｓ４３０）。これにより、手を塞ぐことなく撮影を行うことができるため、作業の効率化を図ることができる。 In the recording mode, user B can speak to instruct the terminal 10 to start and end the mode, and take pictures with the camera 13 (steps S20 and S430). This allows users to take pictures without having to block their hands, improving work efficiency.
以下では、図１８から図２３を参照し、抽出前映像ファイルＶ３１から抽出後映像ファイルＶ３２を抽出する処理を具体的に説明する。 Below, the process of extracting the post-extraction video file V32 from the pre-extraction video file V31 will be explained in detail with reference to Figures 18 to 23.
なお、以下においては、図１８に示す壁部Ｗ１・Ｗ２を点検する作業を記録した抽出前映像ファイルＶ３１から抽出後映像ファイルＶ３２を抽出するものとする。また、抽出前映像ファイルＶ３１は、利用者Ｂが床部Ｆに足を置き、壁部Ｗ１・Ｗ２に対して正面を向いて（図１８に示す矢印方向を向いて）撮影されたものとする。図１９は、こうして撮影された抽出前映像ファイルＶ３１を模式的に示したものである。 In the following, it is assumed that the post-extraction video file V32 is extracted from the pre-extraction video file V31 that records the work of inspecting the walls W1 and W2 shown in FIG. 18. It is also assumed that the pre-extraction video file V31 was captured with user B placing his feet on the floor F and facing the walls W1 and W2 (facing the direction of the arrows shown in FIG. 18). FIG. 19 is a schematic diagram showing the pre-extraction video file V31 captured in this manner.
まず、抽出前映像ファイルＶ３１について説明する。抽出前映像ファイルＶ３１には、利用者Ｂが壁部Ｗ１・Ｗ２に接近する様子（図１９に示すシーンＳ１～Ｓ３）と、壁部Ｗ１に打ち込まれたビスＢ１０のピッチＰ（図１８参照）をメジャーＭで測定する様子（図１９に示すシーンＳ４～Ｓ７）と、利用者Ｂが壁部Ｗ１・Ｗ２から離間する様子（図１９に示すシーンＳ８～Ｓ１２）と、が含まれている。 First, the pre-extraction video file V31 will be described. The pre-extraction video file V31 includes scenes of user B approaching the walls W1 and W2 (scenes S1 to S3 shown in FIG. 19), measuring the pitch P (see FIG. 18) of the screws B10 driven into the wall W1 with a tape measure M (scenes S4 to S7 shown in FIG. 19), and user B moving away from the walls W1 and W2 (scenes S8 to S12 shown in FIG. 19).
図２０は、利用者Ｂが壁部Ｗ１・Ｗ２に接近する様子（シーンＳ１～Ｓ３）と、シーンＳ１～Ｓ３に対応する日時Ｔ１～Ｔ３と、音声の内容（利用者Ｂの発話内容）と、を示す図である。図２０に示すように、利用者Ｂは、日時Ｔ１において『お疲れ様です』と発声している。 Figure 20 shows how user B approaches walls W1 and W2 (scenes S1 to S3), dates and times T1 to T3 corresponding to scenes S1 to S3, and the content of the voice (user B's speech). As shown in Figure 20, user B says "Thank you for your hard work" at date and time T1.
図２１は、ビスＢ１０のピッチＰを測定する様子（シーンＳ４～Ｓ７）と、シーンＳ４～Ｓ７に対応する日時Ｔ４～Ｔ７と、音声の内容（利用者Ｂの発話内容）と、を示す図である。図２１に示すように、利用者Ｂは、日時Ｔ４～Ｔ５において『今からビスピッチを測ってみます。ピッチ幅は２００ｍｍなので問題はなさそうです。』と発声している。 Figure 21 shows the process of measuring the pitch P of screw B10 (scenes S4 to S7), the dates and times T4 to T7 corresponding to scenes S4 to S7, and the content of the voice (user B's speech). As shown in Figure 21, at dates and times T4 to T5, user B utters, "I'm going to measure the screw pitch now. The pitch width is 200 mm, so there doesn't seem to be a problem."
図２２は、利用者Ｂが壁部Ｗ１・Ｗ２から離間する様子（シーンＳ８～Ｓ１２）と、シーンＳ８～Ｓ１２に対応する日時Ｔ８～Ｔ１２と、音声の内容（利用者Ｂの発話内容）と、を示す図である。図２２に示すように、利用者Ｂは、日時Ｔ８において『はい。大丈夫です。』と、日時Ｔ１２において『すいません。』と発声している。 Figure 22 shows how user B moves away from walls W1 and W2 (scenes S8 to S12), dates and times T8 to T12 corresponding to scenes S8 to S12, and the content of the voice (user B's speech). As shown in Figure 22, user B utters "Yes, it's okay" at date and time T8 and "I'm sorry" at date and time T12.
次に、上述のような抽出前映像ファイルＶ３１から抽出後映像ファイルＶ３２を抽出する流れを具体的に説明する。 Next, we will explain in detail the process of extracting the post-extraction video file V32 from the pre-extraction video file V31 described above.
記録処理部２０は、抽出前映像ファイルＶ３１の音声から利用者Ｂの発話内容を認識したテキストファイルを取得する（ステップＳ５１０）。これにより、記録処理部２０は、例えば、『お疲れ様です。』との発話内容の認識結果及び日時Ｔ１等が関連付けられたテキストファイルを取得する。
The
記録処理部２０は、キーワードと、取得したテキストファイル（発話内容の認識結果）と、を用いて重要部２１の開始日時を特定する（ステップＳ５２０）。具体的には、記憶装置には、キーワードとして『ビスピッチ』が記憶されている。また、取得したテキストファイルには、『ビスピッチ』を含む言葉（『今からビスピッチを測ってみます。』との言葉）と、日時Ｔ４とが関連付けて記憶されている（図２１参照）。この場合、記録処理部２０は、テキストファイルにおいてキーワード（『ビスピッチ』）と関連付けられた日時Ｔ４を、重要部２１の開始日時とする。
The
そして、記録処理部２０は、所定時間キーワードを発声しなかった（沈黙した）日時を特定することで、重要部２１の終了時間を特定する（ステップＳ５３０）。具体的には、記録処理部２０は、開始日時Ｔ４から所定時間が経過した日時Ｔ７までの間で利用者Ｂがどのような言葉を発声したのか確認する。図２１に示すように、利用者Ｂは、日時Ｔ５～Ｔ７において、何の言葉も発声していない。
Then, the
この場合、記録処理部２０は、キーワード（『ビスピッチ』）を発声した開始日時Ｔ４から所定時間が経過した日時Ｔ７を重要部２１の終了日時（沈黙した日時）とする。
In this case, the
なお、図２２に示すように、利用者Ｂは、終了日時Ｔ７以降の日時Ｔ８～Ｔ１２において、『はい。大丈夫です。』や『すいません。』との言葉を発声している。しかし、端末１０の記憶装置には、このような言葉（相槌や挨拶等の言葉）がキーワードとして記憶されていない。したがって、この場合、記録処理部２０は、日時Ｔ８以降の時間帯（日時Ｔ８～Ｔ１２）において、重要部２１を抽出しない。
As shown in FIG. 22, user B utters the words "Yes, it's okay" and "I'm sorry" from dates and times T8 to T12 after the end date and time T7. However, such words (words of interjections, greetings, etc.) are not stored as keywords in the storage device of
こうして、記録処理部２０は、図２０から図２２に示すように、抽出前映像ファイルＶ３１のうち、日時Ｔ４～Ｔ７の時間帯を重要部２１とし、それ以外の日時Ｔ１～Ｔ３及びＴ８～Ｔ１２の時間帯を不要部２２とする。
In this way, as shown in Figures 20 to 22, the
重要部２１の終了日時を特定した記録処理部２０は、バッファ（余裕）を見て抽出前映像ファイルＶ３１から重要部２１を抽出する（ステップＳ５３０）。具体的には、図２３に示すように、記録処理部２０は、抽出前映像ファイルＶ３１のうち、重要部２１の開始日時Ｔ４よりも少し前の日時Ｔ３（シーンＳ３）から、重要部２１の終了日時Ｔ７よりも少し後の日時Ｔ８（シーンＳ８）までの映像を抽出する。これにより、記録処理部２０は、抽出前映像ファイルＶ３１から、ビスＢ１０のピッチＰを測定する様子が撮影された抽出後映像ファイルＶ３２を抽出し易くなる。
Having identified the end date and time of the
このような構成によれば、抽出後映像ファイルＶ３２を確認することで、ビスＢ１０のピッチＰを測定する部分（重要な部分）を速やかに確認することができる。これにより、抽出前映像ファイルＶ３１の中からビスＢ１０のピッチＰを測定する部分を探し出す場合と比較して、確認の手間を省くことができる。これにより、抽出前映像ファイルＶ３１を確認する確認者の負担を低減することができる。 With this configuration, the portion (important portion) for measuring the pitch P of the screw B10 can be quickly confirmed by checking the post-extraction video file V32. This saves the effort of confirmation compared to searching for the portion for measuring the pitch P of the screw B10 from the pre-extraction video file V31. This reduces the burden on the person checking the pre-extraction video file V31.
また、利用者Ｂは、ビスＢ１０のピッチＰを測定するタイミング（日時Ｔ４～Ｔ７）に合わせて記録モードを実行しなくても、ビスＢ１０のピッチＰを測定する様子を抽出後映像ファイルＶ３２として残すことができる。これにより、作業の効率化を図ることができる。 In addition, user B can record the measurement of pitch P of screw B10 as extracted video file V32 without having to execute the recording mode at the timing (dates T4 to T7) when measuring pitch P of screw B10. This can improve the efficiency of the work.
なお、端末１０の記憶装置には、抽出時のバッファに関する時間情報（例えば、数秒等の情報）が記憶されている。当該時間情報は、適宜の値を設定可能となっている。これにより、用途等に応じてどの程度バッファを見るのかを調整でき、利便性を向上させることができる。 The storage device of the terminal 10 stores time information (e.g., information such as a few seconds) regarding the buffer at the time of extraction. The time information can be set to an appropriate value. This allows the extent to which the buffer is viewed to be adjusted depending on the purpose, etc., improving convenience.
また、仮に、日時Ｔ８以降に利用者Ｂがキーワードを発声していた場合、記録処理部２０は、上述したような処理により、日時Ｔ８以降でも重要部２１の開始日時及び終了日時を特定する。この場合、抽出前映像ファイルＶ３１の中で、複数の重要部２１が特定され、これら複数の重要部２１が抽出後映像ファイルＶ３２として複数抽出されることとなる。
Also, if user B utters a keyword after date and time T8, the
ここで、サーバ３０は、記録処理部２０で抽出された抽出後映像ファイルＶ３２等を他の端末で確認可能な確認画面３３を作成可能に構成される。以下、図２４を参照し、確認画面３３について説明する。なお、図２４に示す確認画面３３は、複数の抽出後映像ファイルＶ３２が抽出され、これらのファイルが確認可能となった状態を示している。
The
確認画面３３は、ネットワーク回線Ｎを介してアクセス可能なＷｅｂページによって構成される。確認画面３３には、記録モードが実行された日時（『記録モード ＹＹＹＹ／ＭＭ／ＤＤ Ｔ１－Ｔ３２』との文字列）が表示される。また、確認画面３３には、コメント表示部３３ａ、サムネイル画像３３ｂ及び全再生ボタン３３ｃが表示される。
The
コメント表示部３３ａは、抽出後映像ファイルＶ３２に関するコメント（発話内容）が表示される部分である。コメント表示部３３ａは、アップロードされたテキストファイルＦ３２の内容（抽出後映像ファイルＶ３２の発話内容）が表示される。コメント表示部３３ａの近傍には、コメントを利用者Ｂが発声した日時が表示される。確認画面３３においては、コメント表示部３３ａが選択（クリック操作やタップ操作）されることで、ビューアを立ち上げて抽出後映像ファイルＶ３２を再生することができる。
The
サムネイル画像３３ｂは、抽出後映像ファイルＶ３２の所定の１コマの画像である。なお、図２４のように抽出前映像ファイルＶ３１から複数の抽出後映像ファイルＶ３２が得られた場合、確認画面３３には、コメント表示部３３ａ及びサムネイル画像３３ｂが上下に複数表示されることとなる。
The
全再生ボタン３３ｃは、抽出後映像ファイルＶ３２を順次再生可能なボタンである。抽出前映像ファイルＶ３１から複数の抽出後映像ファイルＶ３２が得られた場合、全再生ボタン３３ｃを押下することで、当該複数の抽出後映像ファイルＶ３２を日時の古いものから順に再生することができる。
The
確認画面３３によれば、サーバ３０以外の端末で抽出後映像ファイルＶ３２を容易に再生可能となる。これにより、利便性を向上させることができる。また、複数の抽出後映像ファイルＶ３２が抽出された場合に、コメント表示部３３ａ及びサムネイル画像３３ｂを確認し、再生したい抽出後映像ファイルＶ３２を速やかに見つけることができる。
The
また、全再生ボタン３３ｃで複数の抽出後映像ファイルＶ３２を再生することで、抽出前映像ファイルＶ３１の内容を大まかに把握することができる。これにより、利便性を効果的に向上させることができる。
In addition, by using the play all
以下では、サーバ３０にアップロードされたファイルの振り分け（ファイルの記憶場所）について説明する。
The following describes how files uploaded to
上述の如く、検査モード、通話モード及び記録モードが実行されると、サーバ３０には、種々のデータがアップロードされる。例えば、検査モードが実行されると、検査で撮影された画像ファイルＣ１１や利用者Ｂの発話内容を認識したテキストファイルＦ１１等がアップロードされる。サーバ３０は、こうしてアップロードされたデータを、プロジェクト及びモードに応じて記憶領域Ａ３０の複数のフォルダ（記憶場所、ＯＳの種類によってはディレクトリともいう）に適宜振り分けて記憶させている（ステップＳ１９０・Ｓ３６０・Ｓ４７０）。以下、図２５を参照して具体的に説明する。
As described above, when the inspection mode, call mode, or record mode is executed, various data are uploaded to the
まず、サーバ３０の記憶領域Ａ３０の構成について説明する。
First, we will explain the configuration of memory area A30 of
記憶領域Ａ３０には、プロジェクトごとに異なるフォルダ、具体的には、「Ａプロジェクト」フォルダＡ４０、「Ｂプロジェクト」フォルダＡ５０及び「Ｃプロジェクト」フォルダＡ６０等が作成（設定）されている。当該フォルダＡ４０・Ａ５０・Ａ６０は、互いに同一の構成となっているため、以下では、「Ａプロジェクト」フォルダＡ４０を例に挙げて、フォルダの構成を説明する。 In the memory area A30, different folders are created (set) for each project, specifically, the "A Project" folder A40, the "B Project" folder A50, and the "C Project" folder A60. The folders A40, A50, and A60 have the same structure, so the folder structure will be explained below using the "A Project" folder A40 as an example.
「Ａプロジェクト」フォルダＡ４０は、「Ａプロジェクト」に関するファイルを記憶せるためのフォルダである。「Ａプロジェクト」フォルダＡ４０には、モードごとに異なるフォルダ、具体的には、「検査モード」フォルダＡ４１、「通話モード」フォルダＡ４２及び「記録モード」フォルダＡ４３が作成される。 The "A Project" folder A40 is a folder for storing files related to the "A Project." In the "A Project" folder A40, folders that differ for each mode are created, specifically, the "Test Mode" folder A41, the "Call Mode" folder A42, and the "Recording Mode" folder A43.
「検査モード」フォルダＡ４１は、検査モードにおいてアップロードされたファイルを記憶させるためのフォルダである。「検査モード」フォルダＡ４１には、ファイルの種類に応じて異なるフォルダ、具体的には、「画像」フォルダ及び「発話内容」フォルダが作成される。 The "Inspection Mode" folder A41 is a folder for storing files uploaded in inspection mode. In the "Inspection Mode" folder A41, different folders are created depending on the type of file, specifically, an "Image" folder and a "Speech Content" folder.
「通話モード」フォルダＡ４２は、通話モードにおいてアップロードされたファイルを記憶させるためのフォルダである。「通話モード」フォルダＡ４２には、ファイルの種類に応じて異なるフォルダ、具体的には、「映像」フォルダ及び「通話内容」フォルダが作成される。 The "Call Mode" folder A42 is a folder for storing files uploaded in call mode. In the "Call Mode" folder A42, different folders are created depending on the type of file, specifically, a "Video" folder and a "Call Contents" folder.
「記録モード」フォルダＡ４３は、記録モードにおいてアップロードされたファイルを記憶させるためのフォルダである。「記録モード」フォルダＡ４３には、ファイルの種類及び用途に応じてフォルダ、具体的には、「抽出前映像」フォルダ、「抽出後映像」フォルダ及び「発話内容」フォルダが作成される。 The "recording mode" folder A43 is a folder for storing files uploaded in recording mode. In the "recording mode" folder A43, folders are created according to the type and purpose of the file, specifically, a "pre-extraction video" folder, a "post-extraction video" folder, and a "speech content" folder.
次に、上述の如く構成された記憶領域Ａ３０のフォルダにファイルを記憶させる処理の流れについて説明する。 Next, we will explain the process flow for storing files in a folder in the storage area A30 configured as described above.
端末１０は、サーバ３０にファイルをアップロードする場合に（ステップＳ１９０・Ｓ３６０・Ｓ４６０）、当該ファイルがどのプロジェクトのどのモードで得られたものであるのかをサーバ３０に通知する。具体的には、端末１０は、例えば、ファイルをアップロードする前に、利用者Ｂが選択（発話）したプロジェクト及びモードに関する情報（プロジェクト等を一意に特定可能な文字列等）を通知したり、アップロードするファイルのファイル名にプロジェクト及びモードに関する情報を含めてサーバ３０にアップロードする。
When uploading a file to the server 30 (steps S190, S360, S460), the terminal 10 notifies the
サーバ３０は、端末１０からの通知に基づいて、アップロードされたファイルに対応するプロジェクト名及びモードを特定する。そして、サーバ３０は、特定したプロジェクトのフォルダにアップロードされたファイルを振り分ける。
The
具体的には、サーバ３０は、例えば、Ａプロジェクトで検査（検査モード）が行われた場合に、「Ａプロジェクト」フォルダＡ４０の「検査モード」フォルダＡ４１にアップロードされたファイルを記憶させる。このとき、サーバ３０は、ファイルの種類を判別し、ファイルの種類ごとに「画像」フォルダ及び「発話内容」フォルダにファイルを振り分けて記憶させる。こうして、サーバ３０は、画像ファイルＣ１１・Ｃ１２を「画像」フォルダに、テキストファイルＦ１１を「発話内容」フォルダに記憶させる。
Specifically, for example, when an inspection (inspection mode) is performed in project A,
なお、サーバ３０は、ファイルの種類の判別を適宜の手法により行うことができる。具体的には、例えば、ファイルの拡張子（文字列情報）やファイルのヘッダ部分（バイナリデータ）を確認することで、ファイルの種類を判別することができる。
The
また、サーバ３０は、通話モードにおいてファイルがアップロードされた場合、検査モードでファイルがアップロードされた場合の処理と同様の処理を行って、映像ファイルＶ２１及びテキストファイルＦ２１を適宜のフォルダに振り分ける。例えば、サーバ３０は、Ａプロジェクトで通話モードが実行された場合、「Ａプロジェクト」フォルダＡ４０の「通話モード」フォルダＡ４１の「映像」フォルダに映像ファイルＶ２１を、「通話内容」フォルダにテキストファイルＦ２１を記憶させる。
When a file is uploaded in call mode, the
また、サーバ３０は、記録モードにおいてファイルがアップロードされた場合、検査モードでファイルがアップロードされた場合の処理と同様の処理を行って、抽出前映像ファイルＶ３１、抽出後映像ファイルＶ３２及びテキストファイルＦ３２を適宜のフォルダに振り分ける。例えば、サーバ３０は、Ａプロジェクトで記録モードが実行された場合、「Ａプロジェクト」フォルダＡ４０の「記録モード」フォルダＡ４２の「抽出前映像」フォルダに抽出前映像ファイルＶ３１を、「抽出後映像」フォルダに抽出後映像ファイルＶ３２を、「発話内容」フォルダにテキストファイルＦ３２を記憶させる。
When a file is uploaded in recording mode, the
ここで、抽出前映像ファイルＶ３１及び抽出後映像ファイルＶ３２は、同じ種類、すなわち、同一の規格（形式）に基づいて映像がファイル化され、ファイルの拡張子及びヘッダ部分が同一のものとなることが想定される。よって、サーバ３０は、拡張子及びヘッダ部分を確認するだけでは、抽出前映像ファイルＶ３１及び抽出後映像ファイルＶ３２の判別ができない可能性がある。
It is assumed here that the pre-extraction video file V31 and the post-extraction video file V32 are of the same type, i.e., the video is filed based on the same standard (format), and the file extensions and header portions are the same. Therefore, the
そこで、本実施形態において端末１０は、抽出前映像ファイルＶ３１及び抽出後映像ファイルＶ３２をサーバ３０で容易に判別可能となるように、所定の規則にしたがって抽出前映像ファイルＶ３１等のファイルパス（フルパス）を設定するようにしている。例えば、抽出前映像ファイルＶ３１のファイル名（拡張子を除くファイル名）に連番を追加したものを、抽出後映像ファイルＶ３２のファイル名とする。サーバ３０は、当該規則に基づいて抽出前映像ファイルＶ３１と抽出後映像ファイルＶ３２とを判別し、適宜フォルダに記憶させている。
Therefore, in this embodiment, the terminal 10 sets the file paths (full paths) of the pre-extraction video file V31 and the post-extraction video file V32 according to a predetermined rule so that the pre-extraction video file V31 and the post-extraction video file V32 can be easily distinguished by the
このように、サーバ３０は、端末１０からの通知に基づいて、アップロードされたファイルを記憶領域Ａ３０の適宜のフォルダに振り分けることができる。当該端末１０からの通知は、利用者Ｂが発話により選択したプロジェクト及びモードに基づいた情報となっている。このような構成によれば、利用者Ｂは、プロジェクト及びモードを選択（発話）する中で、ファイルを記憶させるフォルダを間接的に指定することができるため、フォルダを選択する手間を省いて利用者Ｂの負担を低減することができる。こうして支援システム１は、データ（画像ファイルＣ１１等）の入力を支援する。
In this way, the
また、プロジェクトやモードごとに異なるフォルダにファイルを振り分けることで、サーバ３０の管理者は、保存用ＤＢ３２を確認しなくても、アップロードされたファイルが何のファイルであるのかを確認し易くなる。また、プロジェクトやモードごとファイルをまとめて処理し易くなる。これにより、サーバ３０においてファイルを管理し易くなる。
In addition, by distributing files to different folders for each project or mode, the administrator of the
ここで、記録モードでサーバ３０にアップロードされる抽出前映像ファイルＶ３１は、比較的容量が大きい（長時間の）ファイルとなることが想定される。したがって、サーバ３０の記憶装置に抽出前映像ファイルＶ３１を永続的に記憶すると、当該記憶装置の空き容量が不足する可能性がある。
The pre-extraction video file V31 uploaded to the
そこで、サーバ３０は、定期的に（例えば、１日１回のバッチ処理等により）抽出前映像ファイルＶ３１を削除するようにしている。具体的には、サーバ３０は、抽出前映像ファイルＶ３１がアップロードされた日時を確認し、アップロードされてから所定期間（例えば、１カ月）が経過しているかを判断する。そして、サーバ３０は、抽出前映像ファイルＶ３１が所定期間を経過している場合に、当該抽出前映像ファイルＶ３１を削除する。これにより、サーバ３０は、記憶装置の容量を確保することができる。
Therefore, the
以上の如く、本実施形態に係る支援システム１は、利用者Ｂの発話の入力を受付可能なマイク１２（入力部）を有する端末１０と、前記マイク１２の入力結果に基づいて前記発話内容を認識する音声認識部１６と、種々のデータ（画像ファイルＣ１１等）を記憶可能なサーバ３０（記憶部）と、前記端末１０を介してデータを取得する複数のモードを実行可能であると共に、取得した前記データを前記サーバ３０に記憶させるモード制御部１７（制御部）と、を具備し、前記サーバ３０には、前記モードごとに異なる記憶場所（フォルダ（ディレクトリ））が設定され、前記モード制御部１７は、前記発話内容の認識結果に基づいて、前記複数のモードの中から１つのモードを実行し（ステップＳ２０～Ｓ８０）、当該モードの実行時に取得した前記データを前記モードに応じた前記記憶場所に記憶させるものである（ステップＳ１９０・Ｓ３６０・Ｓ４６０）。
As described above, the
このように構成することにより、手を使うことなく、モードに応じた記憶場所にデータを記憶させることができる。これにより、手で端末１０を操作する場合よりも簡単に記憶場所を選択できるため、利用者Ｂの負担を低減することができる。 By configuring it in this way, data can be stored in a memory location according to the mode without using one's hands. This makes it easier to select a memory location than if one were to operate the terminal 10 by hand, thereby reducing the burden on user B.
また、前記モード制御部１７は、前記モードに関するキーワードと前記発話内容の認識結果とを対比することで、前記複数のモードの中から１つのモードを特定し（ステップＳ２０・Ｓ３０・Ｓ５０）、当該１つのモードを実行するものである（ステップＳ４０・Ｓ６０・Ｓ８０）。
The
このように構成することにより、キーワードにより１つのモードを簡単に実行することができる。 By configuring it this way, you can easily execute one mode using a keyword.
また、前記モードには、前記発話内容の認識結果に基づいて検査の結果を取得する検査モード（第一モード）が含まれるものである（ステップＳ４０）。 The modes also include an inspection mode (first mode) in which inspection results are obtained based on the recognition results of the speech content (step S40).
このように構成することにより、手を使うことなく検査の結果を記憶させることができるため、入力作業（端末１０の入力操作）を簡素化して利用者Ｂの負担を低減することができる。 This configuration allows the test results to be stored without using one's hands, simplifying the input work (input operations on terminal 10) and reducing the burden on user B.
また、前記端末１０は、映像を撮影可能なカメラ１３（撮影部）をさらに有し、前記モードには、前記発話内容の認識結果に基づいて、前記カメラ１３で撮影された抽出前映像ファイルＶ３１（前記映像）の中から抽出後映像ファイルＶ３２（一部の時間帯の映像）を取得する記録モード（第二モード）が含まれるものである（ステップＳ８０）。
The terminal 10 further has a camera 13 (image capture unit) capable of capturing video, and the modes include a recording mode (second mode) for acquiring a post-extraction video file V32 (video of a certain time period) from a pre-extraction video file V31 (the video) captured by the
このように構成することにより、手を使うことなく抽出前映像ファイルＶ３１の中から抽出後映像ファイルＶ３２を抽出できるため、抽出前映像ファイルＶ３１の編集作業（抽出後映像ファイルＶ３２の抽出作業）を簡素化し、利用者Ｂの負担を低減することができる。 By configuring it in this way, the post-extraction video file V32 can be extracted from the pre-extraction video file V31 without manual intervention, simplifying the work of editing the pre-extraction video file V31 (the work of extracting the post-extraction video file V32) and reducing the burden on user B.
また、前記端末１０は、映像を撮影可能なカメラ１３をさらに有し、前記モードには、前記端末１０の前記マイク１２を用いて前記利用者Ｂが当該利用者Ｂ以外の第三者と通話可能であると共に、通話中に前記カメラ１３で撮影された映像を関係者端末Ｒ１０（前記第三者が使用する端末）へ送信可能な通話モード（第三モード）が含まれ（ステップＳ６０）、前記モード制御部１７は、前記通話モードにおいて、テキストファイルＦ２１（前記利用者Ｂと前記第三者との通話内容を前記音声認識部１６で認識した結果）と、映像ファイルＶ２１（通話中に前記カメラ１３で撮影された映像）と、を取得するものである。
The terminal 10 further has a
このように構成することにより、手を使うことなくテキストファイルＦ２１及び映像ファイルＶ２１をサーバ３０に記憶させることができるため、入力作業を簡素化して利用者Ｂの負担を低減することができる。
By configuring it in this way, the text file F21 and the video file V21 can be stored in the
なお、本実施形態に係るマイク１２は、本発明に係る入力部の実施の一形態である。
また、本実施形態に係るサーバ３０は、本発明に係る記憶部の実施の一形態である。
また、本実施形態に係るモード制御部１７は、本発明に係る制御部の実施の一形態である。
また、本実施形態に係るカメラ１３は、本発明に係る撮影部の実施の一形態である。
The
The
The
The
以上の如く、本実施形態に係る支援システム１（記録システム）は、音声を含む映像を撮影可能なカメラ１３（撮影部）と、前記映像に含まれた前記音声を認識する音声認識部１６と、前記音声認識部１６での認識結果に基づいて、前記カメラ１３で撮影した抽出前映像ファイルＶ３１（第一映像）の中から、一部の時間帯の映像である抽出後映像ファイルＶ３２（第二映像）を抽出する記録処理部２０（抽出部）と、前記抽出後映像ファイルＶ３２を記憶するサーバ３０（記憶部）と、を具備するものである。
As described above, the support system 1 (recording system) according to this embodiment includes a camera 13 (capturing unit) capable of capturing video including audio, a
このように構成することにより、抽出前映像ファイルＶ３１の中から任意の箇所を確認し易くなる。これにより、抽出前映像ファイルＶ３１を確認する確認者の負担を低減することができる。 This configuration makes it easier to check any part of the pre-extraction video file V31. This reduces the burden on the person checking the pre-extraction video file V31.
また、前記音声認識部１６は、前記音声の認識結果を、前記抽出前映像ファイルＶ３１において当該音声の出力が開始される時間と関連付けて記憶し（ステップＳ５１０）、前記記録処理部２０は、キーワードが前記認識結果に含まれていた場合に、当該認識結果と関連付けられた前記時間を開始日時Ｔ４として取得し（ステップＳ５２０）、前記抽出前映像ファイルＶ３１の中から、前記開始日時Ｔ４以降の時間帯の映像を含むように前記抽出後映像ファイルＶ３２を抽出するものである（ステップＳ５４０）。
The
このように構成することにより、抽出前映像ファイルＶ３１からキーワードに関連する事柄を抽出することがきる。 By configuring it in this way, it is possible to extract matters related to keywords from the pre-extraction video file V31.
また、前記カメラ１３は、作業現場を撮影するものであり、前記キーワードには、前記作業現場に関する用語が含まれるものである。
The
このように構成することにより、作業現場に関連する事柄を抽出することができる。 By configuring it in this way, it is possible to extract information related to the work site.
また、前記キーワードを含む前記音声の認識結果（コメント表示部３３ａ）と、前記抽出後映像ファイルＶ３２に関する画像（サムネイル画像３３ｂ）と、を表示する表示部（確認画面３３を作成する機能）をさらに具備するものである。
It also includes a display section (function for creating a confirmation screen 33) that displays the recognition result of the voice containing the keyword (
このように構成することにより、抽出後映像ファイルＶ３２を再生しなくても当該抽出後映像ファイルＶ３２の内容を把握可能となり、利便性を向上させることができる。また、仮に、抽出後映像ファイルＶ３２が複数ある場合、当該複数の抽出後映像ファイルＶ３２の中から確認したい抽出後映像ファイルＶ３２を容易に見つけ出すことができ、確認者の負担をより低減することができる。 By configuring in this manner, it becomes possible to understand the contents of the extracted video file V32 without playing the extracted video file V32, thereby improving convenience. Furthermore, if there are multiple extracted video files V32, the extracted video file V32 that the user wishes to view can be easily found from among the multiple extracted video files V32, thereby further reducing the burden on the viewer.
また、前記記録処理部２０は、前記抽出前映像ファイルＶ３１に含まれた前記音声に基づいて、前記開始日時Ｔ４よりも遅い終了日時Ｔ７を特定し（ステップＳ５３０）、前記抽出前映像ファイルＶ３１の中から、前記開始日時Ｔ４から前記終了日時Ｔ７までの時間帯の映像を含むように前記抽出後映像ファイルＶ３２を抽出するものである（ステップＳ５４０）。
The
このように構成することにより、映像を抽出する際に終了日時Ｔ７以降の時間帯の映像を省略可能となるため、抽出後映像ファイルＶ３２を比較的短時間なものにできる。 By configuring it in this way, it is possible to omit video from the time period after the end date and time T7 when extracting video, making it possible to make the extracted video file V32 relatively short.
また、前記記録処理部２０は、前記音声の認識結果及び当該認識結果と関連付けられた時間に基づいて、前記音声認識部１６が所定時間前記音声を認識しなかった時間を特定し、当該特定した時間に基づいて前記終了日時Ｔ７を特定可能である（ステップＳ５２０）。
The
このように構成することにより、音声を認識しない時間帯（沈黙している時間帯）に基づいて、終了日時Ｔ７を簡単に特定することができる。 By configuring it in this way, the end date and time T7 can be easily determined based on the time period when no voice is recognized (the time period when there is silence).
また、前記記録処理部２０は、前記開始日時Ｔ４よりも所定時間前の時間から、前記終了日時Ｔ７よりも所定時間後の時間までの時間帯の映像を前記抽出後映像ファイルＶ３２として抽出するものである（ステップＳ５４０）。
The
このように構成することにより、キーワードに関連する事柄の全てを、抽出後映像ファイルＶ３２に含ませ易くすることができる。 This configuration makes it easier to include all of the information related to the keyword in the extracted video file V32.
また、前記サーバ３０は、前記抽出前映像ファイルＶ３１及び前記抽出後映像ファイルＶ３２をそれぞれ記憶するものである。
The
このように構成することにより、記録処理部２０で抽出されなかった時間帯の映像を確認することができる。
By configuring it in this way, it is possible to check video footage from time periods that were not extracted by the
また、前記サーバ３０が前記抽出前映像ファイルＶ３１を記憶してから所定期間が経過した場合に、当該抽出前映像ファイルＶ３１を削除する削除部（上述したバッチ処理で削除する機能）をさらに具備するものである。
The
このように構成することにより、サーバ３０の容量を確保することができる。
By configuring it in this way, the capacity of the
なお、本実施形態に係るカメラ１３は、本発明に係る撮影部の実施の一形態である。
また、本実施形態に係る記録処理部２０は、本発明に係る抽出部の実施の一形態である。
また、本実施形態に係るサーバ３０は、本発明に係る記憶部の実施の一形態である。
The
The
The
以上、本発明の第一実施形態を説明したが、本発明は上記構成に限定されるものではなく、特許請求の範囲に記載された発明の範囲内で種々の変更が可能である。 The first embodiment of the present invention has been described above, but the present invention is not limited to the above configuration, and various modifications are possible within the scope of the invention described in the claims.
例えば、支援システム１は、建物の建築現場で用いられるものとしたが、これに限定されるものではなく、他の場所で用いられてもよい。また、検査モードは、建物の検査に用いられるものとしたが、これに限定されるものではなく、他の検査（外構の検査等）に用いられるものであってもよい。また、検査モードは、建物の竣工前の検査（例えば、フレッシュコンクリートの受入検査等）に限らず、竣工後に行われる検査（定期点検等）に用いられるものであってもよい。
For example, the
また、検査処理部１８は、スピーカ１１から出力させる音声の速さを変更可能であってもよい。これにより、利用者Ｂが任意に音声の速さを調整する（例えば、聞き取り易い速さにする）ことができ、利便性を向上させることができる。
The
また、検査においては、端末１０を操作することで写真を撮影するものとしたが、これに限定されるものではなく、利用者Ｂの発話を受けて写真を撮影するものであってもよい。この場合、検査処理部１８は、例えば、写真の撮影を促す音声をスピーカ１１から出力した後で、カメラ１３を起動させる。また、検査処理部１８は、カメラ１３を撮影する旨の言葉（例えば、『撮影』等の言葉）を利用者Ｂが発声した場合に、カメラ１３のシャッターを切る。このような構成により、利用者Ｂの手を塞ぐことなく写真を撮影することができ、検査を効率的に行うことができる。
In addition, in the inspection, the photograph is taken by operating the terminal 10, but this is not limited to this, and the photograph may be taken in response to user B's speech. In this case, the
また、検査処理部１８は、カメラ１３で撮影した画像ファイルＣ１１・Ｃ１２を解析し、合否を判定してもよい。
The
また、検査処理部１８は、利用者Ｂのコメントを適宜記憶可能であってもよい。例えば、検査処理部１８は、「検査項目」における利用者Ｂの見解等をコメントとして記憶してもよい。また、当該コメントを検査報告書Ｄに反映させてもよい。これにより、検査報告書Ｄの品質を向上させることができる。
The
また、検査処理部１８は、記憶領域Ａ１０に格納された検査項目テーブル３１を用いて検査を行うものとしたが、これに限定されるものではなく、サーバ３０に記憶された検査項目テーブル３１を用いて検査を行ってもよい。
In addition, the
また、検査処理部１８は、検査の合否をスピーカ１１から出力するものとしたが（ステップＳ１６０）、これに限定されるものではなく、スピーカ１１から出力しないものであってもよい。
In addition, the
また、検査処理部１８は、必要に応じて写真撮影を促すものとしたが（ステップＳ１７０）、これに限定されるものではなく、写真撮影を促さないものであってもよい。
In addition, the
また、「検査項目」は、検査処理部１８側から利用者Ｂへと提供されるものとしたが、これに限定されるものではなく、例えば、利用者Ｂ側から検査処理部１８へと提供されるものであってもよい。この場合、利用者Ｂは、検査を開始すると「検査項目」に関する言葉（例えば、『スランプ値』等）を発声する。検査処理部１８は、当該発声を受けて「検査項目」を読み上げる音声（例えば、『スランプ値ですね？』等）をスピーカ１１から出力する。その後、利用者Ｂは、検査の結果に関する言葉（例えば、『Ｘ２』等）を発声する。このような構成により、利用者Ｂが任意に「検査項目」を選ぶことができ、利便性を向上させることができる。
Although the "test item" is provided from the
また、本実施形態において、検査報告書Ｄは、社内システム４０が作成するものとしたが、これに限定されるものではなく、例えば、端末１０等が検査報告書Ｄを作成してもよい。
In addition, in this embodiment, the inspection report D is created by the in-
以上の如く、検査処理部１８及び社内システム４０は、判定結果に基づいて検査報告書Ｄを作成するものである。
なお、検査処理部１８及び社内システム４０は、判定部の実施の一形態である。
As described above, the
The
このように構成することにより、判定結果を入力する手間を省いて利便性を向上させることができる。 This configuration can improve convenience by eliminating the need to input the results of the judgment.
また、本実施形態では、検査報告書Ｄの一例として、図４に示す検査報告書Ｄを挙げたが、検査報告書Ｄの構成（レイアウト等）は、これに限定されるものではなく、任意の構成とすることができる。 In addition, in this embodiment, the inspection report D shown in FIG. 4 is given as an example of the inspection report D, but the configuration (layout, etc.) of the inspection report D is not limited to this and can be any configuration.
また、端末１０は、眼鏡型のウェアラブルデバイスであったが、眼鏡型に限定されるものではなく、他の形式（例えば、ヘッドセット型や腕時計型等）のものであってもよい。また、端末１０は、必ずしもウェアラブルデバイスに限定されるものではなく、他の機器（例えば、タブレット端末等）であってもよい。 In addition, while the terminal 10 is a glasses-type wearable device, it is not limited to a glasses-type device and may be of other types (e.g., a headset type, a wristwatch type, etc.). In addition, the terminal 10 is not necessarily limited to a wearable device and may be other devices (e.g., a tablet terminal, etc.).
また、端末１０は、スピーカ１１及びマイク１２等を具備するものとしたが、端末１０の構成はこれに限定されるものではなく、スピーカ１１及びマイク１２等に加えてモニタを具備するものであってもよい。
In addition, the terminal 10 is described as being equipped with a
また、社内システム４０は、検査項目テーブル３１の内容を手動で変更するものとしたが、検査項目テーブル３１の内容を変更する手段は、これに限定されるものではない。社内システム４０は、例えば、建物を建設するためのデータ（ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データ等）と連携し、当該データの変更に伴って検査項目テーブル３１の内容を自動的に変更するものであってもよい。
Although the in-
また、サーバ３０は、プロジェクト、モード及びファイルの種類に応じて異なるフォルダにファイルを記憶させるものとしたが、ファイルを記憶させるフォルダは、少なくともモードごとに異なっていれば、これに限定されるものではない。よって、サーバ３０は、例えば、プロジェクトや種類が異なるファイルを同一のフォルダに記憶していてもよい。
Although the
また、モード制御部１７は、利用者Ｂの発話を受けてモード選択処理を実行するものとしたが、モード選択処理を実行するトリガーは、これに限定されるものではない。モード制御部１７は、例えば、端末１０の所定のボタンが押下された場合にモード選択処理を実行してもよい。
In addition, the
また、モード制御部１７は、利用者Ｂの発話内容（キーワード）に基づいてモードを認識したが、モードを認識する手法はこれに限定されるものではない。モード制御部１７は、利用者Ｂからの指示（入力）を受けてモードを認識可能であれば、種々の構成を採用することができる。モード制御部１７は、例えば、カメラ１３を通じて行われた利用者Ｂの仕草（ジェスチャ）に基づいて、モードを認識してもよい。
Although the
また、モード制御部１７は、モードの実行時に画像ファイルＣ１１等を取得したが、これに限定されるものではない。モードの実行時に取得するファイルは、どのようなファイルであってもよい。
In addition, the
また、モード制御部１７は、検査モード、通話モード及び記録モードを行うものとしたが、これは一例であり、種々のモードを行うことができる。
The
また、モード制御部１７は、端末１０に設けられるものとしたが、モード制御部１７が設けられる機器は、これに限定されるものではなく、他の機器（例えば、サーバ３０等）であってもよい。
In addition, the
また、記録処理部２０は、建築現場に関する用語に基づいて重要部２１の開始日時を特定したが、キーワードとして設定される言葉は建築現場に関する用語に限定されるものではない。すなわち、記録処理部２０は、建築現場に関する用語以外の言葉（開始日時を特定可能な言葉）をキーワードとすることで、開始時間を特定してもよい。例えば、重要な部分を示唆する言葉（『今から記録します。』等の言葉）に基づいて、開始時間を特定してもよい。また、記録処理部２０は、利用者Ｂの口調に基づいて、開始時間を特定してもよい。例えば、発話内容に『です。』や『ます。』が含まれている場合、当該発話の日時を開始日時としてもよい。
Although the
また、記録処理部２０は、発話内容（キーワード）に基づいて重要部２１の開始日時を特定したが、開始日時を特定するための情報は発話内容（キーワード）に限定されるものではなく、開始日時を特定可能な種々の情報を用いることができる。例えば、記録処理部２０は、発話の長さ（１度に認識した文字の数）が所定の閾値を超えた場合に、当該発話を開始した日時を開始日時としてもよい。また、記録処理部２０は、端末１０の所定のボタンが押下された場合に、当該ボタンが押下された日時に基づいて開始日時を特定してもよい。また、記録処理部２０は、抽出前映像ファイルＶ３１の各コマを解析し、当該解析結果に基づいて開始時間を特定してもよい。この場合、記録処理部２０は、建築現場で用いられる工具（メジャーＭ等）が抽出前映像ファイルＶ３１のコマから検出された場合に、当該コマに対応する時間を開始時間としてもよい。
Although the
また、記録処理部２０は、不要部２２に基づいて重要部２１の終了日時を特定したが、終了日時を特定するための情報は、不要部２２に限定されるものではない。記録処理部２０は、終了日時を特定可能な種々の情報を用いることができる。例えば、記録処理部２０は、終了日時を示唆する情報（終了日時を指示する言葉（『これで終了します。』との言葉等））や端末１０のボタンが押下されたことや抽出前映像ファイルＶ３１の各コマを解析した結果に基づいて、終了日時を特定してもよい。
Although the
また、抽出後映像ファイルＶ３２を確認する確認画面３３の構成（レイアウト）は、図２４に示すものに限定されるものではなく、抽出後映像ファイルＶ３２を確認可能な任意の構成であってよい。
In addition, the configuration (layout) of the
また、記録処理部２０は、重要部２１の前後でバッファを見て抽出後映像ファイルＶ３２を抽出したが、これに限定されるものではなく、重要部２１のみを抽出後映像ファイルＶ３２として抽出してもよい。
In addition, the
また、サーバ３０は、抽出前映像ファイルＶ３１を所定期間経過後に削除するものとしたが、これに限定されるものではなく、抽出前映像ファイルＶ３１に対してどのような処理を行ってもよい。例えば、サーバ３０は、抽出前映像ファイルＶ３１を削除しないものであってもよい。また、サーバ３０は、抽出前映像ファイルＶ３１を他の記憶装置（例えば、抽出前映像ファイルＶ３１を保存するためだけの記憶装置等）に移すものであってもよい。
Although the
また、本実施形態においては、端末１０で抽出後映像ファイルＶ３２を取得したが、抽出映像を取得する機器は端末１０に限定されるものではなく、他の機器（例えば、サーバ３０等）であってもよい。
In addition, in this embodiment, the extracted video file V32 is acquired by the terminal 10, but the device that acquires the extracted video is not limited to the terminal 10 and may be another device (e.g., the
また、本実施形態においては、記録モードの実行時に抽出後映像ファイルＶ３２を抽出したが（ステップＳ４５０）、抽出後映像ファイルＶ３２を抽出するタイミングはこれに限定されるものではなく、例えば、記録モードを実行した後で抽出後映像ファイルＶ３２を抽出してもよい。この場合、例えば、建築現場での作業が行われていないと考えられる時間帯（例えば、深夜の時間帯等）に抽出後映像ファイルＶ３２を抽出してもよい。 In addition, in this embodiment, the post-extraction video file V32 is extracted when the recording mode is executed (step S450), but the timing of extracting the post-extraction video file V32 is not limited to this, and for example, the post-extraction video file V32 may be extracted after the recording mode is executed. In this case, for example, the post-extraction video file V32 may be extracted during a time period when it is considered that no work is being performed at the construction site (for example, late at night, etc.).
また、支援システム１において各種処理を行う機器は、特に限定されるものではない。例えば、本実施形態においては、端末１０で発話内容（通話内容）を認識する処理を行ったが（ステップＳ１１０・Ｓ３２０・Ｓ５１０等）、これに限定されるものではなく、他の機器（例えば、サーバ３０等）で行ってもよい。すなわち、音声認識部１６は、端末１０ではなくサーバ３０等に設けられてもよい。また、モード制御部１７が具備する検査処理部１８、通話処理部１９及び記録処理部２０の一部又は全部も、端末１０ではなくサーバ３０等に設けられてもよい。
In addition, the devices that perform various processes in the
次に、第二実施形態に係る支援システムについて説明する。 Next, we will explain the support system according to the second embodiment.
第二実施形態に係る支援システムは、検査処理部（検査モード）に関する構成が第一実施形態と大きく異なっている。このため、以下では、第二実施形態に係る検査処理部（検査システム１０１）の構成について説明する。 The support system according to the second embodiment differs significantly from the first embodiment in the configuration related to the inspection processing unit (inspection mode). Therefore, the following describes the configuration of the inspection processing unit (inspection system 101) according to the second embodiment.
図２６に示す検査システム１０１は、検査において用いられるシステムである。より詳細には、検査システム１０１は、検査員Ｂ１００（検査を実施する者）が実施した検査の結果を記録する用途に用いられる。また、検査システム１０１は、検査員Ｂ１００と対話することで検査結果を取得し、当該検査結果を記録することができる。なお、検査結果の取得の手順については後述する。また、本実施形態の検査システム１０１は、建物の建築過程における検査（例えば、コンクリート検査等）を対象としている。また、検査システム１０１は、後述するように、複数のプロジェクトや現場で使用可能に構築されている。検査システム１０１は、端末１１０及びサーバ１２０を具備する。
The
端末１１０は、検査員Ｂ１００が所持する機器である。端末１１０は、通信機能を具備し、ネットワーク回線を介して後述するサーバ１２０と通信可能に構成される。端末１１０は、検査員Ｂ１００が装着可能な眼鏡型のウェアラブルデバイス（図２参照）によって構成される。端末１１０は、スピーカ１１１、マイク１１２及びカメラ１１３を具備する。
The terminal 110 is a device carried by the inspector B100. The terminal 110 has a communication function and is configured to be able to communicate with the server 120 (described later) via a network line. The terminal 110 is configured as a glasses-type wearable device (see FIG. 2) that can be worn by the inspector B100. The terminal 110 has a
スピーカ１１１は、音声を出力するためのものである。マイク１１２は、音声を入力するためのものである。カメラ１１３は、写真や動画を撮影するためのものである。スピーカ１１１、マイク１１２及びカメラ１１３は、端末１１０のフレームに適宜設けられる。
The
サーバ１２０は、端末１１０からの要求に応じて適宜処理を行うものである。サーバ１２０は、ＣＰＵ等の演算装置やＨＤＤ等の記憶装置を具備する。サーバ１２０は、プラットフォーム１２１、検査部１２２、管理検査データベース１２３、検査写真ファイルサーバ１２４、確認画面１２５及び異常検知部１２６等を具備する。
The
プラットフォーム１２１は、端末１１０の動作の基盤となるものである。プラットフォーム１２１は、端末１１０と通信することで、端末１１０を機能させることができる。具体的には、プラットフォーム１２１は、端末１１０に信号を送信してスピーカ１１１から音声を出力させたり、端末１１０のマイク１１２に入力された音声やカメラ１１３で撮影した写真及び動画等を、端末１１０から取得することができる。また、プラットフォーム１２１は、建物の品質管理を担当する担当者Ａ１０１が使用する端末と通信することで、当該端末にカメラ１１３で撮影した映像を提供することができる。また、プラットフォーム１２１は、カメラ１１３で撮影した映像を適宜解析することで、検査員Ｂ１００の仕草（例えば、手の動き等）を認識することができる。また、プラットフォーム１２１は、音声認識機能を有する。
The
音声認識機能は、端末１１０のマイク１１２に入力された音声を認識する機能である。プラットフォーム１２１は、マイク１１２に入力された音声を端末１１０から取得し、当該音声（音声ファイル）を解析してテキストファイルへ変換する。プラットフォーム１２１は、当該テキストファイルを読み込むことで、マイク１１２に入力された音声を文字列データとして取得（認識）することができる。
The voice recognition function is a function that recognizes voice input to the
検査部１２２は、検査員Ｂ１００が発した言葉に基づいて検査結果を記録するための処理を行うものである。検査部１２２は、例えば、サーバ１２０上で動作するプログラムによって構成される。検査部１２２は、プラットフォーム１２１が認識した音声（端末１１０のマイク１１２に入力された音声）及び検査員Ｂ１００の仕草を取得することができる。また、検査部１２２は、プラットフォーム１２１を介して端末１１０に音声ファイルを送信することで、当該端末１１０のスピーカ１１１から所定の音声を出力可能に構成される。検査部１２２は、後述する管理検査データベース１２３及び検査写真ファイルサーバ１２４にデータを登録可能に構成される。また、検査部１２２は、管理検査データベース１２３からデータを取得可能に構成される。
The
このように構成される検査部１２２は、プラットフォーム１２１から取得した音声等を利用して適宜処理を行うことにより、検査結果を記録することができる。なお、検査部１２２の処理については後述する。
The
管理検査データベース１２３は、検査に関する情報を管理するためのものである。検査に関する情報は、検査と繋がりがある情報であり、また、複数の検査の中から、ある１つの検査を特定するのに必要な情報である。検査に関する情報としては、例えば、検査対象となる建物を示す情報や検査の内容を示す情報等がある。図２７に示すように、管理検査データベース１２３では、検査に関する情報が、複数の項目に分けて管理されている。複数の項目には、「プロジェクト名」、「工程名」、「検査区分」、「工程部位」及び「管理項目」が含まれる。
The managed
「プロジェクト名」は、建物を建築するプロジェクトの名称や建築現場の名称を示す項目である。「プロジェクト名」に登録される情報としては、例えば、プロジェクトの名称を示す文字列（『Ａプロジェクト』等）や現場の名称を示す文字列等がある。このように、各項目に登録される情報（各項目の具体的な内容を示す情報）を、以下では「検査情報」と称する。 "Project name" is an item that indicates the name of the project to construct a building or the name of the construction site. Information registered in "project name" is, for example, a character string indicating the name of the project (such as "Project A") or a character string indicating the name of the site. In this way, information registered in each item (information indicating the specific content of each item) will be referred to as "inspection information" below.
「工程名」は、建物の建築における工程（工事）の名称を示す項目である。「工程名」の検査情報としては、例えば、工程の名称を示す文字列がある。本実施形態において「工程名」には、上位の項目「プロジェクト名」に登録された各検査情報に対して、想定される（選択されうる）１以上の検査情報が関連付けて登録されている。具体的には、例えば、『Ａプロジェクト』における工程として、『コンクリート工事』及び『鉄筋工事』等が想定される場合、「プロジェクト名」の検査情報『Ａプロジェクト』に対して、「工程名」の検査情報『コンクリート工事』及び『鉄筋工事』等が関連付けて登録されている。このように、本実施形態において「工程名」は、「プロジェクト名」に属する項目（下位の項目）となる。 "Process name" is an item that indicates the name of a process (construction) in the construction of a building. The inspection information for "process name" is, for example, a character string that indicates the name of the process. In this embodiment, "process name" is registered in association with one or more expected (selectable) inspection information for each inspection information registered in the higher-level item "project name". Specifically, for example, if "concrete work" and "rebar work" are expected as processes in "Project A", the inspection information for "process name" such as "concrete work" and "rebar work" is registered in association with the inspection information for "Project A". In this way, in this embodiment, "process name" is an item (sub-item) that belongs to "Project name".
「検査区分」は、検査する区分（建物のどの部分に対して検査を行うのか）を示す項目である。「検査区分」の検査情報としては、例えば、検査する区分を示す文字列がある。本実施形態において「検査区分」には、上位の項目（「プロジェクト名」及び「工程名」）に登録された各検査情報に対して、想定される（選択されうる）１以上の検査情報が関連付けて登録されている。具体的には、例えば、「プロジェクト名」の検査情報『Ａプロジェクト』及び「工程名」の検査情報『コンクリート工事』に対して、「検査区分」の検査情報『基礎』及び『１階床』等が関連付けて登録されている。このように、本実施形態において「検査区分」は、「工程名」に属する項目（下位の項目）となる。 "Inspection category" is an item that indicates the category to be inspected (which part of the building to inspect). The inspection information for "inspection category" is, for example, a character string that indicates the category to be inspected. In this embodiment, "inspection category" associates one or more expected (selectable) inspection information with each inspection information registered in the higher-level items ("project name" and "process name"). Specifically, for example, inspection information "Project A" in "project name" and inspection information "concrete work" in "process name" are associated with inspection information "foundation" and "first floor floor" in "inspection category". In this way, in this embodiment, "inspection category" is an item (sub-item) that belongs to "process name".
「工程部位」は、検査する工程部位（「工程名」が示す工程の中で、何を検査するのか）を示す項目である。「工程部位」の検査情報としては、例えば、検査する工程部位を示す文字列がある。本実施形態において「工程部位」には、上位の項目（「プロジェクト名」、「工程名」及び「検査区分」）に登録された各検査情報に対して、想定される（選択されうる）１以上の検査情報が関連付けて登録されている。具体的には、例えば、「プロジェクト名」の検査情報『Ａプロジェクト』、「工程名」の検査情報「コンクリート工事」及び「検査区分」の検査情報『基礎』に対して、「工程部位」の検査情報『コンクリート検査』等が関連付けて登録されている。このように、本実施形態において「工程部位」は、「検査区分」に属する項目（下位の項目）となる。 "Process part" is an item that indicates the process part to be inspected (what is to be inspected in the process indicated by "Process name"). The inspection information of "Process part" is, for example, a character string that indicates the process part to be inspected. In this embodiment, "Process part" is registered in association with one or more expected (selectable) inspection information for each inspection information registered in the higher-level items ("Project name", "Process name" and "Inspection category"). Specifically, for example, inspection information "Project A" in "Project name", inspection information "Concrete work" in "Process name", and inspection information "Foundation" in "Inspection category" are registered in association with inspection information "Concrete inspection" in "Process part". In this way, in this embodiment, "Process part" is an item (lower item) that belongs to "Inspection category".
「管理項目」は、検査する管理項目（検査の具体的な内容）を示す項目である。「管理項目」の検査情報としては、例えば、管理項目を示す文字列がある。本実施形態において「管理項目」には、上位の項目（「プロジェクト名」、「工程名」、「検査区分」及び「工程部位」）に登録された各検査情報に対して、想定される（選択されうる）１以上の検査情報が関連付けて登録されている。具体的には、例えば、「プロジェクト名」の検査情報『Ａプロジェクト』、「工程名」の検査情報『コンクリート工事』、「検査区分」の検査情報『基礎』及び「工程部位」の検査情報『コンクリート検査』に対して、「管理項目」の検査情報『スランプ値』及び『空気量』等が関連付けて登録されている。このように、本実施形態において「管理項目」は、「工程部位」に属する項目（下位の項目）となる。 The "management item" is an item that indicates the management item to be inspected (specific contents of the inspection). The inspection information of the "management item" is, for example, a character string that indicates the management item. In this embodiment, the "management item" is registered in association with one or more expected (selectable) inspection information for each inspection information registered in the higher-level items ("project name", "process name", "inspection category", and "process part"). Specifically, for example, the inspection information "slump value" and "air content" of the "management item" are registered in association with the inspection information "Project A" of the "project name", the inspection information "concrete work" of the "process name", the inspection information "foundation" of the "inspection category", and the inspection information "concrete inspection" of the "process part". In this way, in this embodiment, the "management item" is an item (lower item) that belongs to the "process part".
このように、管理検査データベース１２３によって管理される複数の項目は、上位の項目から順に「プロジェクト名」、「工程名」、「検査区分」、「工程部位」、「管理項目」となるような階層的な構造となっている。また、「プロジェクト名」、「工程名」、「検査区分」、「工程部位」及び「管理項目」の検査情報により、複数ある検査の中から１つの検査が決まることとなる。具体的には、例えば、『Ａプロジェクト』（より詳細には、Ａプロジェクトで建設する建物）の『コンクリート工事』の『基礎』の『コンクリート検査』の『スランプ値』が正常であるかを確認する検査等が決まることとなる。また、本実施形態では、「プロジェクト名」の検査情報に基づいてプロジェクトや現場を識別できるため、複数のプロジェクトや現場で使用する（検査結果を記録する）ことができる。
In this way, the multiple items managed by the
また、「プロジェクト名」等の項目は、図２６に示す管理検査データベース１２３の管理者Ａ１０２により適宜管理される。具体的には、例えば、新しく建物を建てるプロジェクトが発足した場合等において、管理者Ａ１０２によって、当該プロジェクトに対応する「プロジェクト名」等の検査情報が管理検査データベース１２３に登録される。また、管理検査データベース１２３に登録された検査情報は、管理者Ａ１０２により適宜（例えば、建物が取り壊されてから所定の年数が経過した場合等に）削除される。また、管理検査データベース１２３には、検査員Ｂ１００が実施した検査の結果等が、検査部１２２によって適宜登録される。
In addition, items such as "project name" are appropriately managed by manager A102 of the
図２６に示す検査写真ファイルサーバ１２４は、検査中に端末１１０のカメラ１１３で撮影された結果（図２８に示す画像データＣ１０１・Ｃ１０２参照）を記憶するためのものである。検査写真ファイルサーバ１２４には、端末１１０のカメラ１１３によって撮影された画像ファイルや動画ファイル等が、どの検査で撮影されたものなのかを特定可能に記憶される。また、検査写真ファイルサーバ１２４には、プロジェクトや現場毎に画像ファイル等が記憶される。
The inspection
確認画面１２５は、管理検査データベース１２３に登録された検査結果を確認するための画面である。確認画面１２５は、例えば、ブラウザで表示可能なウェブページによって構成される。確認画面１２５は、管理検査データベース１２３及び検査写真ファイルサーバ１２４から取得した情報を適宜表示することで、検査結果を確認可能に構成される。確認画面１２５は、品質管理を担当する担当者Ａ１０１の端末からネットワーク回線を介してアクセス可能に構成される。図２８は、確認画面１２５の一例を示すものである。
The
図２８に示す確認画面１２５は、特定の上位の項目に属する下位の項目を一覧で表示する画面である。図２８では、上位の項目である「プロジェクト名」、「工程名」及び「検査区分」（図２８では『Ａプロジェクト』の『コンクリート工事』の『基礎』）に属する下位の項目（「工程部位」及び「管理項目」）の検査情報が一覧で表示された例を示している。また、確認画面１２５は、上位の項目、すなわち「プロジェクト名」、「工程名」及び「検査区分」の検査情報（図２８では『Ａプロジェクトのコンクリート工事の基礎の検査結果』との文字列）を表示可能に構成される。また、確認画面１２５には、下位の項目の検査情報等に加えて、「管理値」、「写真」、「コメント」、「判定結果」及び「検査日時」を表示可能に構成される。
The
「管理値」は、「管理項目」が示す検査の合否判定の基準となる情報を示すものである。「管理値」は、管理検査データベース１２３に適宜登録されている。「写真」は、検査において撮影された画像データＣ１０１・Ｃ１０２（検査写真ファイルサーバ１２４に登録された画像データ）を表示するものである。「コメント」は、検査に関する検査員Ｂ１００のコメント（例えば、検査結果についての見解等）を示すものである。「判定結果」は、検査の合否を判定した結果を示すものである。「検査日時」は、検査が行われた日時を示すものである。「コメント」、「判定結果」及び「検査日時」は、検査部１２２によって管理検査データベース１２３に適宜登録される。
"Control value" indicates information that is the standard for determining whether the inspection indicated by the "control item" passes or fails. "Control value" is appropriately registered in the
図２６に示す異常検知部１２６は、端末１１０の異常を検知するためのものである。異常検知部１２６は、例えば、サーバ１２０上で動作するプログラムによって構成される。異常検知部１２６は、端末１１０に設けられた所定のセンサの結果に基づいて（例えば、端末１１０が落下してセンサが異常な値を検出した場合に）、端末１１０に異常があったと判断する。この場合、異常検知部１２６は、検査員Ｂ１００の関係者Ａ１０３等にメール等で通知する。
The
次に、このように構成される検査システム１０１を用いた検査の概要について説明する。
Next, we will provide an overview of the inspection using the
検査システム１０１は、例えば、実施した検査の結果（例えば、測定値等）を管理検査データベース１２３に記憶させる場合に用いられる。まず、検査員Ｂ１００は、端末１１０のマイク１１２に向けて適宜発話することで、複数の検査の中から、１つの検査（実施した検査）を選択する。そして、検査員Ｂ１００は、マイク１１２に向けて適宜発話することで、検査結果を入力する。これによれば、手を使うことなく検査結果を入力することができ、入力の負担を低減することができる。
The
また、検査システム１０１は、入力された検査結果を「管理値」（図２８参照）と対比することで、検査の合否を判定する。これにより、検査員Ｂ１００が合否判定を行う手間を省くことができる。こうして検査システム１０１は、検査員Ｂ１００の検査を支援して、検査業務の負担を低減することができる。
The
当該検査システム１０１は、検査結果を入力するモード（態様）として、第一モード及び第二モードを具備する。第一モード及び第二モードは、後述するように、複数の検査の中から、１つの検査を選択する手順が異なっている。検査システム１０１では、第一モード又は第二モードのいずれかを選択し、検査結果を入力することができる。まずは、図２８から図３２を参照して、第一モードが選択された場合における検査の流れについて説明する。また、検査の流れの説明の中で、検査部１２２の処理についても説明する。
The
第一モードは、検査部１２２と検査員Ｂ１００とが繰り返し対話することで、上位の項目（「プロジェクト名」）から順に検査情報を選択し、最終的に特定された１つの検査の結果を入力するモードである。まず、図２９を参照し、第一モードにおける検査結果の入力までの流れについて説明する。
The first mode is a mode in which the
まず、ステップＳ１０１０において、検査部１２２と検査員Ｂ１００とが対話することで、最も上位の項目である「プロジェクト名」が選択される。ステップＳ１０１０が終了すると、ステップＳ１０２０へ移行する。
First, in step S1010, the
ステップＳ１０２０において、検査部１２２と検査員Ｂ１００とが対話することで、「プロジェクト名」の１つ下位の項目である「工程名」が選択される。ステップＳ１０２０が終了すると、ステップＳ１０３０へ移行する。
In step S1020, the
ステップＳ１０３０において、検査部１２２と検査員Ｂ１００とが対話することで、「工程名」の１つ下位の項目である「検査区分」が選択される。ステップＳ１０３０が終了すると、ステップＳ１０４０へ移行する。
In step S1030, the
ステップＳ１０４０において、検査部１２２と検査員Ｂ１００とが対話することで、残りの「工程部位」及び「管理項目」が選択される。これにより、全ての項目が選択されて最終的に検査結果を入力すべき１つの検査が特定可能となるため、ステップＳ１０４０においては、検査結果も入力する。なお、図２９等においては、「工程部位」及び「管理項目」を総称して、「検査項目」と記載している。ステップＳ１０４０が終了すると、第一モードによる検査結果の入力作業が完了する。
In step S1040, the remaining "process parts" and "control items" are selected through dialogue between the
以下では、図３０から図３２を参照し、第一モードにおける検査結果の入力までの流れ（ステップＳ１０１０～Ｓ１０４０）について具体的に説明する。 Below, we will explain in detail the flow up to inputting the test results in the first mode (steps S1010 to S1040) with reference to Figures 30 to 32.
まず、図３０は、プロジェクト名が選択されるステップＳ１０１０の流れを示すものである。図３０に示すように、ステップＳ１０１０が開始されると、まず、ステップＳ１１１０が行われる。 First, FIG. 30 shows the flow of step S1010, where a project name is selected. As shown in FIG. 30, when step S1010 starts, step S1110 is performed first.
ステップＳ１１１０においては、検査員Ｂ１００により、検査開始の旨が報知される。具体的には、検査員Ｂ１００は、例えば、端末１１０のカメラ１１３に向けて所定の仕草（ジェスチャー）を行う。ステップＳ１１１０が終了すると、ステップＳ１１２０へ移行する。
In step S1110, inspector B100 notifies the user that the inspection is about to begin. Specifically, inspector B100 makes a predetermined gesture toward the
ステップＳ１１２０において、検査部１２２（検査システム１０１）は、プラットフォーム１２１を介して検査員Ｂ１００の仕草を認識し、管理検査データベース１２３から検査に関する情報（全ての項目の全ての検査情報、図２７参照）を読み込む。ステップＳ１１２０が終了すると、ステップＳ１１３０へ移行する。
In step S1120, the inspection unit 122 (inspection system 101) recognizes the gestures of inspector B100 via the
なお、管理検査データベース１２３には、管理者Ａ１０２による事前作業Ａ１２０によって、プロジェクトや現場での検査に関する情報が、予め（検査前に）登録されている。これにより、管理検査データベース１２３には、「プロジェクト名」に所定の検査情報（例えば、『Ａプロジェクト』等）が追加されることとなる。また、管理検査データベース１２３には、下位の項目の検査情報（例えば、『Ａプロジェクト』に対する「工程名」の検査情報『コンクリート工事』等）も追加されることとなる。検査部１２２は、こうして追加された情報をステップＳ１１２０で読み込むこととなる。
In addition, information regarding the project and on-site inspections is registered in advance (before the inspection) in the
ステップＳ１１３０において、検査部１２２は、ステップＳ１１３０で読み込んだ情報から、「プロジェクト名」の検査情報（例えば、『Ａプロジェクト』等）を抽出して読み上げる。このとき、検査部１２２は、検査情報を読み上げる音声を端末１１０のスピーカ１１１から出力させる。具体的には、例えば、『プロジェクトを選んで下さい。Ａプロジェクト、Ｂプロジェクト・・・』との音声を出力させる。ステップＳ１１３０が終了すると、ステップＳ１１４０へ移行する。
In step S1130, the
ステップＳ１１４０において、検査員Ｂ１００は、ステップＳ１１４０で出力された音声に応じて、選択したい（検査結果を入力したい）「プロジェクト名」に関する検査情報（例えば、『Ａプロジェクト』）を発話する。なお、検査部１２２は、検査員Ｂ１００の発話を常に受け付けている（認識可能である）。このため、検査員Ｂ１００は、検査部１２２が検査情報を読み上げている最中に発話することができる。これは、検査部１２２の音声出力を受けて検査員Ｂ１００が発話する他のステップ（例えば、後述するステップＳ１２２０等）でも同様である。
In step S1140, inspector B100 speaks inspection information (e.g., "Project A") related to the "project name" he wishes to select (for which he wishes to input inspection results) in response to the voice output in step S1140. Note that the
また、検査員Ｂ１００は、ステップＳ１１４０において、所定の言葉を発話することで、検査部１２２が読み上げた検査情報をもう一度聞き直すことができる。具体的には、検査員Ｂ１００は、もう一度聞き直すことを検査部１２２が認識可能な言葉（例えば、『もう一度』との言葉等）を発話する。本実施形態の検査部１２２は、当該発話内容に基づいて１つ前のステップ（ステップＳ１１３０）へ戻り、検査情報をもう一度読み上げる。これは、検査部１２２の音声出力を受けて検査員Ｂ１００が発話する他のステップ（例えば、後述するステップＳ１２２０等）でも同様である。ステップＳ１１４０が終了すると、ステップＳ１１５０へ移行する。
In addition, inspector B100 can utter a specific word in step S1140 to listen again to the inspection information read out by the
ステップＳ１１５０において、検査部１２２は、ステップＳ１１４０で検査員Ｂ１００が発話した「プロジェクト名」の検査情報を復唱する。具体的には、まず、検査部１２２は、プラットフォーム１２１を介してステップＳ１１４０での発話内容を取得することで、「プロジェクト名」に選択（入力）された検査情報（例えば、『Ａプロジェクト』）を判断する。そして、検査部１２２は、判断した検査情報を復唱する音声をスピーカ１１１から出力させる。具体的には、例えば『Ａプロジェクトですね？』との音声を出力させる。
In step S1150, the
なお、検査部１２２は、認識した発話内容から以降のステップを実行不能である場合に、検査員Ｂ１００に発話内容をもう一度問い合わせ、１つ前のステップ（検査員Ｂ１００が発話するステップ）へ戻る。例えば、検査部１２２は、ステップＳ１１４０での発話内容から「プロジェクト名」の検査情報を判断不能である（検査員Ｂ１００が想定外の言葉を発話した）場合、もう一度検査員Ｂ１００に発話を促す旨の音声（例えば、『すいません。もう一度お願いします。』等の音声）をスピーカ１１１から出力させ、ステップＳ１１４０へ戻る。これは、検査員Ｂ１００の発話を受けて検査部１２２が処理を行う他のステップ（例えば、後述するステップＳ１２３０等）でも同様である。ステップＳ１１５０が終了すると、検査員Ｂ１００の発話の有無に応じて、適宜のステップへ移行する。
If the
具体的には、復唱された検査情報が違っている場合、検査員Ｂ１００は、復唱された検査情報が違っていることを検査部１２２が認識可能な言葉を発話する。本実施形態の検査部１２２は、当該発話内容に基づいてステップＳ１１３０へ戻り（図３０に示す符号Ａ参照）、「プロジェクト名」の検査情報をもう一度読み上げる。これにより、検査員Ｂ１００は、検査情報を選択し直すことができる。例えば、検査員Ｂ１００は、『戻る』と発話することで、検査情報が違っていることを検査部１２２に認識させて、検査情報を選択し直すことができる。
Specifically, if the repeated test information is incorrect, inspector B100 speaks words that allow the
一方、復唱された検査情報が正しい場合、検査員Ｂ１００は特に発話を行わない。検査部１２２は、例えば、検査員Ｂ１００の発話を所定時間認識しなかった場合に、プロジェクト名を選択するステップＳ１０１０を終了させ、工程名を選択するステップＳ１０２０へ移行する。
On the other hand, if the repeated inspection information is correct, inspector B100 does not make any particular speech. For example, if the
図３１（ａ）は、工程名が選択されるステップＳ１０２０の流れを示すものである。図３１（ａ）に示すように、工程名が選択されるステップＳ１０２０においては、上述したステップＳ１１３０～Ｓ１１５０と同じようなステップＳ１２１０～Ｓ１２３０により、「工程名」が選択される。 Figure 31 (a) shows the flow of step S1020 where the process name is selected. As shown in Figure 31 (a), in step S1020 where the process name is selected, the "process name" is selected by steps S1210 to S1230, which are similar to steps S1130 to S1150 described above.
具体的には、ステップＳ１２１０において、検査部１２２は、「工程名」の検査情報を読み上げる。このとき、検査部１２２は、ステップＳ１１２０で読み込んだ情報から、「工程名」の検査情報を抽出する。この際、検査部１２２は、「工程名」の検査情報のうち、プロジェクト名の選択（ステップＳ１０１０）で選択された検査情報に関連付けられた検査情報を抽出する。これにより、検査部１２２は、「工程名」に登録された複数の検査情報の中から、ステップＳ１０１０で選択されたプロジェクトで実施される（検査員Ｂ１００が選択する）可能性がある検査情報を抽出することができる。また、検査部１２２は、抽出した検査情報をスピーカ１１１から出力させる。具体的には、例えば、図２７に示す「プロジェクト名」の検査情報に『Ａプロジェクト』が選択された場合、『工程を選んで下さい。コンクリート工事、鉄筋工事・・・』との音声を出力させる。
Specifically, in step S1210, the
そして、図３１（ａ）に示すように、ステップＳ１２２０において、検査員Ｂ１００は、選択したい（検査結果を入力したい）「工程名」に関する検査情報（例えば、『コンクリート工事』）を発話する。その後、ステップＳ１２３０において、検査部１２２は、発話内容に基づいて「工程名」に選択された検査情報（例えば、『コンクリート工事』）を判断し、当該検査情報をスピーカ１１１から出力させる。
Then, as shown in FIG. 31(a), in step S1220, inspector B100 speaks the inspection information (e.g., "concrete work") related to the "process name" that he or she wishes to select (for which he or she wishes to input the inspection results). After that, in step S1230, the
選択された検査情報が違っている場合、検査員Ｂ１００は、所定の言葉（『戻る』等の言葉）を発話して検査部１２２に検査情報が違っていることを認識させる。この場合、検査部１２２は、ステップＳ１２１０へ戻る（図３１（ａ）に示す符号Ｂ参照）。一方、選択された検査情報が正しい場合、検査員Ｂ１００は特に発話を行わない。この場合、検査部１２２は、工程名を選択するステップＳ１０２０を終了させ、検査区分を選択するステップＳ１０３０へ移行する。
If the selected inspection information is incorrect, inspector B100 speaks a predetermined word (such as "Go back") to make the
図３１（ｂ）は、検査区分を選択するステップＳ１０３０の流れを示すものである。図３１（ｂ）に示すように、検査区分を選択するステップＳ１０３０においては、プロジェクト名を選択するステップＳ１１３０～Ｓ１１５０と同じようなステップＳ１３１０～Ｓ１３３０により、「検査区分」が選択される。なお、ステップＳ１３１０において、検査部１２２は、「検査区分」（ステップＳ１０３０で選択する項目）よりも上位の項目（「プロジェクト名」及び「工程名」）の検査情報をキーに管理検査データベース１２３を検索する。これにより、検査部１２２は、「検査区分」に登録された複数の検査情報の中から、検査員Ｂ１００が選択する可能性がある検査情報を抽出する。また、ステップＳ１３２０においては、こうして抽出した検査情報を読み上げる。「検査区分」の選択が完了すると、検査項目（工程部位及び管理項目）の選択等を行うステップＳ１０４０へ移行する。
Figure 31 (b) shows the flow of step S1030 for selecting an inspection category. As shown in Figure 31 (b), in step S1030 for selecting an inspection category, an "inspection category" is selected by steps S1310 to S1330, which are similar to steps S1130 to S1150 for selecting a project name. In step S1310, the
図３２は、検査項目の選択等を行うステップＳ１０４０の流れを示すものである。図３２に示すように、ステップＳ１０４０が開始されると、まず、ステップＳ１４１０が行われる。 Figure 32 shows the flow of step S1040, in which test items are selected, etc. As shown in Figure 32, when step S1040 starts, step S1410 is performed first.
ステップＳ１４１０において、検査部１２２は、「工程部位」及び「管理項目」の検査情報を抽出する。このとき、検査部１２２は、抽出対象となる「工程部位」等の項目よりも上位の項目の検査情報をキーに管理検査データベース１２３を検索する。これにより、検査部１２２は、選択されたプロジェクトの工程の検査区分で対象となる（検査員Ｂ１００が選択する可能性がある）「工程部位」及び「管理項目」の検査情報を抽出する。
In step S1410, the
例えば、検査部１２２は、図２７に示す「プロジェクト名」に『Ａプロジェクト』が、「工程名」に『コンクリート工事』が、「検査区分」に『基礎』が選択された場合に、当該『Ａプロジェクト』等をキーに管理検査データベース１２３を検索する。これにより、「工程部位」及び「管理項目」として、『Ａプロジェクト』の『コンクリート工事』の『基礎』に対する『コンクリート検査』の『スランプ値』と、『コンクリート検査』の『空気量』と、を抽出する。ステップＳ１４１０が終了すると、ステップＳ１４２０へ移行する。
For example, when "Project A" is selected as the "Project Name", "Concrete Work" as the "Process Name", and "Foundation" as the "Inspection Category" shown in FIG. 27, the
ステップＳ１４２０において、検査部１２２は、スピーカ１１１から音声を出力させることで、ステップＳ１４１０で抽出した「工程部位」及び「管理項目」の検査情報を読み上げる。ステップＳ１４２０が終了すると、ステップＳ１４３０へ移行する。
In step S1420, the
ステップＳ１４３０において、検査員Ｂ１００は、ステップＳ１４２０で出力された音声に応じて、選択したい（検査結果を入力したい）「工程部位」及び「管理項目」に関する検査情報（例えば、『コンクリート検査のスランプ値』）を発話する。ステップＳ１４３０が終了すると、ステップＳ１４４０へ移行する。 In step S1430, inspector B100 speaks the inspection information (e.g., "concrete inspection slump value") related to the "process area" and "control item" he/she wishes to select (enter the inspection result for) in response to the voice output in step S1420. When step S1430 ends, the process proceeds to step S1440.
ステップＳ１４４０において、検査部１２２は、ステップＳ１４３０での発話内容に基づいて「工程部位」及び「管理項目」に選択された検査情報を判断し、当該検査情報を復唱する（スピーカ１１１から出力させる）。その後、検査部１２２は、検査結果を問い合わせる音声（例えば、『値を言って下さい。』等の音声）をスピーカ１１１から出力させる。
In step S1440, the
ステップＳ１４５０において、出力された検査情報が違っている場合、検査員Ｂ１００は、所定の言葉を発話して検査部１２２に検査情報が違っていることを認識させる。この場合、検査部１２２は、ステップＳ１４２０へ戻り（図３２に示す符号Ｄ参照）、検査情報をもう一度読み上げる。
In step S1450, if the output test information is incorrect, inspector B100 speaks a predetermined phrase to make the
一方、ステップＳ１４５０において、出力された検査情報が正しい場合、検査員Ｂ１００は、検査結果を発話（回答）する。検査部１２２は、発話内容を認識して検査結果を取得し、当該検査結果が値であった場合に、ステップＳ１４６０へ移行する。一方、検査部１２２は、検査結果が合否判定の結果であった場合に、ステップＳ１４７０へ移行する。
On the other hand, in step S1450, if the output test information is correct, inspector B100 speaks (responses) the test result. The
ステップＳ１４６０において、検査部１２２は、ステップＳ１４５０で発話された検査結果と「管理値」（図２８参照）とを対比することで、検査の合否を判定する。その後、検査部１２２は、検査結果を復唱する音声と、合否判定の結果を報知する音声と、をスピーカ１１１から出力させる。具体的には、例えば、『１５センチですね？合格です。』との音声を出力させる。なお、検査員Ｂ１００は、復唱された検査結果がステップＳ１４５０で発話した検査結果と違っていた場合に、所定の言葉（例えば、『戻る』との言葉）を発話して検査部１２２に検査結果が違っていることを認識させる。これにより、ステップＳ１４４０へ戻ることができる。ステップＳ１４６０が終了すると、ステップＳ１４８０へ移行する。
In step S1460, the
ステップＳ１４７０において、検査部１２２は、検査員Ｂ１００が発話した合否判定の結果を復唱する音声をスピーカ１１１から出力させる。具体的には、例えば、『ＯＫですね？』との音声を出力させる。検査員Ｂ１００は、復唱された合否判定の結果がステップＳ１４５０で発話した検査結果と違っていた場合に、所定の言葉を発話して検査部１２２に検査結果が違っていることを認識させる。これにより、ステップＳ１４４０へ戻ることができる。ステップＳ１４７０が終了すると、ステップＳ１４８０へ移行する。
In step S1470, the
ステップＳ１４８０において、検査部１２２は、検査結果を管理検査データベース１２３に登録する。検査部１２２は、検査結果が複数の検査の中のどの検査に該当するのかを判断可能となるように、検査結果をステップＳ１０１０等で選択された検査情報と関連付けて登録する。また、検査部１２２は、時計機能等を用いて取得した日時（「検査日時」）も、検査情報と関連付けて登録する。また、検査部１２２は、ステップＳ１４６０で合否判定を行った場合、当該合否判定の結果も関連付けて登録する。これにより、検査部１２２は、図２８に示す確認画面１２５の「判定結果」及び「検査日時」にデータを反映させることができる。ステップＳ１４８０が終了すると、ステップＳ１４９０へ移行する。
In step S1480, the
ステップＳ１４９０において、検査部１２２は、写真を登録するか否かを問い合わせる音声（例えば、『写真を登録する場合は写真を撮って下さい。』との音声）を、スピーカ１１１から出力させる。ステップＳ１４９０が終了すると、ステップＳ１５００へ移行する。
In step S1490, the
ステップＳ１５００において、検査員Ｂ１００は、ステップＳ１４９０で出力された音声に応じて適宜写真を撮影する。このとき、検査員Ｂ１００は、カメラ１１３に向けて所定の仕草を行う。プラットフォーム１２１は、当該仕草を認識すると、カメラ１１３のシャッターを切って写真を撮影する。端末１１０は、こうして撮影した写真の画像データ（例えば、図２８に示す画像データＣ１０１・Ｃ１０２）をサーバ１２０へ転送する。なお、検査員Ｂ１００は、写真撮影を行わない場合、所定の言葉を発して写真撮影を行わないことを検査部１２２に認識させる。具体的には、例えば、『スキップ』と発話する。これにより、検査員Ｂ１００は、写真撮影を行うことなくステップＳ１５００を終了することができる。ステップＳ１５００が終了すると、ステップＳ１５１０へ移行する。
In step S1500, inspector B100 takes appropriate photographs in response to the voice output in step S1490. At this time, inspector B100 makes a predetermined gesture toward
ステップＳ１５１０において、検査部１２２は、ステップＳ１５１０で撮影された画像データを検査写真ファイルサーバ１２４に保存する。これにより、確認画面１２５の「写真」に画像データを反映させることができる。ステップＳ１５１０が終了すると、ステップＳ１５２０へ移行する。
In step S1510, the
ステップＳ１５２０において、検査部１２２は、コメントを残すか否かを問い合わせる音声（例えば、『検査内容について所見を述べて下さい。』との音声）を、スピーカ１１１から出力させる。ステップＳ１５２０が終了すると、ステップＳ１５３０へ移行する。
In step S1520, the
ステップＳ１５３０において、検査員Ｂ１００は、ステップＳ１５２０で出力された音声に応じて適宜コメントを発話する。ステップＳ１５３０が終了すると、ステップＳ１５４０へ移行する。 In step S1530, inspector B100 makes an appropriate comment in response to the voice output in step S1520. When step S1530 ends, the process proceeds to step S1540.
ステップＳ１５４０において、検査員Ｂ１００は、カメラ１１３に向けて所定の仕草を行うことで、コメントの発話を終了する。ステップＳ１５４０が終了すると、ステップＳ１５５０へ移行する。
In step S1540, inspector B100 ends speaking the comment by making a specific gesture toward the
ステップＳ１５５０において、検査部１２２は、プラットフォーム１２１を介して検査員Ｂ１００の仕草を認識し、コメントの発話が終了したと判断する。このように、検査部１２２は、検査員Ｂ１００の発話内容ではなく、仕草によってコメントの終了を認識するようにしている。これによれば、検査部１２２は、コメントの発話が終了したことを容易に判断することができる。検査部１２２は、コメントの発話が終了したことを判断すると、ステップＳ１５３０でのコメントを管理検査データベース１２３に登録する。このとき、検査部１２２は、コメントが複数の検査の中のどの検査に該当するのかを判断可能となるように、コメントをステップＳ１０１０等で選択された検査情報と関連付けて登録する。これにより、確認画面１２５の「コメント」にデータを反映させることができる。ステップＳ１５５０が終了すると、ステップＳ１４１０へ移行する。
In step S1550, the
なお、検査員Ｂ１００は、コメントを残さない場合、ステップＳ１５３０で所定の言葉を発してコメントを残さないことを検査部１２２に認識させる。具体的には、例えば、『スキップ』と発話する。これにより、ステップＳ１５４０・Ｓ１５５０をスキップし、コメントを残すことなくステップＳ１４１０へ移行することができる。
If inspector B100 does not want to leave a comment, he/she utters a predetermined word in step S1530 to make the
なお、第一モードにおいて、検査部１２２は、常に検査員Ｂ１００の仕草を認識可能となっている。また、検査部１２２は、認識した仕草から、検査員Ｂ１００が検査を終了させることを報知していると判断可能である。このため、検査員Ｂ１００は、端末１１０のカメラ１１３に向けて所定の仕草（第一モードを終了させることを検査部１２２が認識可能な仕草）をすることで、第一モードによる検査結果の入力をいつでも終了させることができる。
In the first mode, the
このような第一モードによる検査結果の入力において検査員Ｂ１００は、検査内容（結果を入力すべき検査）を特定するために全ての項目（「プロジェクト名」等）の検査情報を発話する必要がある（ステップＳ１１４０・Ｓ１２２０・Ｓ１３２０・Ｓ１４３０）。 When inputting test results using this first mode, inspector B100 must speak the test information for all items (such as "project name") to identify the test content (the test for which results should be entered) (steps S1140, S1220, S1320, and S1430).
次に、図３３及び図３４を参照して、第二モードにおける検査の流れについて説明する。また、検査の流れの説明の中で、検査部１２２の処理についても説明する。
Next, the flow of the inspection in the second mode will be described with reference to Figures 33 and 34. In addition, in explaining the flow of the inspection, the processing of the
第二モードは、検査の選択において、検査員Ｂ１００による検査情報の発話を一部省略するためのモードである。第二モードにおいては、検査員Ｂ１００が発話したある１つの項目の検査情報に関する言葉から、複数の項目の検査情報を検査部１２２が自動的に選択することで、検査員Ｂ１００による検査情報の発話を省略することができる。以下、具体的に説明する。
The second mode is a mode for omitting some of the recitation of test information by inspector B100 when selecting a test. In the second mode, the
まず、図３３に示すステップＳ１６００において、検査部１２２は、検査員Ｂ１００の発話を受け付ける。そして、検査部１２２は、当該発話内容に基づいて、可能であれば複数の項目の検査情報を選択する。図３４は、当該ステップＳ１６００の流れを示すものである。図３４に示すように、ステップＳ１６００が開始されると、まず、ステップＳ１６１０が行われる。
First, in step S1600 shown in FIG. 33, the
ステップＳ１６１０においては、第一モードのステップＳ１１１０（図３０参照）と同様に、検査員Ｂ１００によって検査開始の旨が報知される。そして、ステップＳ１６２０へ移行して、検査部１２２は、ステップＳ１１２０と同様に、管理検査データベース１２３からデータを読み込む。そして、ステップＳ１６３０へ移行して、検査部１２２は、発話を受け付ける旨の音声（例えば、『検査の情報を教えて下さい。』との音声）をスピーカ１１１から出力させる。その後、ステップＳ１６４０へ移行する。
In step S1610, inspector B100 notifies the user of the start of the inspection, similar to step S1110 in the first mode (see FIG. 30). Then, the process moves to step S1620, where the
ステップＳ１６４０において、検査員Ｂ１００は、検査結果を入力したい検査に関する言葉を発話する。この際、検査員Ｂ１００は、最上位の「プロジェクト名」の検査情報に限らず、下位の項目の検査情報に関する言葉を発話することがある。また、検査員Ｂ１００は、１つの項目の検査情報に限らず、複数の項目の検査情報に関する言葉を発話することがある。ステップＳ１６４０が終了すると、ステップＳ１６５０へ移行する。 In step S1640, inspector B100 speaks words related to the inspection for which he/she wishes to enter the inspection results. At this time, inspector B100 may speak words related to the inspection information of lower-level items, not limited to the inspection information of the top-level "project name". Inspector B100 may also speak words related to the inspection information of multiple items, not limited to the inspection information of one item. When step S1640 is completed, the process proceeds to step S1650.
ステップＳ１６５０において、検査部１２２は、ステップＳ１６４０での発話内容からキーワードを抽出する。具体的には、検査部１２２は、まず、プラットフォーム１２１を介して発話内容を取得して解析することで、発話内容の中から検査に関する文字列（用語）を抽出する。そして、検査部１２２は、ステップＳ１６２０で読み込んだデータと抽出した文字列とを比較して、抽出した文字列が複数の項目に登録された検査情報（例えば、図２７に示す『Ａプロジェクト』等）と一致するかを確認する。
In step S1650, the
検査部１２２は、抽出した文字列が検査情報と一致した場合に、当該文字列をキーワードとして抽出する。以下では、このような検査情報と一致する文字列を「第一キーワード」と称する。
If the extracted character string matches the inspection information, the
また、検査部１２２は、抽出した文字列が検査情報と一致しない場合に、抽出した文字列が検査情報と関連する文字列であるか否かを確認する。検査情報と関連する文字列は、検査情報と一致しなくても、当該検査情報を示すものとして判断可能な文字列である。具体的には、例えば、検査情報の略語及び俗語、並びに検査情報に割り当てられた数字等である。例えば、『コンクリート検査』は、『生コン検査』と略して発話されることがある。このような『生コン検査』との文字列は、「工程部位」の『コンクリート検査』であると判断可能である。また、検査においては、検査情報に応じて適宜通し番号が付されることがある。例えば、『スランプ値』の検査情報に対して『１』等の番号が付されることがある。この場合、『１』との文字列は、「管理項目」の『スランプ値』であると判断可能である。以下では、このような検査情報と関連する文字列を「第二キーワード」と称する。
In addition, when the extracted character string does not match the inspection information, the
本実施形態の管理検査データベース１２３には、第二キーワード（例えば、『生コン検査』）と、当該第二キーワードにより判断可能な検査情報（例えば、『コンクリート検査』）と、が関連付けて登録されている。ステップＳ１６５０において、検査部１２２は、抽出した文字列が検査情報と一致しない場合に、当該文字列をキーとして管理検査データベース１２３を検索することで、抽出した文字列が第二キーワードであるかを判断する。そして、検査部１２２は、抽出した文字列が第二キーワードであった場合に、当該文字列を第二キーワードとして抽出する。
In the
ステップＳ１６５０において、検査部１２２は、発話内容からキーワード（第一キーワード又は第二キーワード）を抽出できた場合に、ステップＳ１６５０を終了する。ステップＳ１６５０が終了すると、ステップＳ１６６０へ移行する。
In step S1650, if the
一方、ステップＳ１６５０において、検査部１２２は、発話内容からキーワードを抽出できなかった場合に、検査員Ｂ１００にもう一度発話を促す音声（例えば、「もう一度言って下さい。」等の音声）をスピーカ１１１から出力させる。この場合、ステップＳ１６４０へ移行して、検査員Ｂ１００が検査に関する言葉を発話することとなる。
On the other hand, in step S1650, if the
ステップＳ１６６０において、検査部１２２は、抽出したキーワードを、複数の項目の中から適切な（選択すべき）１つの項目に当てはめる。検査部１２２は、抽出したーキーワードが第一キーワードであるのか第二キーワードであるのかに応じて、適宜項目への当てはめを行う。
In step S1660, the
より詳細には、検査部１２２は、抽出したキーワードが第一キーワードである場合、当該第一キーワードをそのまま１つの項目に当てはめる。このとき、検査部１２２は、まず、第一キーワードに基づいて、複数の項目の中から第一キーワードと同一文字列の検査情報が登録された１つの項目を特定する。そして、検査部１２２は、特定した項目の検査情報に第一キーワードが選択（入力）されたと判断する。例えば、第一キーワードとして『Ａプロジェクト』を抽出した場合、検査部１２２は、当該『Ａプロジェクト』をキーに管理検査データベース１２３を検索することで、『Ａプロジェクト』が登録された項目「プロジェクト名」を特定する。そして、検査部１２２は、「プロジェクト名」の検査情報に『Ａプロジェクト』が選択されたと判断する。
More specifically, when the extracted keyword is a first keyword, the
また、検査部１２２は、抽出したキーワードが第二キーワード（『１』等）である場合、当該第二キーワードをそのまま１つの項目に当てはめるのではなく、第二キーワードが示す検査情報を当てはめる。このとき、検査部１２２は、第二キーワードをキーに管理検査データベース１２３を検索し、当該第二キーワードが示す検査情報（『スランプ値』等）、すなわち第一キーワードを特定する。そして、検査部１２２は、特定した第一キーワードから選択すべき１つの項目を特定し、当該項目に第一キーワードを当てはめる。
Furthermore, when the extracted keyword is a second keyword (such as "1"), the
なお、検査部１２２は、ステップＳ１６５０において複数のキーワードが抽出された場合に、上述した項目の当てはめを複数のキーワードのそれぞれにおいて行う。ステップＳ１６６０が終了すると、ステップＳ１６７０へ移行する。なお、以下では、ステップＳ１６６０において当てはめが行われた項目を「第一項目」と称する。
If multiple keywords are extracted in step S1650, the
ステップＳ１６７０において、検査部１２２は、ステップＳ１６６０で当てはめた第一項目以外の項目（検査情報が不足する項目）の検査情報を推定する。このとき、検査部１２２は、例えば、ステップＳ１６６０で当てはめた下位の項目の検査情報に基づいて、上位の項目の検査情報を推定する。
In step S1670, the
具体的には、下位の項目の中には、上位の項目の検査情報を推定できる検査情報が含まれる。当該検査情報は、１つ上位の項目の検査情報を一意に特定可能な検査情報である。例えば、図２７に示す「管理項目」を例に挙げると、下位の「管理項目」の検査情報が『スランプ値』及び『空気量』である場合、２つ以上上位の項目（「検査区分」等）の検査情報が何であったとしても、１つ上位の「工程部位」の検査情報は必ず『コンクリート検査』となる。そこで、検査部１２２は、このような上位と下位の関係を利用して、ステップＳ１６６０である項目に当てはめを行った場合に、当該項目よりも上位の項目の検査情報を推定する。
Specifically, the lower-level items include inspection information that can be used to estimate the inspection information of higher-level items. This inspection information is inspection information that can uniquely identify the inspection information of the next higher-level item. For example, in the case of the "control item" shown in FIG. 27, if the inspection information of the lower-level "control item" is "slump value" and "air content", then no matter what the inspection information of the items two or more levels above (such as "inspection category") is, the inspection information of the next higher-level "process part" will always be "concrete inspection". Therefore, the
例えば、ステップＳ１６６０で「管理項目」に『空気量』を当てはめた場合、検査部１２２は、『空気量』をキーに管理検査データベース１２３を検索する。その結果、「工程部位」の検査情報として『コンクリート検査』のみが抽出されるため（図２７参照）、検査部１２２は、上位の「工程部位」の検査情報が『コンクリート検査』であると判断する。これにより、検査部１２２は、検査員Ｂ１００が発話していない項目の検査情報を、当該検査員Ｂ１００の発話内容から間接的に選択することができる。なお、以下では、このような検査部１２２により間接的に選択された項目を「第二項目」と称する。
For example, if "air content" is assigned to the "management item" in step S1660, the
なお、ステップＳ１６６０で当てはめた検査情報によっては、上位の項目の検査情報を推定できないことも想定される。例えば、ステップＳ１６６０で「工程部位」に『コンクリート検査』を当てはめただけでは、上位の「検査区分」の検査情報が『基礎』であるのか『１階床』であるのか推定できない（図２７参照）。そこで、検査部１２２は、ステップＳ１６７０において検査情報を推定不能な項目については、ステップＳ１６７０で検査情報の判断は行わない。ステップＳ１６７０が終了すると、検査員Ｂ１００の発話の受付等を行うステップＳ１６００が終了し、図３３に示すステップＳ１７１０へ移行する。
Depending on the inspection information applied in step S1660, it is expected that the inspection information of higher-level items cannot be estimated. For example, simply applying "concrete inspection" to the "process area" in step S1660 does not allow estimation of whether the inspection information of the higher-level "inspection category" is "foundation" or "first floor" (see FIG. 27). Therefore, the
検査部１２２は、ステップＳ１７１０～Ｓ１８００により、ステップＳ１６００で検査情報が選択されていない項目について、検査員Ｂ１００に問い合わせる。以下では、このような検査情報が選択されていない項目を「第三項目」と称する。以下、第三項目の問い合わせについて具体的に説明する。
In steps S1710 to S1800, the
ステップＳ１７１０において、検査部１２２は、「プロジェクト名」の検査情報が選択されているか否かを確認する。検査部１２２は、「プロジェクト名」の検査情報が選択されていない場合に、ステップＳ１７２０へ移行する。一方、検査部１２２は、「プロジェクト名」の検査情報が選択されている場合に、ステップＳ１７３０へ移行する。
In step S1710, the
ステップＳ１７２０において、検査部１２２は、「プロジェクト名」の検査情報について検査員Ｂ１００に問い合わせる。このとき、検査部１２２は、第一モードのステップＳ１２１０～Ｓ１２２０（工程名を選択する処理、図３１参照）と同じようにして、検査情報を問い合わせる。すなわち、検査部１２２は、「プロジェクト名」の検査情報を読み上げる。検査員Ｂ１００は、当該読み上げに応じて選択したい検査情報を発話する。検査部１２２は、当該発話内容を認識して復唱する。そして、検査部１２２は、検査員Ｂ１００が検査情報が違っている旨の発話をしない場合に、「プロジェクト名」の検査情報の選択を完了する。ステップＳ１７２０が終了すると、ステップＳ１７３０へ移行する。
In step S1720, the
ステップＳ１７３０において、検査部１２２は、「工程名」の検査情報が選択されているか否かを確認する。検査部１２２は、「工程名」の検査情報が選択されていない場合に、ステップＳ１７４０へ移行する。一方、検査部１２２は、「工程名」の検査情報が選択されている場合に、ステップＳ１７５０へ移行する。
In step S1730, the
ステップＳ１７４０において、検査部１２２は、ステップＳ１７２０と同じようにして「工程名」の検査情報について検査員Ｂ１００に問い合わせる。これにより、「工程名」の検査情報が選択される。ステップＳ１７４０が終了すると、ステップＳ１７５０へ移行する。
In step S1740, the
ステップＳ１７５０において、検査部１２２は、「検査区分」の検査情報が選択されているか否かを確認する。検査部１２２は、「検査区分」の検査情報が選択されていない場合に、ステップＳ１７６０へ移行し、ステップＳ１７２０と同じようにして「検査区分」の検査情報について検査員Ｂ１００に問い合わせる。これにより、「検査区分」の検査情報が選択される。一方、検査部１２２は、「検査区分」の検査情報が選択されている場合に、ステップＳ１７６０をスキップし、ステップＳ１７７０へ移行する。
In step S1750, the
ステップＳ１７７０において、検査部１２２は、「工程部位」の検査情報が選択されているか否かを確認する。検査部１２２は、「工程部位」の検査情報が選択されていない場合に、ステップＳ１７８０へ移行し、ステップＳ１７２０と同じようにして「工程部位」の検査情報について検査員Ｂ１００に問い合わせる。これにより、「工程部位」の検査情報が選択される。一方、検査部１２２は、「工程部位」の検査情報が選択されている場合に、ステップＳ１７８０をスキップし、ステップＳ１７９０へ移行する。
In step S1770, the
ステップＳ１７９０において、検査部１２２は、「管理項目」の検査情報が選択されているか否かを確認する。検査部１２２は、「管理項目」の検査情報が選択されていない場合に、ステップＳ１８００へ移行し、ステップＳ１７２０と同じようにして「管理項目」の検査情報について検査員Ｂ１００に問い合わせる。これにより、「管理項目」の検査情報が選択される。一方、検査部１２２は、「管理項目」の検査情報が選択されている場合に、ステップＳ１８００をスキップし、ステップＳ１８１０へ移行する。
In step S1790, the
検査部１２２は、このようなステップＳ１７１０～Ｓ１８００により、第三項目の検査情報を選択することができる。これにより、全ての項目の検査情報が選択されて複数の検査の中から、１つの検査を特定可能となる。
By performing steps S1710 to S1800, the
ステップＳ１８１０において、検査部１２２は、検査結果を入力する。このとき、検査部１２２は、第一モードの検査結果の入力と同じようにして（図３２に示すステップＳ１４４０～Ｓ１５５０までを行うことで）、検査結果を入力する。ステップＳ１８１０が終了すると、第二モードによる検査が終了する。
In step S1810, the
なお、第二モードにおいて、検査部１２２は、常に検査員Ｂ１００の仕草を認識可能となっている。また、検査部１２２は、認識した仕草から、検査員Ｂ１００が検査を終了させることを報知していると判断可能である。このため、検査員Ｂ１００は、端末１１０のカメラ１１３に向けて所定の仕草（第二モードを終了させることを検査部１２２が認識可能な仕草）をすることで、第二モードによる検査結果の入力をいつでも終了させることができる。
In the second mode, the
以下では、図３５及び図３６を参照し、第二モードによる対話の具体例を説明する。 Below, we will explain a specific example of dialogue in the second mode with reference to Figures 35 and 36.
まず、検査部１２２は、検査員Ｂ１００の発話を受け付ける（ステップＳ１６００）。このとき、検査部１２２は、検査員Ｂ１００の検査開始の仕草を受けてデータを読み込み、適宜音声を出力する（ステップＳ１６１０～Ｓ１６３０）。そして、検査員Ｂ１００は、検査に関する言葉を発話する（ステップＳ１６４０）。具体的には、検査員Ｂ１００は、例えば、『Ａプロジェクトのコンクリート工事のスランプ値の検査を実施』と発声する。検査部１２２は、当該発声に基づいてキーワードを抽出する（ステップＳ１６５０）。具体的には、検査部１２２は、『Ａプロジェクト』、『コンクリート工事』及び『スランプ値』という３つの第一キーワードを抽出する。
First, the
検査部１２２は、抽出した第一キーワードを「プロジェクト名」等の項目に当てはめる（ステップＳ１６６０）。具体的には、検査部１２２は、「プロジェクト名」に『Ａプロジェクト』を、「工程名」に『コンクリート工事』を、「管理項目」に『スランプ値』を当てはめる。この場合、「プロジェクト名」、「工程名」及び「管理項目」が検査員Ｂ１００の発話から直接選択された第一項目となる。
The
検査部１２２は、当てはめた「プロジェクト名」以外の項目の検査情報を推定する（ステップＳ１６７０）。上述の如く、「管理項目」の検査情報が『スランプ値』である場合、上位の「工程部位」の検査情報は必ず『コンクリート検査』となる（図２７参照）。よって、検査部１２２は、『スランプ値』をキーに管理検査データベース１２３を検索すると、上位の「工程部位」の検査情報として『コンクリート検査』のみを抽出することとなる。検査部１２２は、当該抽出結果に基づいて、「工程部位」に『コンクリート工事』が選択されたと判断する。一方、「検査区分」の検査情報は推定不能であるため、検査部１２２は、「検査区分」の検査情報についての判断は行わない。この場合、「工程部位」が検査員Ｂ１００の発話から間接的に選択された第二項目となる。また、「検査区分」が検査員Ｂ１００の発話から選択不能な第三項目となる。
The
検査部１２２は、このような第三項目（「検査区分」）の検査情報について検査員Ｂ１００に質問する（ステップＳ１７１０～Ｓ１８００）。すなわち、検査部１２２は、「プロジェクト名」及び「工程名」の問い合わせ（ステップＳ１７２０・Ｓ１７４０）を省略し、検査区分の問い合わせを行う（ステップＳ１７１０：Ｎｏ、ステップＳ１７３０：Ｎｏ、ステップＳ１７５０：Ｙｅｓ、ステップＳ１７６０）。このとき、検査部１２２は、例えば、『検査区分を選んで下さい。基礎、１階床・・・』との音声をスピーカ１１１から出力させる。検査員Ｂ１００は、当該音声に応答する形で「検査区分」について発話する（例えば、『１階床』と発話する）。検査部１２２は、当該発話内容（『１階床』）から、「検査区分」に『１階床』が選択されたと判断する。
The
これにより、全ての項目の選択が完了するため（ステップＳ１７５０：Ｎｏ、ステップＳ１７７０：Ｎｏ、ステップＳ１７９０：Ｎｏ）、検査部１２２は、検査員Ｂ１００が検査結果を入力する検査が、『Ａプロジェクトのコンクリート工事の１階床のコンクリート検査のスランプ値』の検査であることを特定可能となる。当該検査部１２２は、検査結果を入力する（ステップＳ１８１０）。このとき、検査部１２２は、確認のため、特定した検査を復唱する音声をスピーカ１１１から出力させる。具体的には、例えば『コンクリート工事のスランプ値ですね？』との音声を出力させる。
As a result, selection of all items is completed (step S1750: No, step S1770: No, step S1790: No), and the
なお、検査部１２２は、検査員Ｂ１００が当該音声に応答する形で検査が異なる旨の発話（例えば、『戻る』との発話）をした場合に、検査区分を問い合わせる処理（１つ前のステップＳ１７６０）へ戻り、もう一度検査区分を問い合わせる。これにより、特定した検査が正しいか否かを確認することができる。また、特定した検査が正しくない（検査員Ｂ１００が意図しない検査であった）場合に、検査情報を選択し直すことができる。
If inspector B100 responds to the voice by saying that the test is different (for example, by saying "go back"), the
一方、検査部１２２は、特定した検査を復唱する音声（『コンクリート工事のスランプ値ですね？』との音声）に対して検査員Ｂ１００が発話しない場合に、検査結果を問い合わせる音声をスピーカ１１１から出力させる。具体的には、例えば『値を言って下さい。』との音声を出力させる。検査員Ｂ１００は、当該音声を受けて検査結果（『Ｘ２』）を発話する。検査部１２２は、当該発話内容から、検査結果が『Ｘ２』であると判断する。検査部１２２は、検査結果に対して合否判定を行って、検査結果等と関連付けて管理検査データベース１２３へ登録する。その後、検査部１２２は、写真登録の問い合わせやコメントの入力の問い合わせを行い、画像データＣ１０１・Ｃ１０２やコメントを適宜登録する。こうして、検査結果の入力が完了する。
On the other hand, if inspector B100 does not speak in response to the voice repeating the identified inspection ('That's the slump value of the concrete work, right?'), the
第二モードによれば、「管理項目」に関するキーワード（『スランプ値』）を発話することで、「工程部位」の検査情報の発話を省略することができる（ステップＳ１６７０）。これによれば、１つのキーワードで複数の項目の選択（入力）を行うことができるため、選択の手間を省くことができる。また、全ての項目の検査情報を発話する必要がある第一モードと比較して、検査情報を発話する回数を減らすことができる。 In the second mode, by speaking a keyword ("slump value") related to the "control item," it is possible to omit speaking the inspection information for the "process part" (step S1670). This allows multiple items to be selected (input) with one keyword, eliminating the need to make selections. Also, compared to the first mode, in which inspection information for all items must be spoken, the number of times inspection information needs to be spoken can be reduced.
また、第二モードによれば、１回の発話（『Ａプロジェクトのコンクリート工事のスランプ値』との発話）により、複数の項目（「プロジェクト名」、「工程名」及び「管理項目」）をまとめて選択することができる（ステップＳ１６５０・Ｓ１６６０）。これにより、第一モードと比較して、検査部１２２と検査員Ｂ１００との対話回数を減らすことができる。
In addition, according to the second mode, multiple items ("project name," "process name," and "control item") can be selected together with one utterance (utterance of "slump value of concrete work of A project") (steps S1650 and S1660). This allows the number of interactions between the
なお、第二モードにおいては、発話内容から全ての項目に関するキーワードを抽出できた場合に（ステップＳ１６５０・Ｓ１６６０）、不足項目の推定（ステップＳ１６７０）及び検査員Ｂ１００への質問（ステップＳ１７１０～Ｓ１８００）を省略し、検査結果を入力する（ステップＳ１８１０）。 In the second mode, if keywords related to all items can be extracted from the speech content (steps S1650 and S1660), the estimation of missing items (step S1670) and questions to inspector B100 (steps S1710 to S1800) are omitted, and the inspection results are input (step S1810).
具体的には、例えば、図３６（ａ）に示すように、検査員Ｂ１００が『Ａプロジェクトのコンクリート工事の１階床のコンクリート検査のスランプ値』と発話した場合、検査部１２２は、当該発話内容から『Ａプロジェクト』、『コンクリート工事』、『１階床』、『コンクリート検査』及び『スランプ値』という５つのキーワードを抽出する（ステップＳ１６５０）。
Specifically, for example, as shown in FIG. 36(a), when inspector B100 utters "the slump value of the concrete inspection of the first floor of the concrete work of the A project," the
検査部１２２は、抽出したキーワードを「プロジェクト名」等の項目に当てはめる（ステップＳ１６６０）。これにより、全ての項目が選択されることとなるため、検査部１２２は、検査結果を問い合わせる音声（『値を言って下さい。』との音声）等をスピーカ１１１から出力させる。このような構成によれば、検査員Ｂ１００が１回発話するだけで検査結果の入力（ステップＳ１８１０）へと進むことができる。
The
また、第二モードによれば、キーワードから適切な項目を特定するため（ステップＳ１６６０）、項目の順位の通りに検査情報を発話しなくても、検査情報を適切に選択することができる。例えば、検査員Ｂ１００が『Ａプロジェクトの１階床のコンクリート工事のコンクリート検査のスランプ値』と発話した場合、すなわち、上位の「工程名」の検査情報『コンクリート工事』と下位の「検査区分」の検査情報『１階床』との順番を入れ替えて発話した場合でも、「工程名」に『コンクリート工事』を、「検査区分」に『１階床』を選択することができる。 In addition, according to the second mode, since the appropriate item is identified from the keyword (step S1660), the inspection information can be appropriately selected without speaking the inspection information in the order of the items. For example, if inspector B100 speaks "Slump value of concrete inspection for concrete work on the first floor of project A," that is, even if the order of the inspection information "concrete work" in the higher-level "process name" and the inspection information "first floor" in the lower-level "inspection category" is reversed, it is possible to select "concrete work" for the "process name" and "first floor" for the "inspection category."
また、検査部１２２は、発話内容から全ての項目に関するキーワードを抽出できなかった場合であっても、不足項目の推定（ステップＳ１６７０）によって検査を特定できれば、検査員Ｂ１００への質問（ステップＳ１７１０～Ｓ１８００）を省略し、検査結果を入力する（ステップＳ１８１０）。
In addition, even if the
具体的には、例えば、図３６（ｂ）に示すように、検査員Ｂ１００が『Ａプロジェクトのコンクリート工事の１階床のスランプ値』と発話した場合、すなわち『コンクリート検査』の発話を省略した場合、検査部１２２は、『スランプ値』から省略された『コンクリート検査』を選択する（ステップＳ１６７０）。これにより、全ての項目が選択されることとなるため、検査部１２２は、検査結果の入力を促す音声等をスピーカ１１１から出力させる。このような構成によれば、一部の項目に関する発話を省略しながらも、検査員Ｂ１００が１回発話するだけで検査結果の入力（ステップＳ１８１０）へと進むことができる。
For example, as shown in FIG. 36(b), if inspector B100 utters "slump value of the first floor of the concrete work of project A," i.e., omits "concrete inspection," the
以上の如く、本実施形態に係る検査システム１０１は、検査に関する複数の項目に検査情報が入力されることで当該検査が特定される検査システム１０１であって、検査員Ｂ１００の発話の入力を受け、発話内容を認識するプラットフォーム１２１（音声認識部）と、前記プラットフォーム１２１で認識した発話内容に基づいて、前記複数の項目に検査情報を入力する検査部１２２（入力部）と、を具備し、前記検査部１２２は、前記複数の項目の中の一部の項目である第一項目に入力する検査情報を示すキーワードが、前記発話内容に含まれていた場合に、前記キーワードに基づいて前記第一項目に検査情報を入力する（ステップＳ１６６０）と共に、前記第一項目に入力された検査情報に基づいて、前記複数の項目のうち前記第一項目以外の第二項目にも検査情報を入力可能に構成される（ステップＳ１６７０）ものである。
As described above, the
このように構成することにより、１つのキーワードを発話することで２つ以上の項目に検査情報を入力可能となるため、入力の手間を省いて検査員Ｂ１００の負担を低減することができる。 By configuring it in this way, inspection information can be entered into two or more items by speaking one keyword, which reduces the input work and the burden on inspector B100.
また、前記キーワードには、前記第一項目に入力する検査情報と文字列が一致する第一キーワードと、前記第一項目に入力する検査情報と文字列が一致しないもののうち、当該検査情報と関連付けられた第二キーワードと、が含まれるものである。 The keywords include a first keyword whose character string matches the test information entered in the first field, and a second keyword whose character string does not match the test information entered in the first field and is associated with the test information.
このように構成することにより、検査情報と全く同じ言葉（第一キーワード）を発話するだけではなく、検査情報と関連付けられた言葉（第二キーワード）を発話することでも、検査情報を入力することができる。具体的には、例えば、検査員Ｂ１００が『生コン検査』と発話した場合、当該発話内容から「工程名」の項目に『コンクリート検査』を入力することができる。これにより、検査情報を入力し易くすることができる。 By configuring it in this way, inspection information can be input not only by speaking the exact same words (first keywords) as the inspection information, but also by speaking words associated with the inspection information (second keywords). Specifically, for example, if inspector B100 speaks "ready mixed concrete inspection," "concrete inspection" can be entered into the "process name" field based on the content of that speech. This makes it easier to input inspection information.
また、前記第二キーワードには、検査情報に割り当てられた数字が含まれるものである。 The second keyword also includes a number assigned to the test information.
このように構成することにより、数字を発話することで速やかに検査情報の入力を済ませることができる。具体的には、例えば、検査員Ｂ１００が『１』と発話すれば、「管理項目」の項目に『スランプ値』を入力することができる。 This configuration allows inspection information to be quickly entered by speaking a number. Specifically, for example, if inspector B100 speaks "1," the "slump value" can be entered in the "Management Item" field.
また、前記第一項目は、前記第二項目の下位に属する項目である。 The first item is a subordinate item of the second item.
このように構成することにより、下位の項目の検査情報に関するキーワードを発話することで、上位の項目の検査情報を入力可能となるため、上位の項目の検査情報を入力する手間を省くことができる。 By configuring it this way, it becomes possible to input test information for higher-level items by speaking keywords related to test information for lower-level items, eliminating the need to input test information for higher-level items.
また、前記発話内容から検査情報を入力不能な第三項目がある場合に、当該第三項目に入力する検査情報を問い合わせる検査部１２２及びスピーカ１１１（問合せ部）をさらに具備するものである。
In addition, if there is a third item for which test information cannot be input from the speech content, the device further includes an
このように構成することにより、検査を特定するのに必要な情報（第三項目の検査情報）を検査員Ｂ１００に問い合わせることができる。これにより、効率的に検査情報を入力することができる。 By configuring it in this way, it is possible to inquire of inspector B100 about the information required to identify the test (third item of test information). This allows for efficient input of test information.
以上、本発明の第二実施形態を説明したが、本発明は上記構成に限定されるものではなく、特許請求の範囲に記載された発明の範囲内で種々の変更が可能である。 The second embodiment of the present invention has been described above, but the present invention is not limited to the above configuration, and various modifications are possible within the scope of the invention described in the claims.
例えば、検査システム１０１は、建物の建築過程における検査に用いられるものとしたが、これに限定されるものではなく、建物の建築後に行われる検査（定期点検等）に用いられるものであってもよい。また、検査システム１０１は、建物を検査対象とするのではなく、建物以外の物（外構等）を検査対象としてもよい。
For example, the
また、第二モードにおいて検査部１２２は、全ての項目の検査情報が選択されていない状態でキーワードを受け付けるものとしたが（ステップＳ１６００）、これに限定されるものではなく、一部の項目（例えば、最上位の項目「プロジェクト名」等）が選択された後で、キーワードを受け付けるものであってもよい。
In addition, in the second mode, the
また、本実施形態において、検査システム１０１は、第一モード及び第二モードを具備するものとしたが、これに限定されるものではなく、第一モード及び第二モードを包括する１つのモードを具備するものであってもよい。
In addition, in this embodiment, the
このようなモードとしては、例えば、上位の項目から検査情報を選択する第一モードをベースとし、キーワードの発話を受けて下位の項目も選択するようなモード等が考えられる。当該モードにおいて、検査部１２２は、上位の項目から順に検査情報について問い合わせる。また、検査部１２２は、問い合わせに対する検査員Ｂ１００の発話内容から問い合わせた項目の検査情報のみを選択するのではなく、発話内容から他の項目に関するキーワードも抽出する。そして、検査部１２２は、当該キーワードに基づいて他の項目の検査情報を選択する。これにより、上位の項目から検査情報を選択する中で、複数の項目の検査情報を選択可能となり、選択の負担を低減することができる。
Such a mode may, for example, be based on a first mode in which test information is selected from higher-level items, and also selects lower-level items in response to the utterance of a keyword. In this mode, the
また、検査部１２２は、不足項目の推定（ステップＳ１６７０）において、ステップＳ１６６０で当てはめを行った項目よりも１つ上位の項目の検査情報を推定するものとしたが、これに限定されるものではなく、２つ以上上位の項目の検査情報を推定してもよい。
In addition, in estimating the missing items (step S1670), the
また、検査部１２２は、不足項目の推定（ステップＳ１６７０）において、下位の項目の検査情報に基づいて上位の項目の検査情報を推定するものとしたが、これに限定されるものではなく、上位の項目の検査情報から下位の項目の検査情報を推定してもよい。
In addition, in estimating the missing items (step S1670), the
また、検査部１２２は、不足項目の推定（ステップＳ１６７０）において、ステップＳ１６６０で当てはめを行った１つの項目の検査情報から、他の１つの項目の検査情報を推定したが、これに限定されるものではなく、当てはめを行った複数の項目の検査情報から、他の１つの項目の検査情報を推定してもよい。
In addition, in estimating the missing items (step S1670), the
また、検査部１２２は、不足項目の推定（ステップＳ１６７０）を再帰的に行うことで、１つの項目に当てはめた検査情報から２つ以上の項目の検査情報を推定してもよい。具体的には、検査部１２２は、不足項目の推定（ステップＳ１６７０）において検査情報を選択できた場合に、当該検査情報を用いてさらに上位の項目の検査情報の推定を試みるという処理を繰り返し行う。このような処理によれば、１つの項目の当てはめにより複数の項目の検査情報を推定可能となって、検査情報の入力をより多く省略することができる。
The
また、本実施形態では、検査員Ｂ１００への検査情報の問い合わせ（ステップＳ１７１０～Ｓ１８００）において、スピーカ１１１から音声を出力させるものとしたが、検査員Ｂ１００へ問い合わせる手法はこれに限定されるものではなく、例えば、所定の表示部にメッセージを表示させるもの等であってもよい。
In addition, in this embodiment, when inquiring about the inspection information to inspector B100 (steps S1710 to S1800), a voice is output from
また、検査部１２２は、検査員Ｂ１００への検査情報の問い合わせ（ステップＳ１７１０～Ｓ１８００）を行った後、かつ検査結果の入力（ステップＳ１８１０）の前に、選択された全ての項目の検査情報を復唱してもよい。具体的には、検査部１２２は、『Ａプロジェクトのコンクリート工事の基礎のコンクリート検査のスランプ値ですね。』との音声をスピーカ１１１から出力してもよい。
In addition, the
ここで、検査員Ｂ１００が検査結果を入力する検査は、未実施の検査又は不合格となった検査であることが想定される。そこで、検査部１２２は、検査員Ｂ１００への検査情報の問い合わせ（ステップＳ１７１０～Ｓ１８００）において、未実施の検査等の検査情報（入力される可能性がある検査情報）のみについて問い合わせてもよい。例えば、スランプ値の「検査区分」を問い合わせる場合に、『基礎』のスランプ値が合格済み、『１階床』が未実施、『２階床』が不合格であった場合、『検査区分は１階床と２階床のどちらですか？』との音声を出力させてもよい。
Here, it is assumed that the inspection results for which inspector B100 inputs are those that have not been performed or that have failed. Therefore, when inquiring of inspection information from inspector B100 (steps S1710 to S1800), the
以上の如く、前記検査部１２２及びスピーカ１１１は、前記第三項目に入力される可能性がある検査情報のみを問い合わせ可能であり、前記入力される可能性がある検査情報には、未実施の検査に関する検査情報及び／又は実施結果が不合格と判定された検査に関する検査情報が含まれるものである。
As described above, the
このように構成することにより、検査員Ｂ１００が入力すると考えられる検査情報（合否判定が行われていない検査又は不合格と判定された検査に関する検査情報）について、検査員Ｂ１００に問い合わせることができる。これによって、検査員Ｂ１００が問い合わせに対して応対し易くすることができる。 This configuration allows the user to inquire of inspector B100 about the inspection information that inspector B100 is likely to input (inspection information related to inspections for which pass/fail judgment has not been performed or inspections that have been judged as failing). This makes it easier for inspector B100 to respond to inquiries.
なお、検査員Ｂ１００が入力すると考えられる検査情報には、未実施の検査及び不合格となった検査以外の検査情報が含まれていてもよい。また、検査部１２２は、第二モードだけではなく、第一モードでも検査員Ｂ１００が入力すると考えられる検査情報のみを問い合わせることができる。この場合、例えば、検査部１２２は、第一モードにおいて「工程部位」及び「管理項目」の検査情報を読み上げる場合に（ステップＳ１４２０）、検査員Ｂ１００が入力すると考えられる検査情報のみを読み上げることができる。
The inspection information that is expected to be entered by inspector B100 may include inspection information other than unperformed inspections and failed inspections. Furthermore, the
また、本実施形態では、確認画面１２５の一例として、図２８に示す確認画面１２５を挙げたが、確認画面１２５の構成（レイアウト等）は、これに限定されるものではなく、任意の構成とすることができる。
In addition, in this embodiment, the
また、本実施形態において、端末１１０は、眼鏡型のウェアラブルデバイスであったが、眼鏡型に限定されるものではなく、他の形式（例えば、ヘッドセット型や腕時計型等）のものであってもよい。また、端末１１０は、必ずしもウェアラブルデバイスに限定されるものではなく、他の機器（例えば、タブレット端末等）であってもよい。 In addition, in this embodiment, the terminal 110 is a glasses-type wearable device, but it is not limited to a glasses-type device and may be of other types (e.g., a headset type, a wristwatch type, etc.). In addition, the terminal 110 is not necessarily limited to a wearable device and may be other devices (e.g., a tablet terminal, etc.).
また、サーバ１２０は、必ずしもＨＤＤ等のハードウェアを専有するオンプレミス環境に構築される必要はなく、例えば、ハードウェアを他の仮想サーバと共用するクラウド環境に構築されるものであってもよい。
Furthermore,
また、本実施形態においては、検査員Ｂ１００が発話することで「プロジェクト名」を選択するものとしたが、これに限定されるものではなく、端末１１０の位置情報に基づいて「プロジェクト名」を自動的に選択してもよい。具体的には、検査部１２２は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）機能により端末１１０の位置情報、すなわち検査が行われる建物の位置情報を取得する。当該検査部１２２は、取得した位置情報に基づいて検査対象の建物を特定する。検査部は、特定した建物から「プロジェクト名」の検査情報を選択する。
In addition, in this embodiment, the "project name" is selected by the inspector B100 speaking, but this is not limited to the above, and the "project name" may be automatically selected based on the location information of the terminal 110. Specifically, the
また、本実施形態において複数の項目には、「プロジェクト名」、「工程名」、「検査区分」、「工程部位」及び「管理項目」が含まれるものとしたが、これに限定されるものではない。 In addition, in this embodiment, the multiple items include "project name," "process name," "inspection category," "process location," and "control item," but are not limited to this.
１ 支援システム（記録システム）
１３ カメラ（撮影部）
１６ 音声認識部
２０ 記録処理部（抽出部）
３０ サーバ（記憶部）
Ｖ３１ 抽出前映像ファイル（第一映像）
Ｖ３２ 抽出後映像ファイル（第二映像）
1. Support system (recording system)
13 Camera (photography unit)
16
30 Server (storage unit)
V31 Extracted video file (first video)
V32 Extracted video file (second video)
Claims (7)
前記映像に含まれた前記音声を認識する音声認識部と、
前記音声認識部での認識結果に基づいて、前記撮影部で撮影した第一映像の中から、一部の時間帯の映像である第二映像を抽出する抽出部と、
前記第二映像を記憶する記憶部と、
を具備し、
前記音声認識部は、
前記音声の認識結果を、前記第一映像において当該音声の出力が開始される時間と関連付けて記憶し、
前記抽出部は、
キーワードが前記認識結果に含まれていた場合に、当該認識結果と関連付けられた前記時間を開始時間として取得し、
前記第一映像の中から、前記開始時間以降の時間帯の映像を含むように前記第二映像を抽出し、
前記キーワードを含む前記音声の認識結果と、前記第二映像に関する画像と、を表示する表示部をさらに具備する、
記録システム。 A photographing unit capable of photographing video including audio;
a voice recognition unit that recognizes the voice included in the video;
an extraction unit that extracts a second image, which is an image of a certain time period, from the first image captured by the image capture unit based on a recognition result by the voice recognition unit;
A storage unit that stores the second image;
Equipped with
The voice recognition unit
storing the voice recognition result in association with a time when the output of the voice starts in the first video;
The extraction unit is
If the keyword is included in the recognition result, the time associated with the recognition result is obtained as a start time;
extracting the second video from the first video so as to include a video from a time period after the start time;
a display unit that displays a recognition result of the voice including the keyword and an image related to the second video.
System of record.
作業現場を撮影するものであり、
前記キーワードには、
前記作業現場に関する用語が含まれる、
請求項１に記載の記録システム。 The imaging unit includes:
It is used to photograph the work site,
The keywords include:
The work site terminology is included.
The recording system according to claim 1 .
前記映像に含まれた前記音声に基づいて、前記開始時間よりも遅い終了時間を特定し、
前記第一映像の中から、前記開始時間から前記終了時間までの時間帯の映像を含むように前記第二映像を抽出する、
請求項１又は２に記載の記録システム。 The extraction unit is
determining an end time that is later than the start time based on the audio included in the video;
extracting the second video from the first video so as to include a video of a time period from the start time to the end time;
3. A recording system according to claim 1 or 2.
前記音声の認識結果及び当該認識結果と関連付けられた時間に基づいて、前記音声認識部が所定時間前記音声を認識しなかった時間を特定し、当該特定した時間に基づいて前記終了時間を特定可能である、
請求項３に記載の記録システム。 The extraction unit is
a time during which the speech recognition unit did not recognize the speech for a predetermined period of time based on the speech recognition result and a time associated with the speech recognition result; and a time period during which the speech recognition unit did not recognize the speech for a predetermined period of time based on the time period determined by the speech recognition unit.
The recording system according to claim 3 .
前記開始時間よりも所定時間前の時間から、前記終了時間よりも所定時間後の時間までの時間帯の映像を前記第二映像として抽出する、
請求項３又は請求項４に記載の記録システム。 The extraction unit is
extracting, as the second image, an image from a time period starting from a predetermined time before the start time to a predetermined time after the end time;
5. A recording system according to claim 3 or 4.
前記第一映像及び前記第二映像をそれぞれ記憶する、
請求項１から請求項５までのいずれか一項に記載の記録システム。 The storage unit is
storing the first image and the second image,
A recording system according to any one of claims 1 to 5 .
請求項６に記載の記録システム。 a deletion unit that deletes the first video when a predetermined period of time has elapsed since the storage unit stored the first video.
The recording system according to claim 6.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020163829A JP7554624B2 (en) | 2020-09-29 | 2020-09-29 | System of record |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020163829A JP7554624B2 (en) | 2020-09-29 | 2020-09-29 | System of record |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022056051A JP2022056051A (en) | 2022-04-08 |
| JP7554624B2 true JP7554624B2 (en) | 2024-09-20 |
Family
ID=80998716
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020163829A Active JP7554624B2 (en) | 2020-09-29 | 2020-09-29 | System of record |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7554624B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003204282A (en) | 2002-01-07 | 2003-07-18 | Toshiba Corp | Headset with wireless communication function, communication recording system using the same, and headset system capable of selecting communication control method |
| JP2006140707A (en) | 2004-11-11 | 2006-06-01 | Nippon Telegr & Teleph Corp <Ntt> | VIDEO PROCESSING METHOD, VIDEO PROCESSING DEVICE, VIDEO PROCESSING PROGRAM, AND COMPUTER-READABLE RECORDING MEDIUM CONTAINING THE PROGRAM |
| JP2018180852A (en) | 2017-04-11 | 2018-11-15 | クオリカ株式会社 | Work information system and method for collecting data related to an event occurring at work site |
| JP2020035384A (en) | 2018-08-31 | 2020-03-05 | 沖電気工業株式会社 | Information processing device, method, program, and system |
-
2020
- 2020-09-29 JP JP2020163829A patent/JP7554624B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003204282A (en) | 2002-01-07 | 2003-07-18 | Toshiba Corp | Headset with wireless communication function, communication recording system using the same, and headset system capable of selecting communication control method |
| JP2006140707A (en) | 2004-11-11 | 2006-06-01 | Nippon Telegr & Teleph Corp <Ntt> | VIDEO PROCESSING METHOD, VIDEO PROCESSING DEVICE, VIDEO PROCESSING PROGRAM, AND COMPUTER-READABLE RECORDING MEDIUM CONTAINING THE PROGRAM |
| JP2018180852A (en) | 2017-04-11 | 2018-11-15 | クオリカ株式会社 | Work information system and method for collecting data related to an event occurring at work site |
| JP2020035384A (en) | 2018-08-31 | 2020-03-05 | 沖電気工業株式会社 | Information processing device, method, program, and system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022056051A (en) | 2022-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101198744B1 (en) | Apparatus, method and computer program product for using images in contact lists maintained in electronic devices | |
| US9304657B2 (en) | Audio tagging | |
| CN101086741B (en) | Information processing apparatus and information processing method | |
| US8768693B2 (en) | Automatic tag extraction from audio annotated photos | |
| CN110085222B (en) | Interactive apparatus and method for supporting voice conversation service | |
| CN103916513A (en) | Method and device for recording communication message at communication terminal | |
| CN111954864A (en) | Automated presentation control | |
| JP2014513828A (en) | Automatic conversation support | |
| KR20160016810A (en) | Automatic isolation and selection of screenshots from an electronic content repository | |
| CN104239389B (en) | media file management method and system | |
| US20050216913A1 (en) | Annotating / rating / organizing / relating content rendered on computer device during idle mode thereof | |
| CN114374813A (en) | Multimedia resource management method, recorder and server | |
| JP7554623B2 (en) | Support System | |
| CN112906358B (en) | Information processing device, information processing method, and recording medium | |
| US7451090B2 (en) | Information processing device and information processing method | |
| CN105808231B (en) | System and method for recording and playing script | |
| JP7401241B2 (en) | Inspection support system | |
| CN103678469B (en) | Media file management method | |
| JP7554624B2 (en) | System of record | |
| JP7437164B2 (en) | inspection system | |
| JP2017021672A (en) | Search device | |
| WO2017045493A1 (en) | Method and device for setting files to be removed | |
| CN1991842B (en) | Apparatus and method for managing images of mobile terminal | |
| CN117950950B (en) | Log analysis method and system | |
| CN104468926A (en) | Method and device for controlling contact persons in mobile terminal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230829 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240521 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240522 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240708 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240820 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240909 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7554624 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |