JP6825801B2

JP6825801B2 - Operation log recording program, operation log recording method and terminal device

Info

Publication number: JP6825801B2
Application number: JP2014159066A
Authority: JP
Inventors: 花田　雄一; 雄一花田; 信一郎森
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2014-08-04
Filing date: 2014-08-04
Publication date: 2021-02-03
Anticipated expiration: 2034-08-04
Also published as: JP2016035720A

Description

本発明は、操作ログ記録プログラム、操作ログ記録方法及び端末装置に関する。 The present invention relates to an operation log recording program, an operation log recording method, and a terminal device.

人が集まったその場で端末や機器を接続して画面共有や協働作業を行う情報交換サービスが構築されている。かかる情報交換サービスは、一例として、病院で看護師が申し送り事項等を受け渡したり授受したり、打合せで資料に関するコンテンツを共有したり、学校で先生及び生徒が教材に関するコンテンツを共有して協働学習したりといった様々な場面で有効に活用される。このようにして情報交換サービスを介して打合せや授業などの会議がなされた場合、端末で会議中に行われた操作ログが記録される場合がある。 An information exchange service has been built to connect terminals and devices on the spot where people gather to share screens and collaborate. As an example of this information exchange service, nurses hand over and give and receive items to be sent at hospitals, content related to materials is shared at meetings, and teachers and students share content related to teaching materials at schools for collaborative learning. It is effectively used in various situations such as playing. When a meeting such as a meeting or a class is held through the information exchange service in this way, the operation log performed during the meeting may be recorded on the terminal.

特開２０１３−１０５４７１号公報Japanese Unexamined Patent Publication No. 2013-105471 特開２００９−６４２７５号公報JP-A-2009-64275 特開２００６−１５５４３１号公報Japanese Unexamined Patent Publication No. 2006-155431 特開２００７−２７９１８号公報JP-A-2007-27918

しかしながら、上記の技術では、記録が行われた操作ログが相手に見せる操作であるのか、あるいは自身のために行った操作であるのかを特定できない場合がある。 However, with the above technique, it may not be possible to specify whether the recorded operation log is an operation to be shown to the other party or an operation performed for itself.

１つの側面では、本発明は、説明用または個人用を特定可能な操作ログを提供できる操作ログ記録プログラム、操作ログ記録方法及び端末装置を提供することを目的とする。 In one aspect, it is an object of the present invention to provide an operation log recording program, an operation log recording method, and a terminal device capable of providing an operation log that can be specified for explanation or personal use.

一態様の操作ログ記録プログラムは、端末装置に、前記端末装置で行われた操作を記録する場合に、前記端末装置に表示された情報または前記端末装置に記憶された情報を相手に説明する状態であるか否かを判定し、判定した結果を記録する処理を実行させる。 The operation log recording program of one aspect is a state in which, when recording the operation performed by the terminal device in the terminal device, the information displayed on the terminal device or the information stored in the terminal device is explained to the other party. It is determined whether or not it is, and a process of recording the determined result is executed.

説明用または個人用を特定可能な操作ログを提供できる。 It can provide descriptive or personally identifiable operation logs.

図１は、実施例１に係る情報交換システムの構成を示す図である。FIG. 1 is a diagram showing a configuration of an information exchange system according to the first embodiment. 図２は、実施例１に係る端末装置の機能的構成を示すブロック図である。FIG. 2 is a block diagram showing a functional configuration of the terminal device according to the first embodiment. 図３は、カメラ画像の一例を示す図である。FIG. 3 is a diagram showing an example of a camera image. 図４は、カメラ画像の一例を示す図である。FIG. 4 is a diagram showing an example of a camera image. 図５は、端末装置の把持状態の一例を示す図である。FIG. 5 is a diagram showing an example of a gripping state of the terminal device. 図６は、端末装置の把持状態の一例を示す図である。FIG. 6 is a diagram showing an example of a gripping state of the terminal device. 図７は、端末装置の把持状態の一例を示す図である。FIG. 7 is a diagram showing an example of a gripping state of the terminal device. 図８は、端末装置の把持状態の一例を示す図である。FIG. 8 is a diagram showing an example of a gripping state of the terminal device. 図９は、操作ログの一例を示す図である。FIG. 9 is a diagram showing an example of an operation log. 図１０は、実施例１に係る状態記録処理の手順を示すフローチャートである。FIG. 10 is a flowchart showing the procedure of the state recording process according to the first embodiment. 図１１は、実施例１に係る操作ログ記録処理の手順を示すフローチャートである。FIG. 11 is a flowchart showing the procedure of the operation log recording process according to the first embodiment. 図１２は、実施例１及び実施例２に係る操作ログ記録プログラムを実行するコンピュータの一例について説明するための図である。FIG. 12 is a diagram for explaining an example of a computer that executes the operation log recording program according to the first and second embodiments.

以下に添付図面を参照して本願に係る操作ログ記録プログラム、操作ログ記録方法及び端末装置について説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 The operation log recording program, operation log recording method, and terminal device according to the present application will be described below with reference to the attached drawings. It should be noted that this embodiment does not limit the disclosed technology. Then, each embodiment can be appropriately combined as long as the processing contents do not contradict each other.

［システム構成］
図１は、実施例１に係る情報交換システムの構成を示す図である。図１に示す情報交換システム１は、端末装置３０の使用者が集まるその場で互いの端末装置３０をサーバ装置１０を介して接続することによって画面共有や協働作業を行う情報交換サービスを提供するものである。かかる情報交換サービスの一環として、情報交換システム１は、情報交換サービスの実行中に説明用または個人用を特定可能な操作ログを記録させる操作ログ記録サービスを実行する。 [System configuration]
FIG. 1 is a diagram showing a configuration of an information exchange system according to the first embodiment. The information exchange system 1 shown in FIG. 1 provides an information exchange service for screen sharing and collaborative work by connecting each other's terminal devices 30 via the server device 10 on the spot where users of the terminal devices 30 gather. Is what you do. As a part of such an information exchange service, the information exchange system 1 executes an operation log recording service for recording an operation log that can be specified for explanation or personal use during the execution of the information exchange service.

図１に示すように、情報交換システム１には、サーバ装置１０と、端末装置３０Ａ〜端末装置３０Ｎとが収容される。なお、以下では、端末装置３０Ａ〜端末装置３０Ｎを総称する場合に「端末装置３０」と記載する場合がある。 As shown in FIG. 1, the information exchange system 1 accommodates the server device 10 and the terminal devices 30A to 30N. In the following, when the terminal devices 30A to 30N are generically referred to, the term "terminal device 30" may be used.

これらサーバ装置１０及び端末装置３０は、有線または無線を問わず、ＬＡＮ（Local Area Network）、ＶＰＮ（Virtual Private Network）やインターネット（Internet）などの任意の種類の通信網を介して相互に通信可能に接続される。 The server device 10 and the terminal device 30 can communicate with each other via any kind of communication network such as LAN (Local Area Network), VPN (Virtual Private Network), and the Internet (Internet), regardless of whether they are wired or wireless. Connected to.

サーバ装置１０は、上記の情報交換サービスを提供するコンピュータである。すなわち、サーバ装置１０は、パッケージソフトウェアやオンラインソフトウェアとして上記の情報交換サービスを実現する情報交換プログラムを所望のコンピュータにインストールさせることによって実装できる。 The server device 10 is a computer that provides the above-mentioned information exchange service. That is, the server device 10 can be implemented by installing an information exchange program that realizes the above information exchange service as package software or online software on a desired computer.

一実施形態として、サーバ装置１０には、Ｗｉ−Ｆｉ（登録商標）等の無線ＬＡＮのアクセスポイントと、上記の情報交換サービスを提供するＷｅｂサーバとの機能を併せ持たせることができる。これによって、例えば、病院や企業の会議室、教室などの会議が行われやすい場所に留まらず、人が集まることのできる任意のプレイスにアクセスポイントの機能付きの小型サーバを導入するだけで上記の情報交換サービスを提供できる結果、サービス提供者のイニシャルコストを低減できる。他の実施形態として、サーバ装置１０は、上記の情報交換サービスを提供する基盤として、無線ＬＡＮのアクセスポイントと、グループ化する端末装置３０を認証する認証サービスを提供するＷｅｂサーバとの機能を持つフロントエンドとすることもできる。この場合、上記の情報交換サービスは、他のＷｅｂサーバやクラウドコンピューティングなどのバックエンドに提供させることもできる。 As one embodiment, the server device 10 can be provided with a function of a wireless LAN access point such as Wi-Fi (registered trademark) and a Web server that provides the above-mentioned information exchange service. This makes it possible to simply install a small server with an access point function in any place where people can gather, not just in places where meetings are likely to be held, such as hospitals, corporate meeting rooms, and classrooms. As a result of being able to provide the information exchange service, the initial cost of the service provider can be reduced. As another embodiment, the server device 10 has a function of a wireless LAN access point and a Web server that provides an authentication service that authenticates the terminal device 30 to be grouped as a base for providing the above-mentioned information exchange service. It can also be a front end. In this case, the above information exchange service can be provided to a back end such as another Web server or cloud computing.

端末装置３０は、上記の情報交換サービスの提供を受けるコンピュータである。 The terminal device 30 is a computer that receives the above-mentioned information exchange service.

一実施形態として、端末装置３０には、タブレット型の情報処理端末、いわゆるタブレット端末を採用できる。これはあくまで実装形態の一例に過ぎない。例えば、端末装置３０には、スマートフォンを始め、携帯電話機やＰＨＳ（Personal Handyphone System）などに代表される移動体通信端末を採用することもできるし、ノート型のパーソナルコンピュータを採用することもできる。この他、端末装置３０は、タブレット端末や移動体通信端末などの携帯端末装置に限定されず、パーソナルコンピュータ（personal computer）を始めとする固定端末として実装されることとしてもかまわない。 As one embodiment, a tablet-type information processing terminal, a so-called tablet terminal, can be adopted as the terminal device 30. This is just an example of the implementation. For example, as the terminal device 30, a mobile communication terminal typified by a mobile phone, a PHS (Personal Handyphone System), or the like, including a smartphone, can be adopted, or a notebook-type personal computer can be adopted. In addition, the terminal device 30 is not limited to a mobile terminal device such as a tablet terminal or a mobile communication terminal, and may be implemented as a fixed terminal such as a personal computer.

ここで、端末装置３０のグループ形成方法の一例として、端末装置３０が搭載するＢＬＥ（Bluetooth（登録商標） Low Energy）チップを用いる場合を例示する。例えば、ＢＬＥ対応の端末装置３０がブロードキャストするアドバタイジングパケットにサーバ装置１０のＩＰアドレス等のアドレス情報を埋め込ませることによってＢＬＥチップの通信圏内に存在する他の端末装置３０にサーバ装置１０に対する接続要求を送信させることができる。なお、ここでは、端末装置３０がサーバ装置１０のＩＰアドレス等のアドレス情報が埋め込まれたＢＬＥのアドバタイジングパケットをブロードキャストする場合を例示したが、必ずしもＢＬＥのアドバタイジングパケットをブロードキャストする装置が端末装置３０でなくともかまわない。例えば、会議室や教室などの所定のプレイスにサーバ装置１０のＩＰアドレス等のアドレス情報が埋め込まれたＢＬＥのアドバタイジングパケットをブロードキャストするアドバタイズ専用のＢＬＥモジュールを設けることとしてもかまわない。 Here, as an example of a method for forming a group of the terminal device 30, a case where a BLE (Bluetooth (registered trademark) Low Energy) chip mounted on the terminal device 30 is used will be illustrated. For example, by embedding address information such as the IP address of the server device 10 in the advertising packet broadcast by the BLE-compatible terminal device 30, another terminal device 30 existing within the communication range of the BLE chip can be requested to connect to the server device 10. Can be sent. Although the case where the terminal device 30 broadcasts the BLE advertising packet in which the address information such as the IP address of the server device 10 is embedded is illustrated here, the device that broadcasts the BLE advertising packet is not necessarily the terminal device 30. It doesn't have to be. For example, a BLE module dedicated to advertising that broadcasts a BLE advertising packet in which address information such as the IP address of the server device 10 is embedded may be provided in a predetermined place such as a conference room or a classroom.

具体的には、端末装置３０でＢＬＥ機能がＯＮ状態に設定されると、当該端末装置３０は、ユーザが開設する会議、例えば打合せや授業などへのエントリ要求として、サーバ装置１０のＩＰアドレス等のアドレス情報が埋め込まれたアドバタイジングパケットをブロードキャストする。このとき、端末装置３０に端末向けの情報交換サービス用のアプリケーションプログラムがインストールされている場合、必ずしもＢＬＥ機能をＯＮ状態へ手動設定せずともよく、ＢＬＥ機能のＯＮ状態への設定を含むエントリ要求を自動化することができる。例えば、上記のアプリケーションプログラムは、スケジューラ等と連動して、時刻がスケジュール登録された時刻を基準とする所定の期間内になった場合に、エントリ要求を端末装置３０に自動送信させることができる。また、上記のアプリケーションプログラムは、ＧＰＳ（Global Positioning System）受信機等と連動して、端末装置３０の位置が会議室や教室などの所定のプレイスに含まれる場合に、エントリ要求を端末装置３０に自動送信させることができる。この場合、上記のアプリケーションプログラムは、モーションセンサ等とさらに連動して、着席に対応する加速度等が検出された場合に始めてエントリ要求を送信することもできる。 Specifically, when the BLE function is set to the ON state in the terminal device 30, the terminal device 30 uses the IP address of the server device 10 or the like as an entry request for a meeting, for example, a meeting or a class opened by the user. Broadcast an advertising packet with embedded address information. At this time, if the application program for the information exchange service for the terminal is installed in the terminal device 30, it is not always necessary to manually set the BLE function to the ON state, and an entry request including the setting to the ON state of the BLE function is required. Can be automated. For example, the above-mentioned application program can automatically transmit an entry request to the terminal device 30 when the time falls within a predetermined period based on the time registered in the schedule in conjunction with the scheduler or the like. Further, the above application program works in conjunction with a GPS (Global Positioning System) receiver or the like to send an entry request to the terminal device 30 when the position of the terminal device 30 is included in a predetermined place such as a conference room or a classroom. It can be sent automatically. In this case, the above-mentioned application program may further interlock with the motion sensor or the like to transmit the entry request only when the acceleration or the like corresponding to the seating is detected.

このようにアドバタイジングパケットがブロードキャストされた場合、エントリ要求を行った起点の端末装置３０以外の端末装置３０は、図示しないユーザインタフェースを介して、会議へのエントリの可否に関する入力を受け付ける。そして、会議にエントリする旨の入力がなされた場合、起点の端末装置３０以外の端末装置３０は、起点の端末装置３０のＭＡＣアドレス等のアドレス情報を付加して会議へのエントリ、すなわち情報交換サービスの開始要求とも言える端末装置３０間の接続要求をサーバ装置１０へ送信する。なお、起点の端末装置３０も会議へのエントリをサーバ装置１０へ送信することは言うまでもない。 When the advertising packet is broadcast in this way, the terminal device 30 other than the terminal device 30 as the starting point that made the entry request receives an input regarding whether or not to enter the conference via a user interface (not shown). Then, when an input is made to enter the conference, the terminal devices 30 other than the starting terminal device 30 add address information such as the MAC address of the starting terminal device 30, and enter the conference, that is, exchange information. A connection request between the terminal devices 30, which can be said to be a service start request, is transmitted to the server device 10. Needless to say, the terminal device 30 as the starting point also transmits the entry to the conference to the server device 10.

これによって、サーバ装置１０は、ＢＬＥの通信圏内に存在する端末装置３０からの会議へのエントリ、すなわち端末装置３０間の接続要求を起点の端末装置３０のＭＡＣアドレスによって束ねることができる。その後、各端末装置３０からの接続要求にしたがって各端末装置３０の認証に成功した場合、各端末装置３０に対する情報交換サービスの提供がサーバ装置１０によって開始される。 As a result, the server device 10 can bundle the entry to the conference from the terminal device 30 existing in the communication range of BLE, that is, the connection request between the terminal devices 30 by the MAC address of the terminal device 30 as the starting point. After that, when the authentication of each terminal device 30 is successful according to the connection request from each terminal device 30, the server device 10 starts providing the information exchange service to each terminal device 30.

［端末装置３０の構成］
図２は、実施例１に係る端末装置３０の機能的構成を示すブロック図である。図２に示すように、端末装置３０は、タッチパネル３１と、通信部３２と、カメラ３３と、加速度センサ３４と、地磁気センサ３５と、ＯＳ（Operating System）実行部３６と、判定部３７と、第１の記録部３８と、状態記憶部３８ａと、第２の記録部３９と、操作ログ記憶部３９ａとを有する。なお、ここでは、端末装置３０Ａ〜端末装置３０Ｎのいずれも図２に示す構成的構成と同様の機能的構成を有すればよいので、端末装置３０の機能的構成として説明することとする。 [Configuration of terminal device 30]
FIG. 2 is a block diagram showing a functional configuration of the terminal device 30 according to the first embodiment. As shown in FIG. 2, the terminal device 30 includes a touch panel 31, a communication unit 32, a camera 33, an acceleration sensor 34, a geomagnetic sensor 35, an OS (Operating System) execution unit 36, and a determination unit 37. It has a first recording unit 38, a state storage unit 38a, a second recording unit 39, and an operation log storage unit 39a. Here, since it is sufficient that all of the terminal devices 30A to 30N have the same functional configuration as the structural configuration shown in FIG. 2, it will be described as the functional configuration of the terminal device 30.

この端末装置３０は、図２に示した機能部以外にも既知のコンピュータが有する各種の機能部を有することとしてもかまわない。例えば、端末装置３０が据置き型の情報処理装置として実装される場合には、キーボード、マウスやディスプレイなどの入出力デバイスをさらに有することとしてもよい。また、端末装置３０が移動体通信端末として実装される場合には、ＧＰＳ（Global Positioning System）受信機などの機能部をさらに有していてもかまわない。 The terminal device 30 may have various functional units of a known computer in addition to the functional units shown in FIG. For example, when the terminal device 30 is implemented as a stationary information processing device, it may further have an input / output device such as a keyboard, a mouse, and a display. Further, when the terminal device 30 is implemented as a mobile communication terminal, it may further have a functional unit such as a GPS (Global Positioning System) receiver.

タッチパネル３１は、表示可能かつ入力可能なデバイスである。 The touch panel 31 is a displayable and inputtable device.

表示に関する一側面として、タッチパネル３１は、端末装置３０上で実行されるＯＳやアプリケーションプログラムによって出力される画像を表示する。入力に関する一側面として、タッチパネル３１は、タッチパネル３１のスクリーン上でなされるタップ、フリック、スイープ、ピンチイン、ピンチアウトやドラッグ＆ドロップなどのタッチ操作を受け付ける。なお、ここでは、端末装置３０に対する指示入力を行う入力デバイスとしてタッチパネル３１を例示したが、これに限らず、タッチパネル３１との間で相補的な入力を実現する物理キーなどをさらに有していてもかまわない。 As one aspect of the display, the touch panel 31 displays an image output by an OS or an application program executed on the terminal device 30. As one aspect of input, the touch panel 31 accepts touch operations such as tap, flick, sweep, pinch-in, pinch-out, and drag-and-drop performed on the screen of the touch panel 31. Here, the touch panel 31 is illustrated as an input device for inputting instructions to the terminal device 30, but the present invention is not limited to this, and further includes a physical key or the like that realizes complementary input with the touch panel 31. It doesn't matter.

通信部３２は、他の装置、例えばサーバ装置１０及び他の端末装置３０との間で各種の通信を行う処理部である。 The communication unit 32 is a processing unit that performs various communications with other devices such as the server device 10 and the other terminal device 30.

一実施形態として、通信部３２は、無線ＬＡＮ、キャリア、ＢＬＥのうち少なくともいずれか１つの通信方式でサーバ装置１０及び他の端末装置３０等の外部端末と通信を行う。例えば、ＢＬＥ機能の場合、通信部３２は、他の端末装置３０から会議へのエントリ要求を受け付けることもできるし、会議へのエントリ要求を他の端末装置３０へ送信することもできる。また、無線ＬＡＮの場合、通信部３２は、情報交換サービスの実行中にサーバ装置１０を介して文書、画像や音声などのコンテンツを他の端末装置３０へ送受信したりすることができる。さらに、通信部３２は、情報交換サービスの実行後に操作ログをサーバ装置１０へアップロードすることもできる。 As one embodiment, the communication unit 32 communicates with an external terminal such as the server device 10 and another terminal device 30 by at least one communication method of wireless LAN, carrier, and BLE. For example, in the case of the BLE function, the communication unit 32 can accept an entry request to the conference from the other terminal device 30, or can transmit the entry request to the conference to the other terminal device 30. Further, in the case of a wireless LAN, the communication unit 32 can send and receive contents such as documents, images, and voices to and from another terminal device 30 via the server device 10 while the information exchange service is being executed. Further, the communication unit 32 can also upload the operation log to the server device 10 after executing the information exchange service.

カメラ３３は、画像を撮像する撮像装置である。 The camera 33 is an imaging device that captures an image.

一実施形態として、カメラ３３には、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子が搭載される。例えば、カメラ３３には、Ｒ（red）、Ｇ（green）、Ｂ（blue）など３種以上の受光素子を搭載することができる。かかるカメラ３３の実装例としては、インカメラやアウトカメラのように、端末装置３０の出荷時から搭載されているカメラが存在する場合にはそのカメラを流用できる。 As one embodiment, the camera 33 is equipped with an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor). For example, the camera 33 can be equipped with three or more types of light receiving elements such as R (red), G (green), and B (blue). As an example of mounting the camera 33, if there is a camera mounted on the terminal device 30 from the time of shipment, such as an in-camera or an out-camera, the camera can be diverted.

加速度センサ３４は、加速度を検出するセンサである。一実施形態として、加速度センサ３４には、３軸の加速度センサを採用することができる。また、地磁気センサ３５には、ピッチ（Ｘ軸）、ロール（Ｙ軸）、ヨー（Ｚ軸）の３軸の地磁気センサを採用することができる。なお、地磁気センサの代わりにジャイロセンサを用いることとしてもかまわない。 The acceleration sensor 34 is a sensor that detects acceleration. As one embodiment, a three-axis accelerometer can be adopted as the accelerometer 34. Further, as the geomagnetic sensor 35, a three-axis geomagnetic sensor of pitch (X-axis), roll (Y-axis), and yaw (Z-axis) can be adopted. A gyro sensor may be used instead of the geomagnetic sensor.

ＯＳ実行部３６は、ＯＳ（Operating System）の実行を制御する処理部である。 The OS execution unit 36 is a processing unit that controls the execution of the OS (Operating System).

一実施形態として、ＯＳ実行部３６は、タッチパネル３１に対する各種の操作および操作に対応するコマンドを検出する。例えば、ＯＳ実行部３６は、タッチパネル３１上で受け付けたタップ、フリック、スイープ、ピンチイン、ピンチアウト、ドラッグ＆ドロップや手書き入力の軌跡などのタッチ操作を検出したり、当該タッチ操作が解釈されたコマンド、例えばサーバ装置１０への画像のダウンロード（受信）及びアップロード（送信）などを検出することができる。なお、ＯＳ実行部３６は、特定のアーキテクチャに依存することなく、任意の種類のＯＳを実行できる。 As one embodiment, the OS execution unit 36 detects various operations on the touch panel 31 and commands corresponding to the operations. For example, the OS execution unit 36 detects a touch operation such as tap, flick, sweep, pinch-in, pinch-out, drag-and-drop, or handwritten input trajectory received on the touch panel 31, or a command in which the touch operation is interpreted. For example, it is possible to detect download (reception) and upload (transmission) of an image to the server device 10. The OS execution unit 36 can execute any kind of OS without depending on a specific architecture.

判定部３７は、端末装置３０で行われた操作を記録する場合に、端末装置３０がタッチパネル３１に表示された情報または端末装置３０に記憶された情報を相手に説明する状態であるか否かを判定する処理部である。以下では、上記の相手に説明する状態のことを「説明状態」と記載し、説明状態ではない状態のことを「非説明状態」と記載する場合がある。 When recording the operation performed by the terminal device 30, the determination unit 37 is in a state where the terminal device 30 explains to the other party the information displayed on the touch panel 31 or the information stored in the terminal device 30. It is a processing unit that determines. In the following, the state explained to the other party may be described as "explained state", and the state not explained may be described as "unexplained state".

一実施形態として、判定部３７は、（Ａ）カメラ画像、（Ｂ）地磁気データ、（Ｃ）加速度データ、（Ｄ）コンテンツ通信のうち少なくとも１つを用いて、端末装置３０が説明状態または非説明状態のいずれにあるかを判定する。以下では、上記の（Ａ）〜（Ｄ）の４つを全て用いて総合判定を行う場合を例示するが、いずれか１つだけで判定を行うこともできる。 In one embodiment, the determination unit 37 uses at least one of (A) camera image, (B) geomagnetic data, (C) acceleration data, and (D) content communication, and the terminal device 30 is in an explanatory state or not. Determine which of the description states it is in. In the following, a case where a comprehensive judgment is performed using all of the above four items (A) to (D) will be illustrated, but a judgment can be performed using only one of them.

（Ａ）カメラ画像
図３及び図４は、カメラ画像の一例を示す図である。図３及び図４には、いずれも情報交換サービスの実行中にインカメラ３３ａによって撮像されたカメラ画像が例示されている。図３及び図４に示すように、インカメラ３３ａで撮影を行う場合、タッチパネル３１のスクリーンを閲覧する人が撮像される公算が高い。なお、実際には、タッチパネル３１にはコンテンツが表示されているので、カメラ画像はバックグラウンドで撮像されるが、説明の便宜上、図３及び図４にはタッチパネル３１にカメラ画像を表示させることとする。 (A) Camera image FIGS. 3 and 4 are diagrams showing an example of a camera image. 3 and 4 both illustrate camera images captured by the in-camera 33a during the execution of the information exchange service. As shown in FIGS. 3 and 4, when taking a picture with the in-camera 33a, it is highly likely that a person viewing the screen of the touch panel 31 will be photographed. Actually, since the content is displayed on the touch panel 31, the camera image is captured in the background, but for convenience of explanation, the camera image is displayed on the touch panel 31 in FIGS. 3 and 4. To do.

ここで、図３に示すように、インカメラ３３ａによって人物が１名しか撮像されていない場合には、端末装置３０の使用者が会議に参加する他のメンバを相手に説明を行っている可能性よりも、一人でタッチパネル３１にコンテンツ等が表示されたスクリーンを閲覧したり、操作している可能性が高い。よって、カメラ画像に映る人物が１名である場合には、非説明状態であると推定できる。 Here, as shown in FIG. 3, when only one person is imaged by the in-camera 33a, the user of the terminal device 30 may explain to other members who participate in the conference. It is more likely that one person is viewing or operating the screen on which the content or the like is displayed on the touch panel 31. Therefore, when there is only one person in the camera image, it can be estimated that the state is unexplained.

一方、図４に示すように、インカメラ３３ａによって人物が２名以上撮像されている場合には、複数人がタッチパネル３１にコンテンツが表示されたスクリーンを閲覧しているので、端末装置３０の使用者が会議に参加する他のメンバと一緒にスクリーンを閲覧しながら説明を行っている可能性が高い。よって、カメラ画像に映る人物が複数名である場合には、説明状態であると推定できる。 On the other hand, as shown in FIG. 4, when two or more people are photographed by the in-camera 33a, since a plurality of people are viewing the screen on which the content is displayed on the touch panel 31, the terminal device 30 is used. It is highly possible that the person is giving an explanation while browsing the screen with other members who participate in the meeting. Therefore, when there are a plurality of people appearing in the camera image, it can be estimated that the explanation is in effect.

これらのことから、判定部３７は、カメラ画像に画像処理を実行することによって人物の人数を認識する。その上で、判定部３７は、カメラ画像から認識された人数が１名である場合には、暫定的に「非説明状態」と推定する一方で、カメラ画像から認識された人数が複数名である場合には、暫定的に「説明状態」と推定する。 From these things, the determination unit 37 recognizes the number of people by executing image processing on the camera image. On that basis, the determination unit 37 tentatively presumes that the number of people recognized from the camera image is "unexplained" when the number of people recognized from the camera image is one, while the number of people recognized from the camera image is a plurality of people. In some cases, it is tentatively presumed to be "explained".

（Ｂ）地磁気データ
図５及び図６は、端末装置３０の把持状態の一例を示す図である。図５には、端末装置３０の使用者がタッチパネル３１と正対する状態で把持された状態を示し、図６には、図５に示した状態からＸ軸周り、すなわちロール方向へ縦回転させることによって、端末装置３０の使用者にはタッチパネル３１の裏面を正対させると共に、端末装置３０の使用者と正対する会議に参加する他のメンバへタッチパネル３１を正対させた把持状態を示している。 (B) Geomagnetic data FIGS. 5 and 6 are diagrams showing an example of a gripping state of the terminal device 30. FIG. 5 shows a state in which the user of the terminal device 30 is held in a state of facing the touch panel 31, and FIG. 6 shows a state in which the user is vertically rotated around the X axis, that is, in the roll direction from the state shown in FIG. The user of the terminal device 30 is faced with the back surface of the touch panel 31, and the other members participating in the conference facing the user of the terminal device 30 are faced with the touch panel 31. ..

このように、図５に示す把持状態から図６に示す把持状態へ縦回転された場合には、タッチパネル３１にコンテンツ等が表示されたスクリーンを会議に参加する他のメンバに閲覧させながらコンテンツの説明を行っている可能性が高い。よって、この場合には、説明状態であると推定できる。 In this way, when the content is vertically rotated from the gripping state shown in FIG. 5 to the gripping state shown in FIG. 6, the content is displayed while the other members participating in the conference view the screen on which the content or the like is displayed on the touch panel 31. It is highly possible that you are giving an explanation. Therefore, in this case, it can be estimated that the state is explained.

このことから、判定部３７は、地磁気センサ３５から取得された３軸の地磁気データのうちＹ軸の方位が所定の方位、すなわち鉛直上向きから反転しているか否かを判定する。このとき、判定部３７は、Ｙ軸の方位が鉛直上向きから反転している場合には、暫定的に「説明状態」と推定する一方で、Ｙ軸の方位が鉛直上向きから反転していない場合には、暫定的に「非説明状態」と推定する。なお、上記の反転の可否は、Ｙ軸の方位が鉛直下向きから所定の範囲内であるか否かを判定することとしてもよい。 From this, the determination unit 37 determines whether or not the Y-axis direction of the three-axis geomagnetic data acquired from the geomagnetic sensor 35 is inverted from a predetermined direction, that is, vertically upward. At this time, the determination unit 37 tentatively presumes that the Y-axis direction is "explained" when the Y-axis direction is reversed from the vertical upward direction, while the Y-axis direction is not reversed from the vertical upward direction. Is tentatively presumed to be "unexplained". Whether or not the above reversal is possible may be determined as to whether or not the direction of the Y-axis is within a predetermined range from the vertical downward direction.

（Ｃ）加速度データ
図７及び図８は、端末装置３０の把持状態の一例を示す図である。図７には、端末装置３０の使用者がタッチパネル３１と正対する状態で把持された状態を示し、図８には、図５に示した状態からＹ軸周り、すなわちピッチ方向へ横回転させることによって、端末装置３０の使用者にはタッチパネル３１の裏面を正対させると共に、端末装置３０の使用者と正対する会議に参加する他のメンバへタッチパネル３１を正対させた把持状態を示している。 (C) Acceleration data FIGS. 7 and 8 are diagrams showing an example of a gripping state of the terminal device 30. FIG. 7 shows a state in which the user of the terminal device 30 is held in a state of facing the touch panel 31, and FIG. 8 shows a state in which the user is laterally rotated around the Y axis, that is, in the pitch direction from the state shown in FIG. The user of the terminal device 30 is faced with the back surface of the touch panel 31, and the other members participating in the conference facing the user of the terminal device 30 are faced with the touch panel 31. ..

このように、図７に示す把持状態から図８に示す把持状態へ横回転された場合には、タッチパネル３１にコンテンツ等が表示されたスクリーンを会議に参加する他のメンバに閲覧させながらコンテンツの説明を行っている可能性が高い。よって、この場合には、説明状態であると推定できる。 In this way, when the content is horizontally rotated from the gripping state shown in FIG. 7 to the gripping state shown in FIG. 8, the content is displayed while the other members participating in the conference are allowed to view the screen on which the content or the like is displayed on the touch panel 31. It is highly possible that you are giving an explanation. Therefore, in this case, it can be estimated that the state is explained.

このことから、判定部３７は、加速度センサ３４から取得された３軸の加速度データのうちＸ軸またはＺ軸のいずれかの加速度が所定の閾値以上にわたって変化しているか否かを判定する。このとき、判定部３７は、Ｘ軸またはＺ軸のいずれかの加速度が閾値以上変化している場合には、暫定的に「説明状態」と推定する一方で、Ｘ軸及びＺ軸のいずれの加速度も閾値以上変化していない場合には、暫定的に「非説明状態」と推定する。 From this, the determination unit 37 determines whether or not the acceleration of either the X-axis or the Z-axis of the three-axis acceleration data acquired from the acceleration sensor 34 has changed over a predetermined threshold value. At this time, when the acceleration of either the X-axis or the Z-axis changes by the threshold value or more, the determination unit 37 tentatively presumes that it is in the "explanatory state", while either the X-axis or the Z-axis If the acceleration does not change beyond the threshold value, it is tentatively estimated to be in an "unexplained state".

（Ｄ）コンテンツ通信
情報交換サービスの実行中に端末装置３０がコンテンツをサーバ装置１０へ送信している場合には、端末装置３０の使用者が会議に参加する他のメンバに向けて資料を配付して説明しようとしている可能性が高い。よって、この場合には、説明状態であると推定できる。一方、情報交換サービスの実行中に端末装置３０がサーバ装置１０からコンテンツを受信している場合には、端末装置３０の使用者が会議に参加する他のメンバから資料の配付を受けて説明を受ける可能性が高い。この場合には、非説明状態であると推定できる。 (D) Content communication When the terminal device 30 is transmitting the content to the server device 10 during the execution of the information exchange service, the user of the terminal device 30 distributes the material to other members participating in the conference. It is highly possible that you are trying to explain. Therefore, in this case, it can be estimated that the state is explained. On the other hand, when the terminal device 30 receives the content from the server device 10 during the execution of the information exchange service, the user of the terminal device 30 receives the distribution of materials from other members participating in the conference and explains. Highly likely to receive. In this case, it can be estimated that it is in an unexplained state.

このため、判定部３７は、ＯＳ実行部３６から取得されたコンテンツの通信ログが送信ログであるか否かを判定する。このとき、判定部３７は、送信ログである場合には、暫定的に「説明状態」と推定する一方で、受信ログである場合には、暫定的に「非説明状態」と推定する。 Therefore, the determination unit 37 determines whether or not the communication log of the content acquired from the OS execution unit 36 is the transmission log. At this time, the determination unit 37 provisionally estimates that the transmission log is in the "explained state", while the determination unit 37 provisionally estimates that the log is in the "unexplained state".

これら（Ａ）〜（Ｄ）の判定が実行された後、判定部３７は、（Ａ）〜（Ｄ）の判定のうちいずれかで説明状態であると判定されたか否かを判定する。このとき、判定部３７は、（Ａ）〜（Ｄ）の判定のうちいずれかで説明状態であると判定された場合には、説明状態であると見做す。一方で、判定部３７は、（Ａ）〜（Ｄ）の判定のいずれでも非説明状態であると判定された場合には、非説明状態であると見做す。これによって、最終的な総合判定がなされることになる。 After the determinations (A) to (D) are executed, the determination unit 37 determines whether or not any of the determinations (A) to (D) is determined to be in the explanatory state. At this time, if the determination unit 37 is determined to be in the explanatory state in any of the determinations (A) to (D), it is considered to be in the explanatory state. On the other hand, when the determination unit 37 determines that any of the determinations (A) to (D) is in the unexplained state, the determination unit 37 considers it to be in the unexplained state. As a result, the final comprehensive judgment is made.

第１の記録部３８は、判定部３７による説明状態または非説明状態の判定結果を状態記憶部３８ａへ記録する処理部である。 The first recording unit 38 is a processing unit that records the determination result of the explanation state or the non-explanation state by the determination unit 37 in the state storage unit 38a.

一実施形態として、第１の記録部３８は、判定部３７によって総合判定がなされる度に、総合判定の結果である説明状態または非説明状態を状態記憶部３８ａへ記録する。このように、状態記憶部３８ａには、判定部３７によって総合判定がなされる度に最新の総合判定の結果、すなわち説明状態または非説明状態のいずれかが記憶されることになる。 As one embodiment, each time the determination unit 37 makes a comprehensive determination, the first recording unit 38 records the explanatory state or the non-explanatory state, which is the result of the comprehensive determination, in the state storage unit 38a. In this way, each time the determination unit 37 makes a comprehensive determination, the state storage unit 38a stores the latest comprehensive determination result, that is, either an explained state or an unexplained state.

第２の記録部３９は、操作ログを操作ログ記憶部３９ａへ記録する処理部である。 The second recording unit 39 is a processing unit that records the operation log in the operation log storage unit 39a.

一実施形態として、第２の記録部３９は、ＯＳ実行部３６によって操作が検出される度に、状態記憶部３８ａに記憶された状態が説明状態または非説明状態のいずれであるかを判定する。このとき、第２の記録部３９は、状態記憶部３８ａに記憶された状態が説明状態である場合には、当該操作もしくは操作に対応する動作に説明状態もしくは説明状態である旨を示す情報を対応付けた上で操作ログとして記録する。一方、第２の記録部３９は、状態記憶部３８ａに記憶された状態が非説明状態である場合には、当該操作もしくは操作に対応する動作に非説明状態もしくは非説明状態である旨を示す情報を対応付けた上で操作ログとして記録する。 In one embodiment, the second recording unit 39 determines whether the state stored in the state storage unit 38a is an explained state or an unexplained state each time an operation is detected by the OS execution unit 36. .. At this time, when the state stored in the state storage unit 38a is the explanation state, the second recording unit 39 provides information indicating that the operation or the operation corresponding to the operation is the explanation state or the explanation state. Record as an operation log after associating. On the other hand, when the state stored in the state storage unit 38a is the unexplained state, the second recording unit 39 indicates that the operation or the operation corresponding to the operation is in the unexplained state or the unexplained state. After associating the information, record it as an operation log.

ここで、操作ログ記憶部３９ａに記憶させる操作ログには、Ｔｉｍｅ、Ｎａｍｅ、Ａｃｔｉｏｎ、Ａｔｔｒｉｂｕｔｅ及びＤａｔａなどの項目が対応付けられたデータを採用できる。ここで言う「Ｔｉｍｅ」は、操作またはコマンドが実行された時間を指す。また、「Ｎａｍｅ」は、端末装置３０のアカウントを持つ利用者のユーザ名を指す。また、「Ａｃｔｉｏｎ」は、操作及び操作に対応する動作を指し、例えば、タップ、フリック、スイープ、ピンチイン、ピンチアウト、ドラッグ＆ドロップや手書き入力の軌跡の他、会議への参加や退出などを含めることもできる。また、「Ｄａｔａ」は、Ａｃｔｉｏｎに関連するデータを指し、例えば、端末装置３０によって送受信されるコンテンツや手書き入力の軌跡などが挙げられる。図９は、操作ログの一例を示す図である。図９の例では、ｙｙｙｙ年ｍｍ月ｄｄ日のｔｔ時ｍｍ分ｓｓ秒にＴａｒｏＨａｓｈｉｍｏｔｏが手書き入力を行った操作ログであることを意味する。さらに、当該操作ログは、ローカルなログ、すなわち個人用であることを意味する。かかる操作ログによれば、操作ログが個人用であるので、グローバルなログ、すなわち説明用である操作ログに比べて公開範囲を狭めるといった管理が可能になる。なお、ここでは、個人用の操作ログを例示したが、操作ログが説明用である場合には、本例とは逆に、個人用である操作ログに比べて公開範囲を広げるといった管理も可能である。 Here, as the operation log stored in the operation log storage unit 39a, data associated with items such as Time, Name, Action, Attribute, and Data can be adopted. "Time" here refers to the time when an operation or command is executed. Further, "Name" refers to the user name of the user who has the account of the terminal device 30. In addition, "Action" refers to an operation and an operation corresponding to the operation, and includes, for example, tap, flick, sweep, pinch-in, pinch-out, drag-and-drop, handwriting input trajectory, and participation or exit from a conference. You can also do it. Further, "Data" refers to data related to Action, and examples thereof include contents transmitted and received by the terminal device 30 and a trajectory of handwritten input. FIG. 9 is a diagram showing an example of an operation log. In the example of FIG. 9, it means that it is an operation log in which Taro Hashimoto made a handwritten input at tt hours mm minutes ss seconds on the mm month dd day of yyy year. Further, the operation log means that it is a local log, that is, personal. According to such an operation log, since the operation log is for personal use, it is possible to manage the global log, that is, to narrow the disclosure range as compared with the operation log for explanation. In addition, although the operation log for personal use is illustrated here, when the operation log is for explanation, contrary to this example, it is possible to manage by expanding the disclosure range compared to the operation log for personal use. Is.

なお、上記のＯＳ実行部３６、判定部３７、第１の記録部３８及び第２の記録部３９は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などに操作ログ記録プログラムを実行させることによって実現できる。また、上記の各機能部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。 The OS execution unit 36, the determination unit 37, the first recording unit 38, and the second recording unit 39 cause a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like to execute an operation log recording program. It can be realized by. In addition, each of the above functional units can also be realized by hard-wired logic such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).

また、上記の状態記憶部３８ａ及び操作ログ記憶部３９ａには、半導体メモリ素子や記憶装置を採用できる。例えば、半導体メモリ素子の一例としては、フラッシュメモリ（Flash Memory）、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）などが挙げられる。また、記憶装置の一例としては、ハードディスク、光ディスクなどの記憶装置が挙げられる。 Further, a semiconductor memory element or a storage device can be adopted for the state storage unit 38a and the operation log storage unit 39a. For example, examples of semiconductor memory elements include flash memory (Flash Memory), DRAM (Dynamic Random Access Memory), and SRAM (Static Random Access Memory). Further, as an example of the storage device, a storage device such as a hard disk or an optical disk can be mentioned.

［処理の流れ］
次に、本実施例に係る端末装置３０の処理の流れについて説明する。なお、ここでは、端末装置３０によって実行される（１）状態記録処理について説明した後に、（２）操作ログ記録処理について説明することとする。 [Processing flow]
Next, the processing flow of the terminal device 30 according to this embodiment will be described. Here, (1) the state recording process executed by the terminal device 30 will be described, and then (2) the operation log recording process will be described.

（１）状態記録処理
図１０は、実施例１に係る状態記録処理の手順を示すフローチャートである。この処理は、端末装置３０が会議へ参加してから会議を退出するまでの間、すなわち情報交換サービス中である限り、バックグラウンドで繰返し実行される。 (1) State recording process FIG. 10 is a flowchart showing a procedure of the state recording process according to the first embodiment. This process is repeatedly executed in the background from the time when the terminal device 30 joins the meeting until the terminal device 30 leaves the meeting, that is, as long as the information exchange service is in progress.

図１０に示すように、判定部３７は、インカメラ３３ａからカメラ画像を取得する（ステップＳ１０１Ａ）。その上で、判定部３７は、ステップＳ１０１Ａで取得されたカメラ画像に画像処理を実行することによって人物の人数を認識して人数が１名であるか否かを判定する（ステップＳ１０２Ａ）。 As shown in FIG. 10, the determination unit 37 acquires a camera image from the in-camera 33a (step S101A). Then, the determination unit 37 recognizes the number of people by executing image processing on the camera image acquired in step S101A, and determines whether or not the number of people is one (step S102A).

このとき、カメラ画像から認識された人数が複数名である場合（ステップＳ１０２ＡＮｏ）には、判定部３７は、暫定的に「説明状態」と推定する（ステップＳ１０３Ａ）。一方、判定部３７は、カメラ画像から認識された人数が１名である場合（ステップＳ１０２ＡＹｅｓ）には、判定部３７は、暫定的に「非説明状態」と推定する（ステップＳ１０４Ａ）。 At this time, when the number of people recognized from the camera image is a plurality of people (step S102A No), the determination unit 37 tentatively estimates the "explanatory state" (step S103A). On the other hand, when the number of people recognized from the camera image is one (step S102A Yes), the determination unit 37 provisionally presumes that it is in the “unexplained state” (step S104A).

これらステップＳ１０１Ａ〜ステップＳ１０４Ａの処理と並行して、判定部３７は、地磁気センサ３５から３軸の地磁気データを取得する（ステップＳ１０１Ｂ）。その上で、判定部３７は、ステップＳ１０１Ｂで取得された３軸の地磁気データのうちＹ軸の方位が鉛直上向きから反転しているか否かを判定する（ステップＳ１０２Ｂ）。 In parallel with the processes of steps S101A to S104A, the determination unit 37 acquires the geomagnetic data of three axes from the geomagnetic sensor 35 (step S101B). Then, the determination unit 37 determines whether or not the direction of the Y-axis of the three-axis geomagnetic data acquired in step S101B is reversed from the vertically upward direction (step S102B).

このとき、Ｙ軸の方位が鉛直上向きから反転している場合（ステップＳ１０２ＢＹｅｓ）には、判定部３７は、暫定的に「説明状態」と推定する（ステップＳ１０３Ｂ）。一方、Ｙ軸の方位が鉛直上向きから反転していない場合（ステップＳ１０２ＢＮｏ）には、判定部３７は、暫定的に「非説明状態」と推定する（ステップＳ１０４Ｂ）。 At this time, if the direction of the Y-axis is reversed from vertically upward (step S102B Yes), the determination unit 37 tentatively presumes that it is in the “explanatory state” (step S103B). On the other hand, when the direction of the Y-axis is not reversed from the vertically upward direction (step S102B No), the determination unit 37 provisionally presumes that it is in the “unexplained state” (step S104B).

さらに、ステップＳ１０１Ｂ〜ステップＳ１０４Ｂの処理とも並行して、判定部３７は、加速度センサ３４から３軸の加速度データを取得する（ステップＳ１０１Ｃ）。その上で、判定部３７は、ステップＳ１０１Ｃで取得された３軸の加速度データのうちＸ軸またはＺ軸のいずれかの加速度が所定の閾値以上にわたって変化しているか否かを判定する（ステップＳ１０２Ｃ）。 Further, in parallel with the processes of steps S101B to S104B, the determination unit 37 acquires acceleration data of three axes from the acceleration sensor 34 (step S101C). Then, the determination unit 37 determines whether or not the acceleration of either the X-axis or the Z-axis of the three-axis acceleration data acquired in step S101C has changed over a predetermined threshold value (step S102C). ).

このとき、Ｘ軸またはＺ軸のいずれかの加速度が閾値以上変化している場合（ステップＳ１０２ＣＹｅｓ）には、判定部３７は、暫定的に「説明状態」と推定する（ステップＳ１０３Ｃ）。一方、Ｘ軸及びＺ軸のいずれの加速度も閾値以上変化していない場合（ステップＳ１０２ＣＮｏ）には、判定部３７は、暫定的に「非説明状態」と推定する（ステップＳ１０４Ｃ）。 At this time, if the acceleration of either the X-axis or the Z-axis changes by the threshold value or more (step S102C Yes), the determination unit 37 provisionally presumes that it is in the “explanatory state” (step S103C). On the other hand, when neither the acceleration of the X-axis nor the Z-axis has changed by the threshold value or more (step S102C No), the determination unit 37 provisionally presumes that it is in the “unexplained state” (step S104C).

さらに、ステップＳ１０１Ｃ〜ステップＳ１０４Ｃの処理とも並行して、判定部３７は、ＯＳ実行部３６からコンテンツの通信ログを取得する（ステップＳ１０１Ｄ）。その上で、判定部３７は、ステップＳ１０１Ｄで取得されたコンテンツの通信ログが送信ログであるか否かを判定する（ステップＳ１０２Ｄ）。 Further, in parallel with the processes of steps S101C to S104C, the determination unit 37 acquires the content communication log from the OS execution unit 36 (step S101D). Then, the determination unit 37 determines whether or not the communication log of the content acquired in step S101D is a transmission log (step S102D).

このとき、送信ログである場合（ステップＳ１０２ＤＹｅｓ）には、判定部３７は、暫定的に「説明状態」と推定する（ステップＳ１０３Ｄ）。一方、受信ログである場合（ステップＳ１０２ＤＮｏ）には、判定部３７は、暫定的に「非説明状態」と推定する（ステップＳ１０４Ｄ）。 At this time, in the case of the transmission log (step S102D Yes), the determination unit 37 provisionally presumes that it is in the “explanatory state” (step S103D). On the other hand, in the case of the reception log (step S102D No), the determination unit 37 provisionally presumes that it is in the “unexplained state” (step S104D).

そして、判定部３７は、上記の（Ａ）〜（Ｄ）の推定のうちいずれかで説明状態であると推定されたか否かを判定する（ステップＳ１０５）。このとき、（Ａ）〜（Ｄ）の推定のうちいずれかで説明状態であると推定された場合（ステップＳ１０５Ｙｅｓ）には、判定部３７は、説明状態であると最終的に総合判定する（ステップＳ１０６）。 Then, the determination unit 37 determines whether or not it is estimated to be in the explanatory state by any of the above estimates (A) to (D) (step S105). At this time, when it is estimated that the explanation state is in any of the estimations (A) to (D) (step S105 Yes), the determination unit 37 finally comprehensively determines that the explanation state is in the explanation state. (Step S106).

一方、（Ａ）〜（Ｄ）の推定のいずれでも非説明状態であると判定された場合（ステップＳ１０５Ｎｏ）には、判定部３７は、非説明状態であると最終的に総合判定する（ステップＳ１０７）。 On the other hand, when it is determined in any of the estimations (A) to (D) that the state is unexplained (step S105 No), the determination unit 37 finally comprehensively determines that the state is unexplained (step S105 No). Step S107).

その後、第１の記録部３８は、ステップＳ１０６またはステップＳ１０７の総合判定の結果を状態記憶部３８ａへ記録し（ステップＳ１０８）、処理を終了する。 After that, the first recording unit 38 records the result of the comprehensive determination in step S106 or step S107 in the state storage unit 38a (step S108), and ends the process.

（２）操作ログ記録処理
図１１は、実施例１に係る操作ログ記録処理の手順を示すフローチャートである。この処理も、図１０に示した状態記録処理と同様、情報交換サービス中である限り、バックグラウンドで繰返し実行される。 (2) Operation log recording process FIG. 11 is a flowchart showing a procedure of the operation log recording process according to the first embodiment. Similar to the state recording process shown in FIG. 10, this process is also repeatedly executed in the background as long as the information exchange service is in progress.

図１１に示すように、ＯＳ実行部３６によって操作が検出された場合（ステップＳ３０１Ｙｅｓ）には、第２の記録部３９は、状態記憶部３８ａに記憶された状態が説明状態または非説明状態のいずれであるかを判定する（ステップＳ３０２）。 As shown in FIG. 11, when the operation is detected by the OS execution unit 36 (step S301 Yes), the second recording unit 39 states that the state stored in the state storage unit 38a is an explanatory state or an unexplained state. It is determined which of the above (step S302).

ここで、状態記憶部３８ａに記憶された状態が説明状態である場合（ステップＳ３０２Ｙｅｓ）には、第２の記録部３９は、当該操作もしくは操作に対応する動作に説明状態もしくは説明状態である旨を示す情報を対応付けた上で操作ログとして記録する（ステップＳ３０３）。 Here, when the state stored in the state storage unit 38a is the explanatory state (step S302Yes), the second recording unit 39 indicates that the operation or the operation corresponding to the operation is the explanatory state or the explanatory state. Is recorded as an operation log after associating the information indicating (step S303).

一方、状態記憶部３８ａに記憶された状態が非説明状態である場合（ステップＳ３０２Ｎｏ）には、第２の記録部３９は、当該操作もしくは操作に対応する動作に非説明状態もしくは非説明状態である旨を示す情報を対応付けた上で操作ログとして記録する（ステップＳ３０４）。 On the other hand, when the state stored in the state storage unit 38a is the unexplained state (step S302No), the second recording unit 39 is in the unexplained state or the unexplained state for the operation or the operation corresponding to the operation. The operation log is recorded as an operation log after associating the information indicating the existence (step S304).

上記のステップＳ３０３またはステップＳ３０４の処理を実行した後に、上記のステップＳ３０１へ戻り、上記のステップＳ３０１〜ステップＳ３０４までの処理を繰返し実行する。 After executing the process of step S303 or step S304, the process returns to step S301 and the processes of steps S301 to S304 are repeatedly executed.

［効果の一側面］
上述してきたように、本実施例に係る端末装置３０は、端末装置３０で行われた操作を記録する場合に、端末装置３０の表示データまたは記録データを相手に説明する状態であるか否かを判断し、判断した結果を記録する。したがって、本実施例に係る端末装置３０によれば、説明用または個人用を特定可能な操作ログを提供できる。 [One aspect of the effect]
As described above, whether or not the terminal device 30 according to the present embodiment is in a state of explaining the display data or the recorded data of the terminal device 30 to the other party when recording the operation performed by the terminal device 30. And record the result of the judgment. Therefore, according to the terminal device 30 according to the present embodiment, it is possible to provide an operation log that can be specified for explanation or personal use.

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。 Although examples of the disclosed device have been described above, the present invention may be implemented in various different forms other than the above-described examples. Therefore, other examples included in the present invention will be described below.

［応用例］
上記の実施例１では、操作が検出される度に当該操作を説明状態または非説明状態に対応付けて操作ログを記録する場合を例示したが、他の方法によって操作ログを記録することもできる。例えば、説明状態または非説明状態の少なくともいずれか１つの状態の開始および終了を状態記憶部３８ａに記録させ、開始および終了の期間をもとに操作の時刻が説明状態または非説明状態のいずれに該当するか否かによって操作に説明状態または非説明状態を対応付けることとしてもよい。 [Application example]
In the first embodiment described above, the case where the operation log is recorded by associating the operation with the explained state or the unexplained state each time the operation is detected has been illustrated, but the operation log can also be recorded by another method. .. For example, the start and end of at least one of the explained state and the unexplained state are recorded in the state storage unit 38a, and the operation time is set to either the explained state or the unexplained state based on the start and end period. An explained state or an unexplained state may be associated with the operation depending on whether or not it corresponds.

［分散および統合］
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されておらずともよい。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、判定部３７、第１の記録部３８または第２の記録部３９を端末装置３０の外部装置としてネットワーク経由で接続するようにしてもよい。 [Distributed and integrated]
Further, each component of each of the illustrated devices does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of the device is functionally or physically distributed / physically in any unit according to various loads and usage conditions. It can be integrated and configured. For example, the determination unit 37, the first recording unit 38, or the second recording unit 39 may be connected via a network as an external device of the terminal device 30.

［操作ログ記録プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１２を用いて、上記の実施例と同様の機能を有する操作ログ記録プログラムを実行するコンピュータの一例について説明する。 [Operation log recording program]
Further, the various processes described in the above-described embodiment can be realized by executing a program prepared in advance on a computer such as a personal computer or a workstation. Therefore, in the following, an example of a computer that executes an operation log recording program having the same function as that of the above embodiment will be described with reference to FIG.

図１２は、実施例１及び実施例２に係る操作ログ記録プログラムを実行するコンピュータの一例について説明するための図である。図１２に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０〜１８０の各部はバス１４０を介して接続される。 FIG. 12 is a diagram for explaining an example of a computer that executes the operation log recording program according to the first and second embodiments. As shown in FIG. 12, the computer 100 includes an operation unit 110a, a speaker 110b, a camera 110c, a display 120, and a communication unit 130. Further, the computer 100 has a CPU 150, a ROM 160, an HDD 170, and a RAM 180. Each part of these 110 to 180 is connected via a bus 140.

ＨＤＤ１７０には、図１２に示すように、上記の実施例１で示した判定部３７、第１の記録部３８及び第２の記録部３９と同様の機能を発揮する操作ログ記録プログラム１７０ａが予め記憶される。この操作ログ記録プログラム１７０ａについては、図２に示した各々の判定部３７、第１の記録部３８及び第２の記録部３９の各構成要素と同様、適宜統合又は分離してもよい。すなわち、ＨＤＤ１７０に格納される各データは、必ずしも全てのデータがＨＤＤ１７０に格納されておらずともよく、処理に用いるデータのみがＨＤＤ１７０に格納されればよい。 As shown in FIG. 12, the HDD 170 is preliminarily provided with an operation log recording program 170a that exhibits the same functions as the determination unit 37, the first recording unit 38, and the second recording unit 39 shown in the first embodiment. Will be remembered. The operation log recording program 170a may be appropriately integrated or separated as in the components of the determination unit 37, the first recording unit 38, and the second recording unit 39 shown in FIG. That is, as for each data stored in the HDD 170, not all the data need to be stored in the HDD 170, and only the data used for processing needs to be stored in the HDD 170.

そして、ＣＰＵ１５０が、操作ログ記録プログラム１７０ａをＨＤＤ１７０から読み出してＲＡＭ１８０に展開する。これによって、図１２に示すように、操作ログ記録プログラム１７０ａは、操作ログ記録プロセス１８０ａとして機能する。この操作ログ記録プロセス１８０ａは、ＨＤＤ１７０から読み出した各種データをＲＡＭ１８０上の操作ログ記録プロセス１８０ａに割り当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。なお、操作ログ記録プロセス１８０ａは、図２に示した判定部３７、第１の記録部３８及び第２の記録部３９にて実行される処理、例えば図１０〜図１１に示す処理を含む。また、ＣＰＵ１５０上で仮想的に実現される各処理部は、必ずしも全ての処理部がＣＰＵ１５０上で動作せずともよく、処理に用いる処理部のみが仮想的に実現されればよい。 Then, the CPU 150 reads the operation log recording program 170a from the HDD 170 and expands it into the RAM 180. As a result, as shown in FIG. 12, the operation log recording program 170a functions as the operation log recording process 180a. The operation log recording process 180a expands various data read from the HDD 170 into an area allocated to the operation log recording process 180a on the RAM 180, and executes various processes based on the expanded data. The operation log recording process 180a includes the processes executed by the determination unit 37, the first recording unit 38, and the second recording unit 39 shown in FIG. 2, for example, the processes shown in FIGS. 10 to 11. Further, as for each processing unit virtually realized on the CPU 150, not all the processing units need to operate on the CPU 150, and only the processing unit used for processing may be virtually realized.

なお、上記の操作ログ記録プログラム１７０ａについては、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶させておかずともよい。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。 The operation log recording program 170a does not necessarily have to be stored in the HDD 170 or the ROM 160 from the beginning. For example, each program is stored in a "portable physical medium" such as a flexible disk inserted into the computer 100, a so-called FD, CD-ROM, DVD disk, magneto-optical disk, or IC card. Then, the computer 100 may acquire and execute each program from these portable physical media. Further, each program is stored in another computer or server device connected to the computer 100 via a public line, the Internet, LAN, WAN, etc., so that the computer 100 acquires and executes each program from these. It may be.

１情報交換システム
１０サーバ装置
３０端末装置
３１タッチパネル
３２通信部
３３カメラ
３３ａインカメラ
３４加速度センサ
３５地磁気センサ
３６ＯＳ実行部
３７判定部
３８第１の記録部
３８ａ状態記憶部
３９第２の記録部
３９ａ操作ログ記憶部 1 Information exchange system 10 Server device 30 Terminal device 31 Touch panel 32 Communication unit 33 Camera 33a In-camera 34 Accelerometer 35 Geomagnetic sensor 36 OS execution unit 37 Judgment unit 38 First recording unit 38a State storage unit 39 Second recording unit 39a Operation log storage

Claims

On the terminal device
The address information of the external device is embedded in the beacon by short-range wireless communication and transmitted.
Obtaining the sensor output from the sensor mounted on the terminal device,
The terminal by the basis of the sensor output that is acquired during the operation to the terminal device, the information stored information displayed on the terminal device or the terminal device to access said external device using said address information the other party to use the other terminals that are device and grouping, it is determined whether or not described state described,
Of the logs related to the operation recorded in the predetermined storage unit, it is determined that the disclosure range of the log related to the operation determined to be in the explained state is not the explained state, depending on whether or not the state is explained. Manage beyond the scope of disclosure of logs related to operations
An operation log recording program characterized by executing processing.

The acquisition process acquires an image captured by a camera mounted on the terminal device and obtains an image.
The operation log according to claim 1, wherein the determination process determines whether or not the image is in the above-described state depending on whether or not the number of persons included in the image is one or a plurality of persons. Recording program.

The acquisition process acquires geomagnetic data related to the terminal device and obtains the geomagnetic data.
The determination process is characterized in that it determines whether or not the terminal device is in the described state based on whether or not the orientation of the terminal device is inverted from a predetermined orientation based on the geomagnetic data related to the terminal device. The operation log recording program according to 1.

The acquisition process acquires acceleration data of three axes related to the terminal device, and obtains the acceleration data.
The determination process determines whether or not the state is in the above-described state depending on whether or not the acceleration of any of the predetermined two axes among the acceleration data of the three axes related to the terminal device is equal to or higher than the predetermined threshold value. The operation log recording program according to claim 1.

On the terminal device
Get the communication log of the content and
When recording the operation performed by the terminal device, it is determined whether or not the information displayed on the terminal device or the information stored in the terminal device is explained to the other party.
Execute the process to record the judgment result,
The operation log recording program is characterized in that the determination process determines whether or not the communication log of the content is in a state to be explained to the other party depending on whether it is a transmission log or a reception log.

The terminal device
The address information of the external device is embedded in the beacon by short-range wireless communication and transmitted.
Obtaining the sensor output from the sensor mounted on the terminal device,
The terminal by the basis of the sensor output that is acquired during the operation to the terminal device, the information stored information displayed on the terminal device or the terminal device to access said external device using said address information the other party to use the other terminals that are device and grouping, it is determined whether or not described state described,
Of the logs related to the operation recorded in the predetermined storage unit, it is determined that the disclosure range of the log related to the operation determined to be in the explained state is not the explained state, depending on whether or not the state is explained. Manage beyond the scope of disclosure of logs related to operations
An operation logging method characterized by executing a process.

A transmission control unit that embeds the address information of an external device in a beacon by short-range wireless communication and transmits it.
An acquisition unit that acquires the sensor output from the sensor mounted on the terminal device,
The terminal by the basis of the sensor output that is acquired during the operation to the terminal device, the information stored information displayed on the terminal device or the terminal device to access said external device using said address information the other party to use the other terminals that are device and grouping, a determination section for determining whether or not an explanatory state described,
Of the logs related to the operation recorded in the predetermined storage unit, it is determined that the disclosure range of the log related to the operation determined to be in the explained state is not the explained state, depending on whether or not the state is explained. The management department that manages the log beyond the scope of disclosure of the operation
A terminal device characterized by having.