CN106961546A - 信息处理装置和方法、摄像装置、显示装置、控制方法 - Google Patents

Abstract

信息处理装置和方法、摄像装置、显示装置、控制方法。信息处理装置具有：信息处理装置侧通信部，其从摄像装置接收与所述摄像装置的运动状态或姿势状态相关的信息，从所述显示装置接收与所述显示装置的姿势状态相关的信息；信息处理装置侧状态判定部，其使用所述信息处理装置侧通信部接收到的、与所述摄像装置的状态相关的信息和与所述显示装置的状态相关的信息，判定所述摄像装置和所述显示装置是否处于能够协作的状态；以及信息处理装置侧通信控制部，其根据所述信息处理装置侧状态判定部的判定结果，经由所述信息处理装置侧通信部输出协作指示信号，所述协作指示信号使所述摄像装置与所述显示装置之间利用通信进行协作。

Description

信息处理装置和方法、摄像装置、显示装置、控制方法

技术领域

本发明涉及信息处理装置、摄像装置、显示装置、信息处理方法、摄像装置的控制方法和显示装置的控制方法。

背景技术

以往，已知如下的电子设备：具有以非接触的方式检测动作的非接触传感器、或检测声音的传感器，将检测出的动作或声音与预先存储的操作指示的动作模式或声音对照，进行基于对照结果的处理(例如参照日本特开2014-219710号公报)。根据该技术，用户能够在不使用物理按钮的情况下操作电子设备。

但是，在上述电子设备中，在设想的状况以外的情况下，无法可靠地执行用户期望的动作。

本发明正是鉴于上述情况而完成的，其目的在于，提供一种能够在各种状况下可靠地执行用户期望的动作的信息处理装置、摄像装置、显示装置、信息处理方法、摄像装置的控制方法和显示装置的控制方法。

发明内容

本发明的信息处理装置是分别与外部的摄像装置和显示装置进行通信的信息处理装置，其具有：信息处理装置侧通信部，其从所述摄像装置接收与所述摄像装置的运动状态或姿势状态相关的信息，从所述显示装置接收与所述显示装置的姿势状态相关的信息；信息处理装置侧状态判定部，其使用所述信息处理装置侧通信部接收到的、与所述摄像装置的状态相关的信息和与所述显示装置的状态相关的信息，判定所述摄像装置和所述显示装置是否处于能够协作的状态；以及信息处理装置侧通信控制部，其根据所述信息处理装置侧状态判定部的判定结果，经由所述信息处理装置侧通信部输出协作指示信号，所述协作指示信号使所述摄像装置与所述显示装置之间利用通信进行协作。

本发明的摄像装置是分别与外部的信息处理装置和显示装置进行通信的摄像装置，其具有：摄像装置侧状态检测部，其检测该摄像装置的运动或姿势；摄像装置侧状态判定部，其根据由所述摄像装置侧状态检测部检测出的运动或姿势，判定与摄像装置的状态相关的信息；摄像装置侧通信部，其将所述摄像装置侧状态检测部检测出的、与摄像装置的状态相关的信息发送到所述信息处理装置；以及摄像装置侧通信控制部，其进行如下控制：在从所述信息处理装置接收到指示与所述显示装置协作的协作指示信号的情况下，经由所述摄像装置侧通信部建立与所述显示装置之间的通信。

本发明的显示装置是分别与外部的摄像装置和信息处理装置进行通信的显示装置，其具有：显示装置侧状态检测部，其检测该显示装置的姿势；显示装置侧状态判定部，其根据由所述显示装置侧状态检测部检测出的姿势，判定与显示装置的状态相关的信息；显示装置侧通信部，其将所述显示装置侧状态检测部检测出的、与显示装置的状态相关的信息发送到所述信息处理装置；以及显示装置侧通信控制部，其进行如下控制：在所述显示装置侧通信部从所述信息处理装置接收到指示与所述摄像装置协作的协作指示信号的情况下，建立与所述摄像装置之间的通信。

本发明的信息处理方法具有如下步骤：从摄像装置接收与所述摄像装置的运动状态或姿势状态相关的信息，从显示装置接收与所述显示装置的姿势状态相关的信息；使用与所述摄像装置的状态相关的信息和与所述显示装置的状态相关的信息，判定所述摄像装置和所述显示装置是否处于能够协作的状态；以及根据所述判定的结果，输出使所述摄像装置与所述显示装置之间利用通信进行协作的协作指示。

本发明的摄像装置的控制方法是分别与外部的信息处理装置和显示装置进行通信的摄像装置的控制方法，其具有如下步骤：检测该摄像装置的运动或姿势；根据所述运动或姿势，判定与摄像装置的状态相关的信息；将与摄像装置的状态相关的信息发送到所述信息处理装置；以及在从所述信息处理装置接收到指示与所述显示装置协作的协作指示信号的情况下，建立与所述显示装置之间的通信。

本发明的显示装置的控制方法是分别与外部的摄像装置和信息处理装置进行通信的显示装置的控制方法，其具有如下步骤：检测该显示装置的姿势；根据所述姿势，判定与显示装置的状态相关的信息；将与显示装置的状态相关的信息发送到所述信息处理装置；以及在从所述信息处理装置接收到指示与所述摄像装置协作的协作指示信号的情况下，建立与所述摄像装置之间的通信。

如果将以下本发明的详细说明与附图对照着进行阅读，则能够进一步理解以上所述的情况以及本发明的其它目的、特征、优点和技术及产业上的意义。

附图说明

图1是示意性示出本发明一个实施方式的通信系统的整体结构的图。

图2是示出本发明一个实施方式的通信系统的功能结构的框图。

图3A是示意性示出用户一边确认水面一边将摄像装置接近水面来配置的状况的图。

图3B是示意性示出用户一边观察显示装置所显示的实时取景图像一边进行拍摄的状况的图。

图4A是示意性示出显示装置的输出部什么也未显示的状态的图。

图4B是示意性示出显示装置的输出部正显示实时取景图像的状态的图。

图5是示出本发明一个实施方式的信息处理装置进行的处理的概要的流程图。

图6是示出本发明一个实施方式的信息处理装置的输出部中的模式选择画面的显示例的图。

图7是示出本发明一个实施方式的信息处理装置的输出部中的通信中画面的显示例的图。

图8是示出本发明一个实施方式的信息处理装置的输出部中的拍摄模式画面的显示例的图。

图9是示出本发明一个实施方式的信息处理装置的输出部中的协作状态画面的显示例的图。

图10是示出本发明一个实施方式的信息处理装置的输出部中的协作条件设定画面的显示例的图。

图11是示出本发明一个实施方式的摄像装置进行的处理的概要的流程图。

图12是示出本发明一个实施方式的显示装置进行的处理的概要的流程图。

具体实施方式

以下，参照附图说明用于实施本发明的方式(以下称作“实施方式”)。

图1是示意性示出本发明一个实施方式的通信系统的整体结构的图。该图所示的通信系统1具有摄像装置2、信息处理装置3和显示装置4。摄像装置2、信息处理装置3和显示装置4能够相互进行无线通信。另外，除了无线通信以外，也可以根据需要利用或一并利用人体通信，在人体通信中，使人体接触电极，使电流流过来进行通信，或者对人体施加电位来进行通信。在使用人体通信的情况下，使各装置具备用于实现人体通信的人体通信部。通过使用人体通信，能够根据通信的信号强度或通信的有无，判定用户有无把持装置或把持的开始时刻等，从而判定装置的状态。

摄像装置2例如呈小型的筒状或立方体等形状，能够拍摄被摄体来生成图像数据，并将所生成的图像数据发送到信息处理装置3和显示装置4。信息处理装置3例如是便携型的终端，能够显示摄像装置2拍摄的图像，并且具有居中协调摄像装置2与显示装置4之间的通信的功能。显示装置4例如呈手表的形状，能够显示摄像装置2拍摄的图像，并且还具有作为钟表的功能。这里，显示装置4的形状不限于绕在手腕上的手表的形状，例如也可以具有能够佩戴于手背、上臂或四肢的一部分等的作为可佩戴终端的结构。此外，近年来，还已知在衣料上设置终端等的各种功能。因此，例如还能够将显示装置4作为衣料的一部分来实现。

图2是示出通信系统1的功能结构的框图。以下，参照图2，说明摄像装置2、信息处理装置3和显示装置4的功能结构。

摄像装置2具有：摄像部21，其拍摄被摄体，生成被摄体的图像数据；声音收集部22，其收集外部的声音，生成声音数据；输入部23，其受理包含摄像装置2的操作指示信号在内的各种信号的输入；检测摄像装置2的运动或姿势的状态检测部24(摄像装置侧状态检测部)；与信息处理装置3以及显示装置4之间进行通信的通信部25(摄像装置侧通信部)；控制摄像装置2的动作的控制部26；以及存储部27，其存储摄像部21生成的图像数据、声音收集部22生成的声音数据以及用于控制摄像装置2的动作的各种信息。

摄像部21具有：形成被摄体像的光学系统；CCD(Charge Coupled Device：电荷耦合器件)或CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)等摄像元件，其接收该光学系统形成的被摄体像的光并进行光电转换，由此生成被摄体的图像数据；光圈，其通过限制光学系统会聚的光的入射量，进行曝光的调整；以及将摄像元件的状态设定为曝光状态或遮光状态的快门。

声音收集部22使用麦克风等构成，将收集的声音转换为声音数据后输出。

输入部23包含：释放开关，其受理指示静态图像拍摄的释放指示信号的输入；指示动态图像拍摄的开始和结束的动态图像开关；以及受理电源的接通断开的输入的电源开关。

状态检测部24使用检测相互垂直的3轴方向的加速度的加速度传感器来构成。

通信部25将状态检测部24检测出的、与摄像装置2的状态相关的信息发送到信息处理装置3。

通信部25具有按照相互不同的通信标准进行无线通信的第1通信部251(摄像装置侧第1通信部)和第2通信部252(摄像装置侧第2通信部)。第1通信部251进行利用例如Wi-Fi(注册商标)等无线LAN(Local Area Network：局域网)的通信。另一方面，第2通信部252进行利用例如Bluetooth(注册商标)的通信。以下，将第1通信部251依据的通信标准称作第1通信标准，将第2通信部252依据的通信标准称作第2通信标准。第1通信部251例如向信息处理装置3或显示装置4发送图像数据。第2通信部252从信息处理装置3接收例如使摄像装置2与显示装置4之间通过通信来进行协作的协作指示信号。

控制部26具有：控制摄像部21进行的拍摄动作的拍摄控制部261；对摄像部21生成的图像数据实施规定的处理的图像处理部262；状态判定部263(摄像装置侧状态判定部)，其根据状态检测部24的检测结果，判定摄像装置2的状态；以及通信控制部264(摄像装置侧通信控制部)，其控制第1通信部251和第2通信部252中的与外部设备之间的通信。控制部26使用CPU(Central Processing Unit：中央处理单元)等通用处理器构成。这些通信也可以根据需要置换为人体通信，在人体通信中，使人体接触电极，使电流流过来进行通信，或者对人体施加电位来进行通信。

在输入部23的释放开关受理了释放信号的输入的情况下，拍摄控制部261使摄像部21执行静态图像拍摄。拍摄控制部261将图像处理部262按照规定的静态图像格式实施处理后的静态图像数据写入到存储部27中进行存储。此外，在动态图像开关受理了开始指示信号的输入的情况下，拍摄控制部261使摄像部21按照规定的动态图像格式，执行动态图像拍摄，直到动态图像开关受理结束指示信号的输入为止。拍摄控制部261对动态图像拍摄的图像数据附加声音收集部22生成的声音数据，生成动态图像文件，并写入到存储部27中进行存储。这里，作为静态图像格式，例如可列举JPEG、Exif等。此外，作为动态图像格式，例如可列举MPEG-4AVC/H.264、AVCHD等。

图像处理部262进行包含A/D转换处理、光学黑减法处理、白平衡调整处理，颜色矩阵运算处理、γ校正处理、颜色再现处理以及边缘强调处理等的图像处理。在摄像部21的摄像元件是拜尔排列的情况下，图像处理部262进行图像数据的同时化处理。

通信控制部264进行如下控制：在通信部25从信息处理装置3接收到指示与显示装置4协作的协作指示信号的情况下，经由通信部25建立与显示装置4之间的通信。通信控制部264也可以进行如下控制：在通信部25接收到指示向显示装置4发送图像数据的图像数据发送指示信号的情况下，经由通信部25将图像数据发送到显示装置4。

状态判定部263根据状态检测部24输出的、来自加速度传感器的检测信号，判定摄像装置2的姿势或运动。

除了例如摄像部21拍摄的图像数据以及声音收集部22收集的声音数据以外，存储部27还存储摄像装置2执行的控制程序等各种程序。存储部27使用RAM(Random AccessMemory：随机存取存储器)等易失性存储器和ROM(Read Only Memory：只读存储器)等非易失性存储器构成。其中，RAM具有暂时存储部的功能，其暂时存储从图像处理部262输入的已处理的图像数据和摄像装置2的处理中的信息。另外，也可以使用能够从外部安装的存储卡等计算机可读取的记录介质来构成存储部27。

信息处理装置3具有：受理包含信息处理装置3的操作指示信号在内的各种信号的输入的输入部31；输出图像和声音的输出部32；与摄像装置2以及显示装置4之间进行无线通信的通信部33(信息处理装置侧通信部)；控制信息处理装置3的动作的控制部34；以及存储部35，其存储用于控制信息处理装置3的动作的各种信息等。

输入部31使用重叠设置于输出部32的画面显示区域的触摸面板、设置于信息处理装置3的主体表面的各种开关或各种按钮等用户接口构成。

输出部32具有：由液晶或有机EL(Electro Luminescence：电致发光)等构成的显示面板；以及输出声音的扬声器。

通信部33具有：依据第1通信标准进行无线通信的第1通信部331(信息处理装置侧第1通信部)；以及依据第2通信标准进行无线通信的第2通信部332(信息处理装置侧第2通信部)。另外，除了无线通信以外，也可以根据需要利用或一并利用人体通信，在人体通信中，使人体接触电极，使电流流过来进行通信，或者对人体施加电位来进行通信。在使用人体通信的情况下，使通信部33具备用于实现人体通信的人体通信部。第1通信部331接收例如来自摄像装置2的图像数据。第2通信部332将例如协作指示信号发送到摄像装置2。

控制部34具有：状态判定部341(信息处理装置侧状态判定部)，其使用分别从摄像装置2和显示装置4发送来的状态信息，判定摄像装置2和显示装置4的状态；通信控制部342，其进行如下控制：根据状态判定部341的判定结果，经由通信部33输出使摄像装置2和显示装置4协作的协作指示信号；以及控制输出部32的输出的输出控制部343。之后将叙述上述的“协作”的具体内容。控制部34使用CPU等通用处理器构成。

通信控制部342进行如下控制：使通信部33对摄像装置2和显示装置4中的至少任意一方发送图像数据发送指示信号，作为协作指示信号，图像数据发送指示信号用于指示从摄像装置2向显示装置4发送图像数据。此外，在通过状态判定部判定为摄像装置2和显示装置4的状态处于能够协作的状态的情况下，通信控制部342对通信部33进行指示，使其将指示用户能够感知的信息的输出的输出指示信号发送到显示装置4。

除了从摄像装置2发送来的静态图像或动态图像的数据以外，存储部35还存储信息处理装置3执行的程序。存储部35使用RAM等易失性存储器和ROM等非易失性存储器构成。另外，也可以使用能够从外部安装的存储卡等计算机可读取的记录介质来构成存储部35。

具有以上的功能结构的信息处理装置3也可以是智能手机、平板PC或PDA等。该情况下，信息处理装置3可以具有摄像功能。

显示装置4具有：输入部41，其受理包含显示装置4的操作指示信号在内的各种信号的输入；检测显示装置4的姿势的状态检测部42(显示装置侧状态检测部)；输出图像或声音的输出部43(显示装置侧输出部)；与摄像装置2以及显示装置4之间进行无线通信的通信部44(显示装置侧通信部)；控制摄像装置2的动作的控制部45；以及存储部46，其存储用于控制显示装置4的动作的各种信息等。

输入部41使用层叠设置于输出部43的画面显示区域的触摸面板、设置于显示装置4的主体表面的各种开关或各种按钮等用户接口构成。

状态检测部42使用检测相互垂直的3轴方向的加速度的加速度传感器来构成。

输出部43具有：由液晶或有机EL等构成的显示面板；以及输出声音的扬声器。

通信部44将状态检测部42检测出的、与显示装置的状态相关的信息发送到信息处理装置3。通信部44具有：依据第1通信标准进行无线通信的第1通信部441(显示装置侧第1通信部)；以及依据第2通信标准进行无线通信的第2通信部442(显示装置侧第2通信部)。

控制部45具有：状态判定部451(显示装置侧状态判定部)，其根据状态检测部42检测出的姿势，判定与显示装置4的状态相关的信息；通信控制部452(显示装置侧通信控制部)，其根据状态判定部451的判定结果，经由通信部44进行建立与摄像装置2之间的通信的控制；以及控制输出部43的输出的输出控制部453。控制部45使用CPU等通用处理器构成。

状态判定部451根据状态检测部42输出的、来自加速度传感器的检测信号，判定显示装置4的姿势或运动。

通信控制部452在从信息处理装置3接收到指示与摄像装置2协作的协作指示信号的情况下，进行建立与摄像装置2之间的通信的控制。在通信部44接收到指示与摄像装置2之间的图像数据的收发的信号的情况下，通信控制部452可以进行如下控制：使通信部44将请求图像数据发送的图像数据发送请求信号发送到摄像装置2。此外，在通信部44从信息处理装置3接收到指示能够感知的信息的输出的输出指示信号的情况下，通信控制部452可以使输出部43输出能够感知的信息。

存储部46存储例如显示装置4执行的控制程序等各种程序。存储部46使用RAM等易失性存储器和ROM等非易失性存储器构成。另外，也可以使用能够从外部安装的存储卡等计算机可读取的记录介质来构成存储部46。

在具有以上的功能结构的通信系统1中，信息处理装置3从各装置接收与摄像装置2和显示装置4的状态相关的信息，进行状态判定，在摄像装置2和显示装置4成为了特定的状态的情况下，使摄像装置2和显示装置4协作。

图3A和图3B是说明通信系统1的使用场景的例子的图。具体而言，图3A和图3B是示意性示出在用户乘船顺流而下的状况下，拍摄从水面的近处观察到的下游景色的状况，作为通信系统1的使用场景的图。

首先，用户100如图3A所示那样，一边在船200的外部确认水面，一边将摄像装置2接近水面来进行配置。在该阶段，用户集中于将摄像装置2拿到接近水面为止，不需要观察摄像装置2拍摄的图像。因此，如图4A所示，在显示装置4的输出部43上什么也未显示。

然后，在确定摄像装置2的摄像构图时，需要观察摄像装置2拍摄的图像。因此，如图3B所示，用户100一边在显示装置4上观察摄像装置2拍摄的图像(实时取景图像)，一边调整摄像装置2的位置来确定构图。此时，如图4B所示，在显示装置4的输出部43上显示摄像装置2正拍摄的实时取景图像。

图3A与图3B的差异是摄像装置2和显示装置4的运动和姿势。在图3A所示的状况下，摄像装置2和显示装置4的位置和姿势不确定。与此相对，在图3B所示的状况下，摄像装置2的位置被大致固定，用户100为了通过显示装置4的输出部43观察摄像装置2拍摄的图像，将显示面板设为了大致水平的状态。信息处理装置3根据该状态的差异，控制摄像装置2与显示装置4的协作、即从摄像装置2向显示装置4的图像数据发送。换言之，信息处理装置3进行摄像装置2与显示装置4的协作通信的居中协调。

在这样的使用场景下，用户100能够一边免提地更简单确认摄像装置2拍摄的图像，一边进行期望的拍摄。此外，例如船200即使摆动，由于用户100能够用不拿摄像装置2的手扶住船200，因此用户100的双手也不被占用而比较安全。

接着，说明通信系统1进行的处理的概要。以下，按照信息处理装置3、摄像装置2和显示装置4的顺序，说明各设备进行的处理的概要。

图5是示出信息处理装置3进行的处理的概要的流程图。首先，输出控制部343使输出部32显示模式选择画面(步骤S101)。图6是示出输出部32中的模式选择画面的显示例的图。图6所示的模式选择画面101显示有如下图标：用于选择外部照相机模式的外部照相机图标111；用于选择电话模式的电话图标112；用于选择邮件模式的邮件图标113；以及用于结束信息处理装置3的结束图标114。另外，在模式选择画面101中能够选择3个模式，但这只是一例。当用户用手指触摸任意一个图标时，重叠设置于显示画面而成为输入部31的一部分的触摸面板受理与该图标对应的指示信号的输入。在以下的说明中，以下方面也相同：在用户触摸图标的情况下，触摸面板受理与该图标对应的指示信号的输入。因此，以下有时也将触摸与触摸面板的图标对应的部分、从而触摸面板受理执行与该图标对应的功能的信号的输入简单称作“选择了与图标对应的功能(模式、结束等)”。

在选择了外部照相机模式的情况下(步骤S102：是)，信息处理装置3与通信对象的摄像装置2之间分别建立依据第1通信标准和第2通信标准的通信(步骤S103)。例如，在通信标准为Wi-Fi(注册商标)、Bluetooth(注册商标)或人体通信等的情况下，信息处理装置3按照规定的步骤与摄像装置2之间进行相互认证，由此建立通信。此时，信息处理装置3根据与用户对通信对象设备的选择和认证相关的操作输入，建立通信。在通信标准为Bluetooth(注册商标)的情况下，信息处理装置3除了初始设定时以外，还能够与摄像装置2之间自动地建立通信。另外，在步骤S103中未建立通信的情况下，输出部32也可以进行错误显示。

在建立了与摄像装置2之间的通信后，输出控制部343使输出部32显示通信中画面(步骤S104)。图7是示出输出部32中的通信中画面的显示例的图。该图所示的通信中画面102显示如下图标：表示处于通信中的通信中图标121；用于解除通信的通信解除图标122；用于转移到拍摄模式的拍摄模式图标123；以及用于转移到再现模式的再现模式图标124。另外，通信中画面102可以进一步显示通信对方的终端信息，在选择了通信中图标121的情况下，可以显示通信对方的终端信息。

在选择了拍摄模式的情况下(步骤S105：是)，输出控制部343使输出部32显示拍摄模式画面(步骤S106)。图8是示出输出部32中的拍摄模式画面的显示例的图。该图所示的拍摄模式画面103显示如下内容：第1通信部251从摄像装置2接收到的实时取景图像131；用于进行动态图像拍摄的动态图像拍摄图标132；用于进行静态图像拍摄的静态图像拍摄图标133；用于使摄像装置2和显示装置4协作的协作图标134；以及用于返回到通信中画面102的返回图标135。

在拍摄模式画面103中选择了协作功能的情况下(步骤S107：是)，第2通信部332对摄像装置2发送指示与显示装置4协作的协作指示信号(步骤S108)。在该协作指示信号中包含显示装置4的接入信息。

在第2通信部332从发送协作指示信号起，在规定时间内从摄像装置2接收到协作通信的开始信号的情况下(步骤S109：是)，信息处理装置3与显示装置4之间，分别建立依据第1通信标准和第2通信标准的通信(步骤S110)。在该通信建立时，已预先确定了通信对方的装置的情况下，信息处理装置3可以经过启动规定的通信标准的应用程序等进程，执行搜索对方装置的程序控制。另一方面，在尚未确定通信对方的装置的情况下，信息处理装置3可以判定通信的信号强度、装置间的位置关系和姿势关系、以及各装置的固定情况等，选择作为通信候选的特定的装置。

接着，输出控制部343使输出部32显示协作中画面(步骤S111)。图9是示出输出部32中的协作中画面的显示例的图。该图所示的协作中画面104显示如下内容：显示处于协作中的情况的协作中图标141；显示协作条件的协作条件显示部142；用于设定协作条件的条件设定图标143；以及用于解除协作的协作解除图标144。在协作中画面104中不显示实时取景图像。在图9所示的情况下，在协作条件中，发送图像的种类是“实时取景图像”、摄像装置2是“固定”的，且显示装置4是“水平”的。即，在图9所示的情况下，在摄像装置2没有运动的情况下，即摄像装置2被固定，且显示装置4的输出部43的显示面板的姿势为水平的状态的情况下，摄像装置2对显示装置4发送实时取景图像。另外，在协作中图标141中，也可以通过字符以外的图形或图案等，显示表示正在协作中的信息。此外，协作中画面104可以进一步显示正协作的两个终端信息，在选择了协作中图标141的情况下，可以显示正协作的两个终端信息。此外，也可以是，在经过规定时间后，输出部43结束协作中画面104的显示。这样，如果用户能够指定或设定条件，则能够使得仅在多个装置的状态满足该条件时，信息处理装置3自动地进行各种控制。其结果，能够在不错过满足用户期望的条件的时机的情况下，容易地构成节能性也优异的通信系统1。并且，能够向用户提供用户的操作性优异、并且可取得高质量的信息的通信系统1。

另外，可以替代图9那样的设为进行独立的设定的结构，在设想多个用户在拍摄时无意识地进行的常见的手势和姿势的基础上，判定装置间的姿势关系和各装置的固定情况，预先设定用于控制各装置的条件。该情况下，信息处理装置可以进行基于各装置的姿势或加速度的控制，也可以不使用这些，而基于装置间的通信时的信号强度、通信状态或各装置的位置关系等进行控制。此外，信息处理装置可以根据各装置的姿势、加速度、装置间的通信时的信号强度或通信状态、各装置的位置关系中的任意一个，或者根据适当的组合进行控制。

在协作中画面104中选择了协作条件设定功能的情况下(步骤S112：是)，输出控制部343使输出部32显示协作条件设定画面(步骤S113)。图10是示出输出部32中的协作条件设定画面的显示例的图。该图所示的协作条件设定画面105显示如下内容：显示摄像装置2发送到协作目的地的图像的种类的图像种类显示部151；对摄像侧(摄像装置2)的状态进行显示的摄像侧状态显示部152；对显示侧(显示装置4)的状态进行显示的显示侧状态显示部153；用于变更协作条件的变更图标154；以及用于返回到协作中画面104的返回图标155。图像种类显示部151、摄像侧状态显示部152和显示侧状态显示部153为下拉菜单。在图10中设定的协作条件与图9所示的协作条件相同。用户通过在各显示部中从多个候选中选择期望的种类或状态并输入，设定协作条件。例如，作为图像的种类，除了“实时取景图像”以外，还能够选择“再现图像”、“拍摄图像”等。此外，作为摄像侧状态，除了没有摄像装置的运动的“固定”以外，还能够选择摄像装置的姿势为“水平”、从图像中识别并检测被摄体的面部的“面部检测”、拍摄模式的设定为“微距”、“风景”等中的1个或多个。此外，作为显示侧状态，除了“水平”以外，还能够选择显示装置的运动为“往复运动”等。

在协作条件设定画面105中选择了设定变更功能的情况下(步骤S114：是)，控制部34变更协作条件的设定(步骤S115)。然后，信息处理装置3返回到步骤S111。

在未选择外部照相机模式的情况下(步骤S102：否)，当选择其他模式(电话模式或邮件模式)时(步骤S116：是)，信息处理装置3转移到所选择的模式。其他模式的动作是公知的技术，因此省略说明。另一方面，在步骤S116中未选择其他模式时(步骤S116：否)，如果选择结束(步骤S117：是)，则信息处理装置3结束处理。这里，信息处理装置3可以断开电源。如果在步骤S117中未选择结束(步骤S117：否)，则信息处理装置3返回到步骤S101。

在步骤S105中未选择拍摄模式的情况下(步骤S105：否)，当选择了通信解除功能时(步骤S118：是)，控制部34解除与摄像装置2之间的通信(步骤S119)。然后，信息处理装置3返回到步骤S101。在步骤S118中未选择通信解除功能的情况下(步骤S118：否)，选择再现模式。该情况下，信息处理装置3转移到再现模式。再现模式是公知的技术，因此省略说明。

在拍摄模式画面103中未选择协作功能的情况下(步骤S107：否)，当选择了动态图像或静态图像拍摄功能时(步骤S120：是)，通信控制部342使第2通信部332向摄像装置2发送拍摄指示信号(步骤S121)。接着，第1通信部331从摄像装置2接收拍摄图像的数据，输出控制部343使输出部32显示拍摄图像(步骤S122)。然后，信息处理装置3返回到步骤S106。

在步骤S109中即使经过规定时间第2通信部332也未接收到开始信号的情况下(步骤S109：否)，输出控制部343使输出部32显示警告(步骤S123)。然后，信息处理装置3返回到步骤S106。

在步骤S112中未选择条件设定功能的情况下(步骤S112：否)，当选择了协作解除功能时(步骤S124：是)，第2通信部332向摄像装置2发送指示协作解除的解除指示信号(步骤S125)。然后，信息处理装置3返回到步骤S106。

在步骤S124中未选择协作解除功能时(步骤S124：否)，状态判定部341使用第2通信部332从摄像装置2和显示装置4分别取得的状态信号，判定摄像装置2和显示装置4的状态(步骤S126)。在判定的结果是摄像装置2和显示装置4满足了协作条件的情况下(步骤S127：是)，第2通信部332根据通信控制部342(信息处理装置侧通信控制部)的控制，将图像数据发送指示信号发送到摄像装置2(步骤S128)，该图像数据发送指示信号指示发送在协作条件中设定的种类(在图9中为实时取景图像)的图像数据。然后，信息处理装置3返回到步骤S111。

在步骤S127中摄像装置2和显示装置3未满足协作条件的情况下(步骤S127：否)，信息处理装置3返回到步骤S111。

在步骤S114中，在协作条件设定画面105中未选择设定变更功能的情况下(步骤S114：否)，当选择返回功能时(步骤S129：是)，信息处理装置3返回到步骤S111。在步骤S129中未选择返回功能时(步骤S129：否)，信息处理装置3返回到步骤S114。

在步骤S120中未选择动态图像或静态图像拍摄功能时(步骤S120：否)，如果选择返回功能(步骤S130：是)，则信息处理装置3返回到步骤S104。另一方面，如果在步骤S130中未选择返回功能(步骤S130：否)，则信息处理装置3返回到步骤S106。

图11是示出摄像装置2进行的处理的概要的流程图。在以下的说明中，为了方便，说明在图9所示的条件中设定了协作通信的情况。

在摄像装置2建立了与实时取景图像的发送目的地之间的通信的情况下(步骤S201：是)，当实时取景图像的发送目的地是信息处理装置3时(步骤S202：是)，通信控制部264使第1通信部251将实时取景图像的数据发送到信息处理装置3(步骤S203)。

在摄像装置2建立了与实时取景图像的发送目的地之间的通信的情况下(步骤S201：是)，当实时取景图像的发送目的地不是信息处理装置3时(步骤S202：否)，其发送目的地是进行协作通信的装置、例如显示装置4。此时，当第2通信部252从信息处理装置3接收到指示实时取景图像发送的发送指示信号时(步骤S204：是)，通信控制部264进行使第1通信部251将实时取景图像的数据发送到显示装置4的控制(步骤S203)。在第2通信部252未从信息处理装置3接收到发送指示信号的情况下(步骤S204：否)，摄像装置2返回到步骤S201。

在步骤S203之后，状态判定部263根据状态检测部24的检测结果，判定摄像装置2的状态(步骤S205)。在状态判定部263判定为处于特定的状态的情况下(步骤S206：是)，通信控制部264使第2通信部252将与特定的状态对应的状态信号发送到信息处理装置3(步骤S207)。在状态判定部263判定为不处于特定的状态的情况下(步骤S206：否)，摄像装置2转移到后述的步骤S208。这里的特定的状态在图9所示的情况下，是位置被固定的状态。另外，也可以是，即使在特定的状态以外的情况下，摄像装置2也将与状态检测部24的检测结果对应的状态信号定期发送到信息处理装置3。该情况下，信息处理装置3进行摄像装置2的状态是否是特定的状态的判定。

在步骤S207后输入部23受理了释放信号的输入时(步骤S208：是)，通信控制部264对第1通信部251进行使其将摄像部21所拍摄的图像数据发送到实时取景图像的发送目的地的控制(步骤S209)。控制部26将所拍摄的图像数据写入到存储部27中，使其进行存储(步骤S210)。另外，信息处理装置3可以并行执行步骤S209和步骤S210，也可以按照相反的顺序执行步骤S209和步骤S210。在输入部23未受理释放信号的输入时(步骤S208：否)，摄像装置2返回到步骤S201。

在步骤S210后，摄像装置2受理了结束指示信号的输入的情况下(步骤S211：是)，摄像装置2结束一系列的处理。另一方面，在摄像装置2未受理结束指示信号的输入的情况下(步骤S211：否)，摄像装置2返回到步骤S201。

对在步骤S201中摄像装置2未建立与实时取景图像的发送目的地之间的通信的情况(步骤S201：否)进行说明。该情况下，在从信息处理装置3接收到了通信请求信号时(步骤S212：是)，摄像装置2建立与信息处理装置3之间的通信(步骤S213)，将实时取景图像的发送目的地设为信息处理装置3并转移到步骤S203。

在步骤S212中未从信息处理装置3接收到通信请求信号(步骤S212：否)、且从信息处理装置3接收到协作指示信号的情况下(步骤S214：是)，通信控制部264使第1通信部251对协作指示信号所包含的协作通信目的地(例如显示装置4)发送通信请求(步骤S215)。

然后，在规定时间内建立了与显示装置4之间的通信的情况下(步骤S216：是)，通信控制部264对第2通信部252进行使其向信息处理装置3发送开始信号的控制(步骤S217)。另一方面，在即使经过规定时间也未建立与显示装置4之间的通信的情况下(步骤S216：否)，通信控制部264对第2通信部252进行使其向信息处理装置3发送错误信号的控制(步骤S218)。在步骤S217或S218后，摄像装置2返回到步骤S201。

在步骤S212中未从信息处理装置3接收到通信请求信号的情况下(步骤S212：否)，当未从信息处理装置3接收到协作指示信号时(步骤S214：否)，摄像装置2转移到步骤S211。

图12是示出显示装置4的处理的概要的流程图。在以下的说明中，也为了方便，说明在图9所示的条件中设定了协作通信的情况。在显示装置4不处于协作通信状态的情况下(步骤S301：否)，显示装置4利用独自的功能进行动作(步骤S302)。该情况下，显示装置4例如作为钟表发挥功能。之后，显示装置4返回到步骤S301。

在显示装置4处于协作通信状态的情况下(步骤S301：是)，当从信息处理装置3接收到协作解除信号时(步骤S303：是)，显示装置4转移到步骤S302。

在步骤S303中未从信息处理装置3接收到协作解除信号(步骤S303：否)、且第1通信部441从摄像装置2接收到图像数据的情况下(步骤S304：是)，输出控制部453使输出部43显示与接收到的图像数据对应的图像(步骤S305)。在步骤S304中第1通信部441未从摄像装置2接收到图像数据的情况下(步骤S304：否)，显示装置4转移到后述的步骤S306。

在步骤S305后，状态判定部451(显示装置侧状态判定部)根据状态检测部42的检测结果，判定显示装置4的状态(步骤S306)。在状态判定部451判定为处于特定的状态的情况下(步骤S307：是)，通信控制部452使第2通信部442将与特定的状态对应的状态信号发送到信息处理装置3(步骤S308)。在状态判定部451判定为不处于特定的状态的情况下(步骤S307：否)，显示装置4转移到后述的步骤S309。在图9所示的情况下，这里的特定的状态是显示装置4的显示面板的姿势为水平的状态。另外，也可以是，即使在特定的状态以外的情况下，显示装置4也将与状态检测部42的检测结果对应的状态信号定期发送到信息处理装置3。该情况下，信息处理装置3进行显示装置4的状态是否是特定的状态的判定。

在步骤S308后，输出部43正显示图像的情况下(步骤S309：是)，当满足图像的显示结束条件时(步骤S310：是)，输出控制部453使输出部43结束显示(步骤S311)。这里的显示结束条件根据显示装置4的运动或显示时间等条件适当设定。例如，能够设定为在显示装置4的加速度大于规定的阈值的情况下、或者在显示时间超过了规定时间的情况下结束显示。在步骤S311之后，显示装置4返回到步骤S301。

在步骤S309中输出部43没有正显示图像的情况下(步骤S309：否)，在步骤S310中不满足图像的显示结束条件的情况下(步骤S310：否)，显示装置4返回到步骤S301。

根据以上所说明的本发明的一个实施方式，信息处理装置根据状态判定部的判定结果，进行使摄像装置和显示装置协作的控制，因此能够在包含难以操作的状况的各种状况下，可靠地执行用户期望的动作。

此外，根据本实施方式，对于需要与信息处理装置进行通信的显示装置而言，信息处理装置成为其与摄像装置之间进行直接协作的居中协调装置，从而能够实现顺畅的协作。

在本实施方式的变形例1中，在判定为摄像装置2和显示装置4处于特定状态的情况下，信息处理装置3对显示装置4发送输出指示信号，该输出指示信号指示包含用户能够感知的振动、声音或光等中的任意一个在内的感知信息的输出。在本变形例中，在第2通信部442从信息处理装置3接收到了感知信息的输出指示信号的情况下，输出控制部453使输出部43输出感知信息。由此，用户能够容易地感知摄像装置2处于期望的特定状态的情况。

在本实施方式的变形例2中，信息处理装置3将作为协作指示信号的图像数据发送指示信号发送到显示装置4，该协作指示信号对摄像装置2指示向显示装置4发送图像数据。该情况下，信息处理装置3首先与显示装置4之间分别建立了依据第1和第2通信标准的通信，然后，第2通信部332对显示装置4发送包含摄像装置2的接入信息的协作指示信号。接收到协作指示信号的显示装置4与摄像装置2之间，分别建立依据第1和第2通信标准的通信。

然后，在信息处理装置3判定出摄像装置2和显示装置4的特定状态的情况下，对显示装置4发送指示与摄像装置2之间收发图像数据的信号。在接收到该信号的显示装置4中，通信控制部452对摄像装置2发送请求图像数据发送的发送请求信号。接收到发送请求信号的摄像装置2向显示装置4发送图像数据。

另外，本实施方式的摄像装置还能够作为观察用装置、检查用装置或诊断用装置发挥功能。例如，本实施方式的摄像装置能够应用于医疗用和工业用的内窥镜以及显微镜那样的、具有摄像功能的所有装置。该情况下，将内窥镜用的处理器作为信息处理装置，构成具有内窥镜、处理器和显示装置的通信系统即可。

此外，至此为止主要说明了进行无线通信的情况，但本实施方式也能够使用有线通信来实现。此外，只要各装置能够独立改变姿势、方向或稳定性，则能够应用本实施方式。此外，也可以是，信息处理装置通过判定通信候选的各装置间的姿势关系或各装置的固定的情况，选择特定的装置。

此外，信息处理装置也可以进行考虑并反映出通信的信号强度或位置关系等的控制。该情况下，也可以是，具备判定是否为用户把持各装置的状态的人体通信部或触摸传感器、和检测装置彼此的高度关系等的气压传感器，利用这些装置中的任意一个，进行基于装置彼此的位置关系的各装置的通信、动作控制或协作控制。

另外，作为通信部接收的摄像装置和显示装置的状态，设想各装置的姿势、各装置的姿势的时间变化(率)、装置间的位置关系、装置间的位置关系的时间变化(率)、各装置的通信状态或其时间变化等。

此外，控制通信系统整体的功能只要内置在构成该通信系统的装置中的任意一个即可。

另外，也可以是，在信息处理装置为智能手机等便携式信息终端等的情况下，信息处理装置经由网络下载应用软件，由此能够取得控制本实施方式的通信系统的动作的功能。

此外，还能够使用摄像装置以外的信息取得装置，构成本实施方式的通信系统。作为这样的信息取得装置，可列举IC录音机、体温计、体重计等。该情况下，还能够替代图9所示的协作条件，利用可佩戴的摄像装置或显示装置的状态检测部，通过光传感器得到的血流变化、颜色传感器得到的皮肤状态、压力传感器得到的脉搏、温度传感器得到的体温、湿度传感器得到的保湿状态等检测生物体信息，并根据任意状态设定协作条件。

此外，在本实施方式中，也可以是，不使第1通信部专门进行图像数据的收发，而使其负责各种指示信号的至少一部分的通信。

在本说明书的流程图的说明中，使用“首先”、“然后”、“接着”等表达明确表示出步骤间处理的前后关系，而这不意味着用于实施上述实施方式所需的处理的顺序由这些表达唯一确定。即，可以在不产生矛盾的范围内变更本说明书所述的流程图中的处理顺序。

此外，可以将在本说明书中使用流程图说明的处理算法记述为程序。这样的程序可以记录到计算机内部的存储部，也可以记录到计算机可读取的记录介质。程序向存储部或记录介质的记录可以在将计算机或记录介质作为产品出货时进行，也可以通过借助通信网络的下载进行。

如上，本发明可包含此处未记载的各种实施方式，可以在通过权利要求书确定的技术思想的范围内进行各种设计变更等。

如以上所说明那样，根据本发明，能够在各种状况下可靠地执行用户期望的动作。

Claims (14)

1.一种信息处理装置，其分别与外部的摄像装置和显示装置进行通信，在该信息处理装置中，具有：

信息处理装置侧通信部，其从所述摄像装置接收与所述摄像装置的运动状态或姿势状态相关的信息，从所述显示装置接收与所述显示装置的姿势状态相关的信息；

信息处理装置侧状态判定部，其使用所述信息处理装置侧通信部接收到的、与所述摄像装置的状态相关的信息和与所述显示装置的状态相关的信息，判定所述摄像装置和所述显示装置是否处于能够协作的状态；以及

信息处理装置侧通信控制部，其根据所述信息处理装置侧状态判定部的判定结果，经由所述信息处理装置侧通信部输出协作指示信号，所述协作指示信号使所述摄像装置与所述显示装置之间利用通信进行协作。

2.根据权利要求1所述的信息处理装置，其中，

所述信息处理装置侧通信控制部进行如下控制：使所述信息处理装置侧通信部对所述摄像装置和所述显示装置中的至少任意一方发送图像数据发送指示信号，作为所述协作指示信号，所述图像数据发送指示信号指示从所述摄像装置向所述显示装置发送图像数据。

3.根据权利要求2所述的信息处理装置，其中，

在通过所述信息处理装置侧状态判定部判定为所述摄像装置和所述显示装置的状态处于能够协作的状态的情况下，所述信息处理装置侧通信控制部对所述信息处理装置侧通信部进行指示，使所述信息处理装置侧通信部将指示输出用户能够感知的信息的输出指示信号发送到所述显示装置。

4.根据权利要求1所述的信息处理装置，其中，

所述信息处理装置侧通信部具有：

信息处理装置侧第1通信部，其从所述摄像装置接收图像数据；以及

信息处理装置侧第2通信部，其按照与所述信息处理装置侧第1通信部不同的通信标准，进行通信，发送所述协作指示信号。

5.一种摄像装置，其分别与外部的信息处理装置和显示装置进行通信，在所述摄像装置中，具有：

摄像装置侧状态检测部，其检测该摄像装置的运动或姿势；

摄像装置侧状态判定部，其根据由所述摄像装置侧状态检测部检测出的运动或姿势，判定与摄像装置的状态相关的信息；

摄像装置侧通信部，其将所述摄像装置侧状态检测部检测出的、与摄像装置的状态相关的信息发送到所述信息处理装置；以及

摄像装置侧通信控制部，其进行如下控制：在从所述信息处理装置接收到指示与所述显示装置协作的协作指示信号的情况下，经由所述摄像装置侧通信部建立与所述显示装置之间的通信。

6.根据权利要求5所述的摄像装置，其中，

所述摄像装置侧通信控制部进行如下控制：在所述摄像装置侧通信部接收到指示向所述显示装置发送图像数据的图像数据发送指示信号的情况下，经由所述摄像装置侧通信部将所述图像数据发送到所述显示装置。

7.根据权利要求5所述的摄像装置，其中，

所述摄像装置侧通信部具有：

摄像装置侧第1通信部，其向所述信息处理装置或所述显示装置发送图像数据；以及

摄像装置侧第2通信部，其按照与所述摄像装置侧第1通信部不同的通信标准，进行通信，接收所述协作指示信号。

8.一种显示装置，其分别与外部的摄像装置和信息处理装置进行通信，在所述显示装置中，具有：

显示装置侧状态检测部，其检测该显示装置的姿势；

显示装置侧状态判定部，其根据由所述显示装置侧状态检测部检测出的姿势，判定与显示装置的状态相关的信息；

显示装置侧通信部，其将所述显示装置侧状态检测部检测出的、与显示装置的状态相关的信息发送到所述信息处理装置；以及

显示装置侧通信控制部，其进行如下控制：在所述显示装置侧通信部从所述信息处理装置接收到指示与所述摄像装置协作的协作指示信号的情况下，建立与所述摄像装置之间的通信。

9.根据权利要求8所述的显示装置，其中，

所述显示装置侧通信控制部进行如下控制：在所述显示装置侧通信部接收到指示与所述摄像装置之间收发图像数据的信号的情况下，使所述显示装置侧通信部将请求所述图像数据的发送的图像数据发送请求信号发送到所述摄像装置。

10.根据权利要求8所述的显示装置，其中，

所述显示装置还具有显示装置侧输出部，所述显示装置侧输出部输出用户能够感知的信息，

在所述显示装置侧通信部从所述信息处理装置接收到指示输出所述能够感知的信息的输出指示信号的情况下，所述显示装置侧通信控制部使所述显示装置侧输出部输出所述能够感知的信息。

11.根据权利要求8所述的显示装置，其中，

所述显示装置侧通信部具有：

第1通信部，其接收由所述摄像装置发送的图像数据；以及

第2通信部，其按照与所述第1通信部不同的通信标准，进行通信，接收所述协作指示信号。

12.一种信息处理方法，其中，该信息处理方法具有如下步骤：

从摄像装置接收与所述摄像装置的运动状态或姿势状态相关的信息，从显示装置接收与所述显示装置的姿势状态相关的信息；

使用与所述摄像装置的状态相关的信息和与所述显示装置的状态相关的信息，判定所述摄像装置和所述显示装置是否处于能够协作的状态；以及

根据所述判定的结果，输出使所述摄像装置与所述显示装置之间利用通信进行协作的协作指示。

13.一种摄像装置的控制方法，所述摄像装置分别与外部的信息处理装置和显示装置进行通信，在所述摄像装置的控制方法中，具有如下步骤：

检测该摄像装置的运动或姿势；

根据所述运动或姿势，判定与摄像装置的状态相关的信息；

将与摄像装置的状态相关的信息发送到所述信息处理装置；以及

在从所述信息处理装置接收到指示与所述显示装置协作的协作指示信号的情况下，建立与所述显示装置之间的通信。

14.一种显示装置的控制方法，所述显示装置分别与外部的摄像装置和信息处理装置进行通信，在所述显示装置的控制方法中，具有如下步骤：

检测该显示装置的姿势；

根据所述姿势，判定与显示装置的状态相关的信息；

将与显示装置的状态相关的信息发送到所述信息处理装置；以及

在从所述信息处理装置接收到指示与所述摄像装置协作的协作指示信号的情况下，建立与所述摄像装置之间的通信。