1.本发明涉及信息终端装置及其应用动作模式控制方法。
背景技术：2.近年来，对于以智能电话、智能手表等为代表的信息终端装置，各种产品在市面销售，利用其的机会增加。另外，作为信息终端装置之一的佩戴到头部而收看信息的头戴式显示器装置(以下称为hmd：head mount display)在游戏用途、作业支援的领域中得到广泛应用。
3.在这些信息终端装置中动作的应用程序(以后称为应用)中，有具有由1个信息终端装置单独地动作的单独动作模式和与多个信息终端装置协作地动作的协作动作模式的例子。
4.作为本技术领域的背景技术，有专利文献1。专利文献1以提供能够在不降低安全性的情况下向协作目的地发送信息的信息处理系统为课题，公开了如下信息处理系统：一种信息处理系统，与终端装置和协作处理装置连接，执行将电子数据发送给协作目的地的协作处理，所述信息处理系统具备：协作目的地管理单元，管理用于确定可靠的协作目的地的信息；以及协作单元，根据所述用于确定可靠的协作目的地的信息，确认发送电子数据的协作目的地是否为可靠的协作目的地，在是可靠的协作目的地时，将所述协作处理装置管理的电子数据发送给所述协作目的地。
5.现有技术文献
6.专利文献
7.专利文献1：日本特开2014-178894号公报
技术实现要素：8.发明要解决的课题
9.在专利文献1中，未记载且未考虑在应用具有单独地动作的模式和协作地动作的模式的情况下简便地控制动作模式这一点。
10.本发明鉴于上述课题，其目的在于在进行与多个信息终端装置的协作动作的应用的动作模式控制中提高便利性。
11.用于解决课题的手段
12.本发明在举出其一个例子时，提供一种执行应用的信息终端装置，信息终端装置构成为根据应用的启动指示的方式，切换单独动作模式和协作动作模式而使应用启动。
13.发明的效果
14.根据本发明，能够提供能够在进行协作动作的应用的动作模式控制中提高便利性的信息终端装置及其应用动作模式控制方法。
附图说明
15.图1是实施例1中的进行与多个信息终端装置的协作动作的信息处理系统的结构示意图。
16.图2是示出实施例1中的信息终端装置的硬件结构的框图。
17.图3是实施例1中的信息终端装置的功能结构图。
18.图4是示出实施例1中的动作模式选择的处理概要的说明图。
19.图5是实施例1中的动作模式选择的处理流程图。
20.图6是实施例1中的应用图标的显示例。
21.图7是实施例1中的错误显示例。
22.图8是示出实施例3中的动作模式选择的处理概要的说明图。
23.图9是实施例3中的动作模式选择的处理流程图。
24.图10是实施例4中的动作模式选择的处理流程图。
25.图11是示出实施例5中的动作模式转移的处理概要的说明图。
26.图12是实施例5中的动作模式选择的处理流程图。
27.图13是示出实施例6中的动作模式转移的处理概要的说明图。
28.图14是示出实施例7中的动作模式转移的处理概要的说明图。
29.图15是示出实施例8中的动作模式转移的处理概要的说明图。
30.图16是实施例8中的动作模式选择的处理流程图。
31.图17是说明实施例9中的协作动作模式转移的概略图。
32.图18是说明实施例10中的协作动作模式转移的概略图。
33.图19是说明实施例11中的协作动作模式转移的概略图。
34.图20是实施例12中的信息处理系统的结构示意图。
具体实施方式
35.以下，使用附图来说明本发明的实施例。
36.实施例1
37.图1是本实施例中的进行与多个信息终端装置的协作动作的信息处理系统的结构示意图。在图1中，在进行协作动作的信息处理系统中，作为多个信息终端装置，具有智能电话(以后称为智能机)1(a)、hmd 1(b)以及智能手表1(c)。这些信息终端装置通过wi-fi(注册商标)、bluetooth(注册商标)等通信连接，选择协作所需的信息终端装置而协作。
38.图2是示出本实施例中的信息终端装置1的硬件结构的框图。在图2中，信息终端装置1由处理器(控制器)101、存储器102、传感器装置4、相机6、测距传感器7、显示设备50、通信设备80、声音输入装置81、声音输出装置82、操作输入装置83以及电池84构成。
39.处理器101是依照预定的动作程序来控制信息终端装置1整体的控制器。即，通过处理器解释并执行实现各个功能的动作程序，利用软件实现各个功能。
40.存储器102存储用于控制信息终端装置1的动作的控制程序31、应用程序32、应用管理信息33、坐标系信息34、显示信息35。
41.传感器装置4是用于检测信息终端装置1的位置、姿势的传感器群。传感器装置4例如由gps(global positioning system，全球定位系统)接收部、地磁传感器部、加速度传感
器部、陀螺仪传感器部等构成。通过这些传感器群，能够检测信息终端装置1的位置、倾斜、方位角、活动等。另外，也可以信息终端装置1还具备照度传感器、高度传感器、接近传感器等其他传感器。
42.相机6是通过使用ccd(charge coupled device，电荷耦合器件)、cmos(complementary metal oxide semiconductor，互补金属氧化物半导体)传感器等电子设备将从透镜输入的光变换为电信号来输入周围、对象物的图像数据的相机单元。
43.测距传感器7是能够掌握直至对象物的各点的距离的传感器，例如，如果是相位差方式(相移方式)，则将调制后的多个激光照射到对象物，利用返回来的漫反射成分的相位差测定与对象物的距离。
44.显示设备50是对信息终端装置1的用户提供图像数据的显示器，是液晶显示装置、例如使用了激光投影仪和半反射镜等的透射型显示器的显示设备。
45.通信设备80是由lan(wi-fi)通信部、移动通信部、bluetooth通信部等构成的通信部。
46.声音输入装置81是麦克风，将用户的声音等变换为声音数据而输入。声音输出装置82是扬声器、耳机，输出用户所需的声音信息等。
47.操作输入装置83是进行针对信息终端装置1的操作指示的输入的作为用户操作接口的指示输入部，具有sw类、电源键、音量键等操作键、触摸板等触摸传感器。此外，也可以还具备其他操作设备。
48.图3是本实施例中的信息终端装置的功能结构图。在图3中，在处理器101中，按照每个功能而记载了利用展开的动作程序执行的功能。即，具有：显示控制部101a，使用存储器102上的显示信息35进行显示设备50的显示控制；数据处理部101b，使用存储器102上的坐标系信息34进行数据处理；应用控制部101c，使用存储器102上的应用管理信息33进行应用控制；通信控制部101d，进行通信设备80的控制；数据取得部101e，取得来自传感器装置4、相机6、测距传感器7的数据；以及输入操作取得部101f，取得来自操作输入装置83的数据。
49.在本实施例中，在执行应用的信息终端装置中，根据应用的启动指示的方式，切换单独动作模式和协作动作模式而使应用启动。具体而言，作为应用启动指示的方式，根据是否为选择了协作对象的信息终端装置的状态下的启动指示，区分是单独的启动指示还是协作的启动指示。
50.图4是示出本实施例中的动作模式选择的处理概要的说明图。图4是hmd的显示画面51，示出hmd的视场。在显示画面51上，重叠显示了实际空间的影像和基于计算机的增强现实(ar：augmented reality)的生成图像(ar物体)。实际空间的影像是智能机1(a)，ar物体是hmd的应用图标52、53。
51.图4的(a)示出应用的动作模式为hmd和智能机的协作动作模式的选择，图4的(b)示出hmd单独动作模式的选择。
52.在图4的(a)中，十字形是hmd的指针54，如果在智能机1(a)的图像和应用图标52重叠的状态下通过指针54选择应用图标52，则与应用图标52对应的应用被选择为与智能机的协作动作模式。此外，应用图标52的周围的虚线55是表示指针54合对到应用图标52的状态的ar物体，也可以不是虚线，而是例如改变应用图标52的颜色。另外，同样地，智能机1(a)的
周围的虚线56是表示应用图标52与智能机1(a)的图像重叠的ar物体。
53.此外，在应用图标52、53中，右上所示的p、w表示成为与应用图标52、53对应的应用的协作对象的信息终端装置。p 57表示智能电话，w 58表示智能手表。另外，智能机的位置通过hmd的相机图像的图像识别来检测。
54.在图4的(b)中，在智能机1(a)的图像和应用图标52未重叠的状态下通过指针54选择应用图标52，所以与应用图标52对应的应用成为hmd单独动作模式。
55.图5是本实施例中的动作模式选择的处理流程图。图5是与图4对应的处理流程图，信息终端装置1x是hmd，信息终端装置1y是智能机。
56.在图5中，首先，在步骤s1a和s1b中，通过bluetooth等通信，确立成为协作对象的信息终端装置彼此的通信。即，确立hmd与智能机之间的通信。接下来，在s2a中，显示应用图标。即，如图6所示，显示在图4中说明的应用图标52，显示表示作为成为与应用图标52对应的应用的协作对象的信息终端装置的智能电话的p 57和表示智能手表的w 58。在此，对于w 58，用斜线表示电源为off的情况、由于不在身边等理由而无法确立通信的情况。此外，也可以代替斜线而改变颜色或者划出双重线。
57.然后，在s3a中，作为应用启动指示的识别，在通过指针54选择应用图标52时，识别是否为智能机的图像和应用图标52重叠的状态，在s4a中，如果不是重叠的状态，则进入到s5a，作为单独动作模式执行与应用图标52对应的应用。
58.另一方面，在s4a中，如果是重叠的状态，则设为是协作动作模式，进入到s6a。在s6a中，判断被选择为协作对象的信息终端装置能否协作。例如，如图6所示，在将无法确立通信的智能手表w 58选择为协作对象的情况、即、在使智能手表的图像和应用图标52重叠的状态下选择了应用图标52的情况下，无法进行协作，所以进入到s7a，进行错误显示。图7是错误显示的例子，与作为无法协作的消息一起进行是否以单独动作模式执行的确认。然后，在s8a中，如果是单独动作模式指示，则进入到s5a执行单独动作模式。另外，如果不是单独动作模式指示，则结束。此外，在选择了与无法协作的信息终端装置执行协作的情况下，也可以不显示错误而单独启动，还可以进行显示无法协作的错误显示但不进行确认而单独启动。此外，也可以准备多个在无法协作的情况下选择了执行协作的情况下的处理方法，能够预先通过用户设定来对信息终端装置设定进行哪个处理方法。
59.然后，在s6a中能够协作的情况下，进入到s9a，在s9a中对协作目的地的信息终端装置1y进行协作模式动作的请求，在信息终端装置1y侧，在s2b中接受该请求，在信息终端装置1x的s10a以及信息终端装置1y的s3b中分别执行协作动作模式的动作。
60.如以上所述，在本实施例中，在执行应用的信息终端装置中，根据是否作为通过在显示上使协作对象的信息终端装置与应用图标重叠而选择了协作对象的信息终端装置的状态进行了应用的启动指示，区分是单独的启动指示还是协作的启动指示。由此，能够简便地实现直观的动作模式的控制，能够在应用的启动动作中提高便利性。
61.实施例2
62.在实施例1中，作为应用启动指示的方式，根据是否在协作对象的信息终端装置的图像和应用图标重叠的状态下选择应用图标，区分是单独的启动指示还是协作的启动指示。相对于此，在本实施例中，说明以下例子：作为应用启动指示的方式，通过应用启动时的应用图标的在预定时间间隔以下连续的选择动作的次数(点击、敲击等)，区分是基于单独
动作模式的启动还是基于协作动作模式的启动。
63.在本实施例中，例如，在智能电话上的应用图标中，在单次敲击的情况下，是智能电话的单独动作模式，在双次敲击的情况下，设为与hmd的协作动作模式。此外，也可以通过三次敲击设为与智能手表的协作动作模式，通过四次的连续敲击设为与hmd、智能手表这两者的协作动作模式。
64.本实施例中的动作模式选择的处理流程图可以与图5相同，在图5中的步骤s3a中，作为应用启动指示的识别，在通过指针选择应用图标时，根据点击的选择次数，区分是单独动作模式还是协作动作模式。此外，在代替指针而通过手指的敲击(拇指和食指)进行选择的情况下，根据敲击数，区分是单独动作模式还是协作动作模式。
65.如以上所述，在本实施例中，在执行应用的信息终端装置中，根据应用启动时的应用图标的连续的选择次数，区分是单独的启动指示还是协作的启动指示。由此，能够简便地实现直观的动作模式的控制，能够在应用的启动动作中提高便利性。
66.实施例3
67.在实施例1中，通过选择作为执行应用的信息终端装置的hmd侧的应用图标，进行了是单独还是协作的启动指示。相对于此，在本实施例中，说明通过选择显示于协作对象的信息终端装置的应用图标来进行协作动作模式下的启动指示的例子。
68.图8是示出本实施例中的动作模式选择的处理概要的说明图。在图8中，与图4同样地示出hmd的显示画面51，与图4相同的结构附加相同的符号，省略其说明。在图8中，与图4不同的点是应用图标60为显示于智能机上的智能机的应用图标这一点。
69.在图8中，在通过hmd的指针54选择智能机的应用图标60时，将与应用图标60对应的应用选择为与hmd的协作候补。此外，应用图标60的周围的虚线59是表示应用图标60通过指针54成为选择候补的hmd的ar物体。
70.此外，在应用图标60中，右上所示的h、w表示成为与应用图标60对应的应用的协作对象的信息终端装置。h 61表示hmd，w 62表示智能手表。另外，对于w 62，用斜线表示是无法确立通信的情况等无法进行与智能手表的协作动作的状态。此外，也可以代替斜线而改变颜色或者划出双重线。另外，智能机上的应用图标由hmd利用图像识别来确定。
71.图9是本实施例中的动作模式选择的处理流程图。图9是与图8对应的处理流程图，信息终端装置1x是智能机，信息终端装置1y是hmd。在图9中，与图5相同的步骤附加相同的符号，省略其说明。在图9中，与图5不同的点是信息终端装置1x为智能机且信息终端装置1y为hmd这一点、以及协作候补指示识别s10b、协作候补指示识别s10a、应用启动指示识别s11a不同这一点。
72.在图9中，针对智能机进行用户的启动指示。即，当信息终端装置1y(hmd)在步骤s10b中通过用户操作使指针54重叠到智能机上的应用图标60时，通过图像识别来识别与应用图标60对应的应用成为协作候补。接下来，信息终端装置1y将协作对象应用的信息通知给信息终端装置1x(智能机)，信息终端装置1x在步骤s10a中识别与应用图标60对应的应用成为协作候补。接下来，信息终端装置1x在步骤s11a中通过针对应用图标的敲击等识别应用的启动指示。在识别启动指示后，信息终端装置1x的控制在有启动指示的应用成为与信息终端装置1y的协作候补的情况下从步骤s4a分支到s6a，在不是协作候补的情况下从步骤s4a分支到s5a。以下与图5中的流程相同。
73.另外，在信息终端装置1x是智能手表的情况下，图标变小，所以在显示了多个图标的情况下，存在成为对象的图标被隐藏而难以选择这样的问题。相对于此，如果如本实施例那样使用hmd的指针预先选择成为候补的图标，并且如果敲击位置的偏移是预先决定的容许范围内，则解释为是向通过hmd的指针选择的应用的启动指示，从而信息终端装置1x中的图标选择变得容易。在该情况下，即使为了单独动作而使用该方法，也同样地得到操作性改善的效果。
74.另外，关于是单独启动指示还是协作启动指示，也可以除了作为对象的应用成为协作对象以外，例如在信息终端装置1x中的选择为手指的敲击的情况下，如果是单次敲击则以单独启动的方式进行，如果是双次敲击则以协作启动的方式进行。
75.如以上所述，在本实施例中，在进行应用的启动指示的信息终端装置中，根据从协作对象的信息终端装置将应用图标选择为协作候补应用，进行协作动作模式下的启动指示。由此，能够简便地实现直观的动作模式的控制，能够在应用的启动动作中提高便利性。
76.实施例4
77.在实施例3中，在进行应用的启动指示的信息终端装置中，通过选择显示于协作对象的信息终端装置(智能机)的应用图标，智能机进行与该应用图标对应的应用的协作模式动作请求(s9a)。相对于此，在本实施例中，说明由hmd进行应用的协作模式动作请求的例子。
78.图10是本实施例中的动作模式选择的处理流程图。在图10中，与图5相同的步骤附加相同的符号，省略其说明。在图10中，与图5不同的点是图标显示设定s11b和应用启动指示识别s12a不同这一点。
79.在图10中，信息终端装置1x是hmd，信息终端装置1y是智能机。
80.在s11b中，智能机显示应用图标。在s12a中，hmd通过利用hmd的指针54在图像上选择显示于智能机上的应用图标，启动hmd上的相同应用。
81.启动的模式既可以是hmd单独动作，也可以是hmd和智能机的协作动作。单独和协作的切换与实施例2相同。
82.另外，在信息终端装置1y是智能手表的情况下，图标变小，所以在显示了多个图标的情况下，存在图标被手指隐藏而难以选择这样的问题。相对于此，在如本实施例那样在hmd侧选择图标时，图标的选择变得容易。
83.如以上所述，在本实施例中，通过在进行应用的启动指示的信息终端装置中选择显示于协作对象的信息终端装置的应用图标，在进行应用的启动指示的信息终端装置中进行协作动作模式下的应用启动。由此，能够简便地实现直观的动作模式的控制，能够在应用的启动动作中提高便利性。
84.实施例5
85.在以上说明的实施例1至4中，根据应用启动指示的方式，切换单独动作模式和协作动作模式而使应用启动。在本实施例中，说明在应用启动后通过选择希望作为协作对象的信息终端装置来转移到与该信息终端装置的协作动作模式的例子。
86.图11是示出本实施例中的动作模式转移的处理概要的说明图。在图11中，与图4同样地示出hmd的显示画面51，与图4相同的结构附加相同的符号，省略其说明。在图11中，与图4不同的点是hmd上的应用已启动这一点。
87.在图11中，在应用启动后，为了选择希望作为协作对象的信息终端装置，在使hmd的指针54与智能机1(a)的图像重叠时，已启动的应用被选择为与智能机的协作动作模式。此外，智能机1(a)的周围的虚线56是表示智能机1(a)成为选择候补的hmd的ar物体。
88.作为本实施例的利用例，例如，在hmd中，如果是显示某个ar物体并调整其位置等简单的处理，则hmd单独动作模式下的动作就足够了，但在希望进行ar物体的变形的情况等进行高级的编辑的情况下，考虑通过在输入功能高的智能机中以协作动作模式启动应用并利用智能机进行输入操作来使操作变得容易这样的情况。
89.图12是本实施例中的动作模式选择的处理流程图。在图12中，与图5相同的步骤附加相同的符号，省略其说明。在图12中，与图5不同的点是应用单独启动指示识别s21a、单独模式动作执行s22a、应用协作启动指示识别s23a不同这一点。
90.在图12中，信息终端装置1x是hmd，在s21a中识别应用单独启动指示，在s22a中执行单独模式动作。然后，在应用协作启动指示识别s23a中，在使hmd的指针54重叠到智能机1(a)的图像时，识别为选择了智能机1(a)，识别为hmd和智能机1(a)的协作动作模式指示，进入到s6a。
91.如以上所述，在本实施例中，能够在应用启动后通过选择希望作为协作对象的信息终端装置而转移到与该信息终端装置的协作动作模式，能够简便地实现直观的动作模式的控制，能够提高便利性。
92.实施例6
93.在实施例5中，在hmd的指针与希望协作的信息终端装置的重叠状态下转移到协作动作模式。相对于此，在本实施例中，说明通过代替指针而探测在hmd中显示的ar物体与希望协作的信息终端装置的重叠来转移到协作动作模式的例子。
94.图13是示出本实施例中的动作模式转移的处理概要的说明图。在图13中，与图11相同的结构附加相同的符号，省略其说明。在图13中，与图11不同的点是在代替hmd的指针54而使显示于hmd的ar物体63与智能机1(a)的图像重叠时将已启动的应用选择为与智能机的协作动作模式这一点。
95.根据本实施例，能够不依赖于hmd的指针的位置而针对显示该ar物体的应用将希望协作的信息终端装置作为协作动作模式启动并执行协作动作。因此，例如，在希望进行ar物体的加工的情况下，如本实施例那样，在通过探测ar物体与希望协作的信息终端装置的重叠而按照协作动作模式启动智能机的情况下，能够确定希望利用智能机进行加工操作的ar物体，所以具有能够立即开始进行针对ar物体的加工这样的效果。
96.此外，也可以在1次的重叠时不启动协作动作模式而在2次连续的重叠时启动协作动作模式。
97.实施例7
98.在本实施例中，首先说明在智能机中应用以单独动作模式启动的情况。
99.图14是示出本实施例中的动作模式转移的处理概要的说明图。在图14中，与图11相同的结构附加相同的符号，省略其说明。在图14的(a)中，在智能机1(a)中启动地图应用，用户在佩戴hmd的状态下操作智能机，在敲击“e”这样的建筑物时，hmd利用相机进行识别，hmd内的应用以协作动作模式启动。hmd中的动作例如是如图14的(b)所示将外界的“e”这样的建筑物放大显示并重叠ar物体65的动作。
100.此外，智能机1(a)的周围的虚线56是表示hmd检测视线且如果有协作对象的信息终端装置则识别并选择的ar物体。
101.另外，在智能机应用中的操作中，也可以限定在能够协作时以协作动作模式启动hmd应用的操作。例如，也可以在滚动时不启动hmd应用，还可以在单次敲击时原样地保持智能机应用的单独动作，在双次敲击时进行hmd应用的启动。
102.根据本实施例，在智能机中应用以单独动作模式启动的情况下，通过在佩戴hmd的状态下拍摄智能机的操作，hmd内的应用能够以协作动作模式启动执行。
103.实施例8
104.在本实施例中，说明进行应用的单独执行的信息终端装置以外的信息终端装置进行协作动作指示的情况。
105.图15是示出本实施例中的动作模式转移的处理概要的说明图。在图15中，与图11相同的结构附加相同的符号，省略其说明。在图15中，在智能机1(a)中执行地图应用的过程中，在使hmd的指针54合对到建筑物“e”并做出协作动作指示时，与智能机开始进行协作动作，进行与实施例7同样的动作。
106.图16是本实施例中的动作模式选择的处理流程图。在图16中，与图12相同的步骤附加相同的符号，省略其说明。在图16中，与图12不同的点是信息终端装置1x为智能机并且信息终端装置1y为hmd这一点、以及在信息终端装置1x中协作请求应对s31a以后的处理、在信息终端装置1y中应用协作启动指示识别s31b以后的处理不同这一点。
107.在图16中，以在步骤s22a中智能机执行单独模式动作为前提，在步骤s31b中，hmd通过使指针合对到智能机的应用画面等识别应用协作启动指示，在s32b中对信息终端装置1x的智能机进行协作模式动作请求，进入到s33b。智能机在s31a中接受该请求，进入到s32a。在s32a中，在由于不是能够进行协作动作的应用等理由而无法进行协作动作的情况下，进入到s34a，继续进行智能机中的单独模式动作。在s32a中，在协作动作模式接受ok的情况下，进入到s33a，执行协作动作模式的动作。
108.另外，hmd在s33b中在与s32a同样地由于不是能够进行协作动作的应用等理由而无法进行协作动作的情况下进入到s35b，进行错误显示。在s33b中，在协作动作模式接受ok的情况下，进入到s34b，执行协作动作模式的动作。
109.根据本实施例，在应用以单独动作模式启动的情况下，进行应用的单独执行的信息终端装置以外的信息终端装置能够进行协作动作指示。
110.实施例9
111.在本实施例中，说明某个信息终端装置单独地执行应用之后启动协作动作模式的情况的具体例。
112.图17是说明本实施例中的协作动作模式转移的概略图。图17示出在hmd中进行qr码(注册商标)结算的例子，图17的(a)示出hmd的显示画面51即hmd的视场。另外，显示结束支付的时间点即“支付完成”的文字和成为结算结束的证据的关键码。在该状态下，当使智能手表1(c)进入到hmd的视场并在hmd中进行选择动作或者通过敲击智能手表等在智能手表中进行选择动作时，在智能手表中相同的应用也以协作动作模式启动，如图17的(b)所示，在智能手表上也显示关键码。在本实施例中，在无法向外部提示信息的hmd的情况下，能够通过该协作动作，通过智能手表对店员提示关键码。
113.此外，智能手表1(c)的周围的虚线56是表示hmd识别并选择了协作对象的智能手表的ar物体。
114.另外，在图17的(a)中，在作为希望显示于手表的信息的关键码的位置重叠hmd的视场内的智能手表的位置，但在该应用的执行场景中，在确定了显示于智能手表的信息的情况下，智能手表的位置只要处于hmd的视场内则哪里都可以。相反，在智能手表中希望显示的信息有多个的情况下，如图17的(a)所示，使智能手表的位置合对到显示该信息的位置而进行选择动作即可。
115.实施例10
116.在本实施例中，说明在实施例9中进行协作的应用在一方的信息终端装置中也可以是专门显示的应用的例子。
117.在图17中，在智能手表侧启动的应用是用于在智能手表中显示hmd的显示内容的应用，也可以能够与各种各样的hmd侧的应用进行协作。
118.在该情况下，如图17的(a)所示，在使智能手表外观重叠到显示于hmd的信息中的希望显示于智能手表的部分并进行选择动作时，该信息如图17的(b)所示显示于智能手表。
119.另一方面，如图18所示，也可以在hmd上显示信息的索引，使智能手表外观重叠到该部分，以协作动作模式启动智能手表的应用，显示对应的信息(在此为qr码)。在此是在智能手表上显示在店铺侧接受扫描的qr码的例子。
120.实施例11
121.在本实施例中，说明在实施例9中协作动作的功能也可以是显示以外的功能的例子。
122.图19是说明本实施例中的协作动作模式转移的概略图。在图19中，与图17相同的结构附加相同的符号，省略其说明。
123.图19示出智能手表1(c)作为nfc(near field communication，近场通讯)内置卡发挥功能的例子。如图19的(a)所示，通过在hmd的显示画面中示出的卡名位置重叠智能手表外观并进行选择动作，智能手表侧的协作应用启动。选择动作既可以在hmd侧进行也可以在智能手表侧进行。重叠到卡名的虚线的框69是表示该卡成为选择候补的ar物体。
124.在智能手表外观重叠多个hmd的显示项目的情况下，选择更接近智能手表外观的预定位置(例如中心位置)的显示项目。
125.如图19的(b)所示，智能手表能够启动在图19的(a)中与卡b对应的协作应用，使用该智能手表例如进行与读卡器90的交互而进行支付。
126.实施例12
127.图20是对图1追加了服务器1000的本实施例中的信息处理系统的结构示意图。
128.在本实施例中，如图20所示，设为在上述全部实施例中在智能电话1(a)、hmd 1(b)、智能手表1(c)的各个信息终端装置之间不仅通过直接通信进行协作控制而且还经由服务器1000进行信息的发送接收或者协作控制的信息处理系统。另外，各信息终端装置也可以通过适当通信取得并使用储存于服务器1000上的应用以及文件、数据。另外，也可以代替通过上述各实施例选择应用的执行的信息终端装置，而是服务器1000在服务器1000上执行应用并将执行信息提供给信息终端装置。即，服务器1000进行多个信息终端装置之间的通信媒介或者应用的代理执行。
129.此外，服务器1000能够经由通信与各信息终端装置连接而进行协作动作的控制、应用的执行即可，例如是本地服务器、云服务器、边缘服务器、网络服务等，其形态没有限制。
130.以上说明了实施例，但上述实施例是为了易于理解地说明本发明而详细说明的例子，不一定具备所说明的所有结构。另外，能够将某个实施例的结构的一部分置换为其他实施例的结构，另外，还能够对某个实施例的结构添加其他实施例的结构。另外，能够对各实施例的结构的一部分进行其他结构的追加/删除/置换。
131.符号说明
132.1：信息终端装置，1(a)：智能电话(智能机)，1(b)：hmd(头戴式显示器装置)，1(c)：智能手表，101：处理器(控制器)，102：存储器，4：传感器装置，6：相机，7：测距传感器，50：显示设备，80：通信设备，51：hmd的显示画面，52、53：hmd的应用图标，54：hmd的指针，60：智能机的应用图标，63、65：ar物体，83：操作输入装置，90：读卡器，1000：服务器
技术特征：1.一种执行应用的信息终端装置，其特征在于，根据所述应用的启动指示的方式，切换单独动作模式和协作动作模式而使所述应用启动。2.根据权利要求1所述的信息终端装置，其特征在于，在基于所述启动指示的方式的控制中，判别在用户的视线方向上所述信息终端装置的显示内容和协作对象的第2信息终端装置的外观是否重叠而进行所述应用的启动控制。3.根据权利要求1所述的信息终端装置，其特征在于，在所述启动指示的方式中，所述应用的启动指示是应用图标的选择，是在预定时间间隔以下连续的选择动作的次数。4.根据权利要求1所述的信息终端装置，其特征在于，通过与所述应用的启动指示同时进行作为协作对象的第2信息终端装置的选择指示，以协作动作模式使所述应用启动。5.根据权利要求2所述的信息终端装置，其特征在于，所述信息终端装置的显示内容是应用图标，该应用图标包括成为协作对象的第2信息终端装置的标记和该第2信息终端装置是否为能够协作状态的标记。6.一种执行应用的信息终端装置，其特征在于，通过由协作对象的第2信息终端装置选择显示于该信息终端装置的应用图标，以协作动作模式使所述应用启动。7.一种执行应用的信息终端装置，其特征在于，通过选择显示于协作对象的第2信息终端装置的应用图标，利用协作动作模式使所述应用启动。8.一种执行应用的信息终端装置，其特征在于，通过在所述应用的启动后进行作为协作对象的第2信息终端装置的选择指示，开始进行与该第2信息终端装置的协作动作模式。9.根据权利要求8所述的信息终端装置，其特征在于，判别在用户的视线方向上所述信息终端装置的指针和所述第2信息终端装置的外观是否重叠而进行所述选择指示。10.根据权利要求8所述的信息终端装置，其特征在于，判别在用户的视线方向上所述信息终端装置的显示内容和所述第2信息终端装置的外观是否重叠而进行所述选择指示。11.一种信息终端装置的应用动作模式控制方法，其特征在于，根据应用的启动指示的方式，切换单独动作模式和协作动作模式而使所述应用启动。12.根据权利要求11所述的信息终端装置的应用动作模式控制方法，其特征在于，在基于所述启动指示的方式的控制中，判别在用户的视线方向上所述信息终端装置的显示内容和协作对象的第2信息终端装置的外观是否重叠而进行所述应用的启动控制。13.根据权利要求11所述的信息终端装置的应用动作模式控制方法，其特征在于，在所述启动指示的方式中，所述应用的启动指示是应用图标的选择，是在预定时间间隔以下连续的选择动作的次数。14.一种信息处理系统，其特征在于，具备具有应用的执行功能的多个信息终端装置以
及具有控制所述多个信息终端装置之间的协作的功能的服务器，所述信息终端装置根据所述应用的启动指示的方式，经由服务器切换单独动作模式和协作动作模式而使所述应用启动。15.一种信息处理系统中的服务器，该信息处理系统具备具有应用的执行功能的多个信息终端装置以及具有控制所述多个信息终端装置之间的协作的功能的所述服务器，所述服务器的特征在于，在所述信息终端装置根据所述应用的启动指示的方式切换单独动作模式和协作动作模式而控制所述应用的启动时，进行所述多个信息终端装置之间的通信得媒介或者应用的代理执行。
技术总结目的在于提供在进行与多个信息终端装置的协作动作的应用的动作模式控制中提高便利性的信息终端装置及其应用动作模式控制方法。为此，一种执行应用的信息终端装置，构成为根据应用的启动指示的方式，切换单独动作模式和协作动作模式而使应用启动。协作动作模式而使应用启动。协作动作模式而使应用启动。
技术研发人员：桥本康宣 吉泽和彦 高见泽尚久
受保护的技术使用者：麦克赛尔株式会社
技术研发日：2020.03.12
技术公布日：2022/11/1
