用于多媒体会议的场景描述的信令
1.相关申请
2.本技术要求于2020年3月17日提交的名称为“signaling of scene description for multimedia conferencing”的美国临时申请第62/990,895号的优先权,其全部内容据此通过引用方式并入本文以用于所有目的。
背景技术:3.长期演进(lte)、第五代(5g)新无线电(nr)和其他最近开发的通信技术允许无线设备以比数年前可用的高出几个数量级的数据速率(例如,以每秒千兆比特等为单位)传送信息。
4.现今的通信网络也更为安全、对多路径衰落有弹性、允许更低的网络流量延迟、提供更好的通信效率(例如,在所使用的每单位带宽每秒的比特等方面)。这些改进以及其他最近的改进促进了物联网(iot)、大规模机器对机器(m2m)通信系统、自动驾驶汽车和其他依赖于一致和安全通信的技术的出现。
5.近年来,将来自用户物理环境的真实世界图像与计算机生成的图像或虚拟对象(vo)相结合的增强现实软件应用程序越来越受欢迎和被使用。增强现实软件应用程序可以将图形、声音和/或触觉反馈添加到应用程序用户周围的自然世界。关于人和/或物体图像、视频流和的信息可以作为可穿戴电子显示器或头戴式设备(例如智能眼镜、增强现实眼镜等)上的增强场景呈现给用户,叠加在视觉世界上。
技术实现要素:6.各个方面包括用于提供沉浸式三维群组会话的系统和方法。各种实施例包括利用可能来自不同方的媒体部件用信号发送场景的描述的方法和设备。在各个方面,可以在会话发起协议(sip)会话建立期间通过会话描述协议(sdp)用信号发送场景图。在各个方面,场景图可以包括被分配为由沉浸式三维群组会话中的多个参与者计算设备中的每一个控制的相应图形输出节点。各个方面可以由作为在沉浸式三维群组会话中操作的多个参与者计算设备之一的无线设备的处理器来执行。各个方面可以包括:接收用于沉浸式三维群组会话的场景图,其中该场景图至少包括被分配为由无线设备控制的自有图形输出节点和被分配为由多个参与者计算设备中的其他参与者计算设备中的每一个控制的相应其他图形输出节点;相对于沉浸式三维群组会话的三维空间控制自有图形输出节点的部件;在第一媒体流中向多个参与者计算设备中的其他参与者计算设备发送自有图形输出节点的部件;在来自多个参与者计算设备中的其他参与者计算设备中的每一个的媒体流中接收其他图形输出节点的部件;以及至少部分地基于自有图形输出节点的部件和其他图形输出节点的部件在无线设备的显示器上呈现沉浸式三维群组会话。
7.一些方面还可以包括:接收场景图更新,该场景图更新包括用于沉浸式三维群组会话的新参与者计算设备的指示和被分配为由新参与者计算设备控制的新图形输出节点的指示;在来自新参与者计算设备的第二媒体流中接收新图形输出节点的部件;以及至少
部分地基于自有图形输出节点的部件、其他图形输出节点的部件以及新图形输出节点的部件在无线设备的显示器上呈现沉浸式三维群组会话。
8.一些方面还可以包括接收用于沉浸式三维群组会话的会话描述协议(sdp),该会话描述协议(sdp)指示将在其上共享场景图的数据信道的地址,其中接收场景图包括经由数据信道下载场景图。
9.一些方面还可以包括作为用于沉浸式三维群组会话的会话发起协议(sip)设置的一部分,向多个参与者计算设备中的其他参与者计算设备发送要发送或接收场景图的提议。
10.一些方面还可以包括向多个参与者计算设备中的其他参与者计算设备发送要发送或接收场景图的提议,其中该提议指示自有图形输出节点。
11.在一些方面,沉浸式三维群组会话是网络实时通信(webrtc)会话。
12.在一些方面,相对于沉浸式三维群组会话的三维空间控制自有图形输出节点的部件可以包括至少部分地基于所确定的无线设备相对于沉浸式三维群组会话的三维空间的位置来控制自有图形输出节点的部件。
13.在一些方面,至少部分地基于所确定的无线设备相对于沉浸式三维群组会话的三维空间的位置来控制自有图形输出节点的部件可以包括至少部分地基于所确定的无线设备相对于沉浸式三维群组会话的三维空间的位置以及所确定的无线设备相对于沉浸式三维群组会话的三维空间的取向来控制自有图形输出节点的部件。
14.进一步的方面可以包括一种无线设备,其具有被配置为执行以上所概述方法中任一种的一个或多个操作的处理器。进一步的方面可以包括其上存储有处理器可执行指令的非暂时性处理器可读存储介质,该处理器可执行指令被配置为使无线设备的处理器执行以上所概述方法中任一种的操作。进一步的方面包括具有用于执行以上所概述方法中任一种的功能的组件的无线设备。进一步的方面包括一种用于在无线设备中使用的片上系统,该无线设备包括被配置为执行以上所概述方法中任一种的一个或多个操作的处理器。进一步的方面包括一种系统级封装,其包括用于在无线设备中使用的两个片上系统,该无线设备包括被配置为执行以上所概述方法中任一种的一个或多个操作的处理器。
附图说明
15.并入本文中并构成本说明书的一部分的附图示出了权利要求的示例性实施例,并且与上面给出的一般描述和下面给出的详细描述一起用于解释权利要求的特征。
16.图1a是示出适用于实现各种实施例的示例性通信系统的系统框图。
17.图1b是可以实现各种实施例的头戴式设备(例如,增强现实眼镜)的图示。
18.图2是示出适用于实现各种实施例的示例计算和无线调制解调器系统的部件框图。
19.图3是示出根据各种实施例的包括用于无线通信中的用户和控制平面的无线电协议栈的软件架构的示例的图。
20.图4是示出根据各种实施例的用于在电话会议或远程呈现会话中支持沉浸式体验的方法的过程流程图。
21.图5是示出根据各种实施例的用于在电话会议或远程呈现会话中支持沉浸式体验
的方法的过程流程图。
22.图6示出了gltf 2.0中的场景图文档的布置。
23.图7示出了场景图的结构。
24.图8是示出根据各种实施例的用来在电话会议或远程呈现会话中支持沉浸式体验的操作的呼叫流程图。
25.图9是示出根据各种实施例的用于提供沉浸式三维群组会话的方法的过程流程图。
26.图10是示出根据各种实施例的用于提供沉浸式三维群组会话的方法的过程流程图。
27.图11是适用于实现各种实施例的示例服务器的部件框图。
28.图12是适用于实现各种实施例的无线设备的部件框图。
具体实施方式
29.将参照附图详细描述各种实施例。只要有可能,在整个附图中将使用相同的附图标记来指代相同的或相似的部分。对特定示例和具体实施的引用是出于例示说明目的,并不旨在限制权利要求的范围。
30.各种实施例可以实现用于多个参与者计算设备的沉浸式三维群组会话,其中场景图可以包括被分配为由沉浸式三维群组会话中的多个参与者计算设备中的每一个控制的相应图形输出节点。各种实施例可以使多个参与者计算设备能够在沉浸式三维群组会话中彼此共享它们相应分配的图形输出节点的部件的媒体流。通过在沉浸式三维群组会话中分配每个参与者计算设备对其自有的相应图形输出节点的控制并在参与者计算设备之间共享图形输出节点的部件的媒体流,各种实施例可以支持呈现具有共享三维空间的沉浸式三维群组会话,其中每个参与者计算设备在共享三维空间中控制其相应的三维对象。
31.本文使用的术语“无线设备”是指无线路由器设备、无线电器、蜂窝电话、智能手机、便携式计算设备、个人或移动多媒体播放器、膝上型计算机、平板电脑、智能本、超极本、掌上电脑、无线电子邮件接收器、支持多媒体互联网的蜂窝电话、医疗设备和装备、生物识别传感器/设备、可穿戴设备(包括智能手表、智能服装、智能眼镜、智能腕带,智能珠宝(例如,智能戒指和智能手环等))、娱乐设备(例如,无线游戏控制器、音乐和视频播放器、卫星收音机等)、支持无线网络的物联网(iot)设备(包括智能仪表/传感器)、工业制造装备、家用或企业使用的大型和小型机械和电器、自主和半自主车辆内的无线通信元件、附加到或结合到各种移动平台的无线设备、全球定位系统设备以及包括存储器、无线通信部件和可编程处理器的类似电子设备。
32.各种实施例可以在能够发送和接收根据电气和电子工程师协会(ieee)16.11标准或任何ieee 802.11标准、标准(例如蓝牙4、蓝牙5等)、码分多址(cdma)、频分多址(fdma)、时分多址(tdma)、全球移动通信系统(gsm)、gsm/通用分组无线业务(gprs)、增强型数据gsm环境(edge)、陆地集群无线电(tetra)、宽带-cdma(w-cdma)、演进数据优化(ev-do)、1xev-do、ev-do reva、ev-do revb、高速分组接入(hspa)、高速下行链路分组接入(hsdpa)、高速上行链路分组接入(hsupa)、演进的高速分组接入(hspa+)、长期演进(lte)、amps的rf信号或用于在无线、蜂窝或物联网(iot)网络中进行通信的其他已知信号(诸如
ieee 802.15.4协议(例如thread、zigbee和z-wave)、6lowpan、蓝牙低功耗(ble)、lte机器类型通信(lte mtc)、窄带lte(nb-lte)、蜂窝物联网(ciot)、窄带物联网(nb-iot)、bt smart、wi-fi(例如wi-fi nan等)、lte-u、lte-direct、multefire,以及相对扩展范围广域物理层接口(phy),诸如随机相位多址(rpma)、超窄带(unb)、低功率长距离(lora)、低功率长距离广域网(lorawan)、weightless)的设备中,或使用3g、4g或5g、蜂窝v2x或其进一步具体实施、技术的系统中实现。
33.术语“片上系统”(soc)在本文中用于指包含集成在单个基板上的多个资源和/或处理器的单个集成电路(ic)芯片。单个soc可以包含用于数字、模拟、混合信号和射频功能的电路。单个soc还可以包括任意数量的通用和/或专用处理器(数字信号处理器、调制解调器处理器、视频处理器等)、存储器块(例如rom、ram、闪存等)和资源(例如定时器、电压调节器、振荡器等)。soc还可以包括用于控制集成资源和处理器以及用于控制外围设备的软件。
34.术语“系统级封装”(sip)在本文中可用于指在两个或更多个ic芯片、基板或soc上包含多个资源、计算单元、核和/或处理器的单个模块或封装。例如,sip可以包括单个基板,在该基板上以垂直配置堆叠多个ic芯片或半导体管芯。类似地,sip可以包括一个或多个多芯片模块(mcm),多个ic或半导体管芯在其上封装成统一基板。sip还可以包括多个独立的soc,这些soc经由高速通信电路耦合在一起并紧密封装,诸如在单个主板上或在单个无线设备中。soc的邻近有利于高速通信以及存储器和资源的共享。
35.本文描述的各种实施例使用术语“服务器”来指代能够用作服务器的任何计算设备,诸如主交换服务器、网络服务器、邮件服务器、文档服务器、内容服务器或任何其他类型的服务器。服务器可以是专用计算设备或包括服务器模块的计算设备(例如,运行可以使计算设备作为服务器操作的应用程序)。服务器模块(例如,服务器应用程序)可以是全功能服务器模块,或者被配置为在接收器设备上的动态数据库之间提供同步服务的轻型或辅助服务器模块(例如,轻型或辅助服务器应用程序)。轻型服务器或辅助服务器可以是服务器类型功能的精简版本,其可以在接收器设备上实现,从而仅在必要的范围内使其能够用作互联网服务器(例如,企业电子邮件服务器)以提供本文描述的功能。
36.短语“头戴式设备”和首字母缩略词(hmd)在本文中用于指代任何可穿戴并为用户呈现至少一些计算机生成的图像的电子显示系统。hmd可以只呈现计算机生成的图像,或者计算机生成的图像和来自用户物理环境的真实世界图像(即,用户在不戴眼镜的情况下所看到的)的组合。hmd可以使用户能够在真实世界场景的背景下查看所生成的图像。头戴式设备的非限制性示例包括或可以被包括在头盔、眼镜、虚拟现实眼镜、增强现实眼镜、电子护目镜和其他类似技术/设备中。头戴式设备可以包括各种硬件元件,诸如处理器、存储器、显示器、一个或多个相机(例如,世界视角相机、凝视视角相机等),以及用于与互联网、网络或其他计算设备进行连接的无线接口。在一些实施例中,头戴式设备处理器可以被配置为执行或运行增强现实软件应用程序。
37.在一些实施例中,头戴式设备可以是用于无线设备(例如,台式计算机、膝上型电脑、智能手机、平板电脑等)的附件和/或从无线设备接收信息,所有或部分处理在该无线设备的处理器上执行。因此,在各种实施例中,头戴式设备可以被配置为在头戴式设备中的处理器上本地执行所有处理、将所有主处理卸载到另一个计算设备(例如,与头戴式设备存在于同一房间中的膝上型电脑等)中的处理器,或将主要处理操作在头戴式设备中的处理器
和其他计算设备中的处理器之间拆分。在一些实施例中,其他计算设备中的处理器可以是“云”中的服务器,头戴式设备或相关无线设备中的处理器经由网络连接(例如,到互联网的蜂窝网络连接)与之进行通信。
38.远程呈现服务变得越来越强大,允许将多个对象合成到单个沉浸式环境中使得会议的参与者可以更自由地导航和交互。当前的会话描述协议(sdp)在支持描述丰富的组合方面受到限制,并且不提供任何工具来支持沉浸式远程呈现环境。一种特定类型的远程呈现或电话会议的具体实施是沉浸式的三维群组会话。在沉浸式三维群组会话中,会话中的每个参与者计算设备可以在其相应的显示器上呈现会话的三维图形显示,从而使得为沉浸式三维群组会话中的每个参与者用户呈现沉浸式三维群组会话的三维空间的虚拟现实(vr)视图。表示沉浸式三维群组会话的参与者的三维对象(诸如化身、角色等)可以被每个参与者观看并且看起来是在沉浸式三维群组会话的三维空间内移动。
39.支持沉浸式电话会议和远程终端远程呈现(itt4rt)是一项正在开发的标准,以便于沉浸式多计算设备虚拟现实(vr)视频会议,诸如沉浸式三维群组会话。itt4rt用例包括所捕获的vr视频的合成,例如来自会议室,以及其他内容,诸如二维(2d)视频幻灯片等。与itt4rt相关的工作项目描述表明itt4rt正在努力实现具有双向音频和单向沉浸式视频的场景,例如,佩戴hmd的远程单个用户参加会议将发送音频和任选的2d视频(例如,演示、屏幕共享和/或用户本身的捕获)。
40.vr场景的复杂性对传统的会话描述协议(sdp)信令提出了挑战,并且可能很快变得难以管理,诸如当许多远程用户在场景中共享和合成它们自己的内容时。sdp根本不是为了携带场景描述信息而设计的。各种实施例通过提供基于场景描述的实施例解决方案以支持合成和覆盖来提供对这些问题的解决方案。各种实施例提供了利用可能来自不同方的媒体部件用信号发送场景的描述的方法和设备。在各种实施例中,可以在会话发起协议(sip)会话建立期间通过sdp用信号发送场景描述。在各种实施例中,场景描述可以链接到会话中的其他媒体流,例如,以利用它们作为沉浸式会议场景中的覆盖的纹理等。
41.场景图是有向无环图,通常只是简单的树结构,其表示场景几何结构的基于对象的层次结构。图的叶节点表示几何图元,诸如多边形。图中的每个节点都包含指向其子节点的指针。除其他外,子节点可以是一组其他节点、几何元素、变换矩阵等。空间变换被附加到图的节点并由变换矩阵表示。这种场景图结构具有降低处理复杂性的优点,诸如在遍历图进行呈现时。由图表示简化的示例操作是剔除操作,其中如果认为父节点的空间不可见或与当前视锥体的呈现不相关,那么图的分支将从处理中删除(称为细节层次剔除)。场景图可以包括各种类型的节点,诸如视觉输出节点、音频源节点、图形输出节点、共享内容节点等。作为具体示例,图形输出节点可以定义要在由场景图定义的三维空间中输出的三维对象。
42.图形库(gl)传输格式(tf)(gltf)2.0(gltf 2.0)是由khronos开发的用于实现基于物理的呈现的新标准。gltf 2.0提供了对场景图的紧凑和低级表示。gltf 2.0提供了场景图表示的扁平层次结构以简化处理。gltf 2.0场景图以javascript对象表示法(json)表示以便于在网路环境中的集成。gltf 2.0规范旨在消除表示中的冗余并提供对场景图中不同对象的有效索引。动态图像专家组(mpeg)正在开发gltf 2.0的扩展,以添加对实时媒体、场景更新和其他功能的支持。
43.在各种实施例中,场景图可以实现针对沉浸式呈现(例如沉浸式三维群组会话)合成场景(也称为空间,诸如三维空间)。在一些实施例中,合成可以在呼叫服务器处执行,主图多媒体资源功能(mrf)、多点通信单元(mcu)、远程呈现应用服务器等。另选地,在一些实施例中,参与会议的指定计算设备可以负责创建初始场景图并与呼叫(例如,沉浸式三维群组会话)中的所有其他方共享该场景图。该计算设备可以是创建主要vr内容的设备,诸如在会议室中进行vr捕捉的计算设备。在一些实施例中,参与会议(例如,沉浸式三维群组会话)的每个计算设备可以将一个或多个节点贡献给场景图。在一些实施例中,每个节点可以识别或被分配其相关联的变换(例如,以矩阵的形式,或单独的平移和旋转操作)以将该节点适当地置于场景(或空间)中,例如以将该节点适当地置于三维空间中。
44.在一些实施例中,参与会议呼叫(例如,沉浸式三维群组会话)的每个计算设备可以提议通过会话级属性来发送和接收场景图。在一些实施例中,提议可以指示发送该提议的计算设备所拥有的一个或多个自有图形输出节点。作为示例,参与会议呼叫(例如,沉浸式三维群组会话)的每个计算设备都可以提议通过以下会话级属性发送和接收场景图,该属性以增强巴科斯-诺尔形式(abnf)语法给出:
45.session-description=“a=scene-description:”sp mime-type[sp uri][sp sent-nodes]crlf
[0046]
mime-type=“mime-type:”byte-string
[0047]
sent-nodes=“nodes-owned=1*(byte-string“;”)
[0048]
uri=“websocket-uri:”uri.
[0049]
在一些实施例中,统一资源指示符(uri)参数可以是用于将在其上共享和更新场景图的数据信道的websocket uri。另选地,应用媒体会话可以与协议标识符一起使用,例如以下协议标识符tcp/wss/sd(传输控制协议/websocket安全/会话描述)。
[0050]
在一些实施例中,可以根据互联网工程任务组(ietf)征求意见(rfc)8124中定义的语法和提议/应答协商来提供websocket uri。这种websocket uri配置的示例模式可以是:
[0051]
m=application 50000tcp/wss/sd*
[0052]
a=setup:passive
[0053]
a=connection:new
[0054]
a=websocket-uri:wss://mrf.operator.com/call/21323asd23
[0055]
a=mime-type:model/gltf+json
[0056]
a=nodes-owned:node12,node13,node14
[0057]
在各种实施例中,场景图引用来自会议会话的媒体流,这些媒体流被用作场景(例如,三维空间)中节点的部件。一个示例是要在三维(3d)场景(也称为3d空间)中的矩形区域中显示的会议参与者的视频流。例如,可以使用以下uri格式:
[0058]
url=”rtp://”fqdn_or_ip“/”call_id“/”ssrc“/”mid
[0059]
在这种uri格式中,“fqdn_or_ip”表示管理呼叫(例如,沉浸式三维群组会话)的mrf或sip代理的域名或互联网协议(ip)地址。如果没有mrf或sip代理管理呼叫(例如沉浸式三维群组会话),“fqdn_or_ip”可以表示呼叫(例如沉浸式三维群组会话)的主机的sip地址的域名或ip地址。“call_id”为当前通话或会议(例如,当前沉浸式三维群组会话)提供唯
nodeb(nb)、下一代nodeb(gnb)等。每个基站可以为特定地理区域提供通信覆盖。在3gpp中,取决于使用术语的上下文,术语“小区”可以指代基站的覆盖区域、服务于该覆盖区域的基站子系统或它们的组合。
[0067]
基站110a-110d可以为宏小区、微微小区、毫微微小区、其他类型的小区或它们的组合提供通信覆盖。宏小区可以覆盖相对较大的地理区域(例如,半径几千米),并且可以允许具有服务订阅的无线设备无限制地接入。微微小区可以覆盖相对较小的地理区域并且可以允许具有服务订阅的无线设备无限制地接入。毫微微小区可以覆盖相对较小的地理区域(例如,家庭),并且可以允许与该毫微微小区相关联的无线设备(例如,封闭订户组(csg)中的无线设备)的受限接入。用于宏小区的基站可以被称为宏bs。用于微微小区的基站可以被称为微微bs。用于毫微微小区的基站可以被称为毫微微bs或家庭bs。在图1a所示的示例中,基站110a可以是用于宏小区102a的宏bs,基站110b可以是用于微微小区102b的微微bs,并且基站110c可以是用于毫微微小区102c的毫微微bs。基站110a-110d可以支持一个或多个(例如,三个)小区。术语“enb”、“基站”、“nr bs”、“gnb”、“trp”、“ap”、“节点b”、“5g nb”和“小区”在本文中可以互换使用。
[0068]
在一些示例中,小区可以不是固定的,并且小区的地理区域可以根据移动基站的地点而移动。在一些示例中,基站110a-110d可以通过各种类型的回传接口(诸如直接物理连接、虚拟网络或它们的组合)使用任何合适的传送网络彼此互连以及与通信系统100中的一个或多个其他基站或网络节点(未示出)互连。
[0069]
基站110a-110d可以通过有线或无线通信链路126与核心网络140通信。无线设备120a-120e(ue计算设备)可以通过无线通信链路122与基站110a-110d通信。
[0070]
有线通信链路126可以使用多种有线网络(例如以太网、电视电缆、电话、光纤和其他形式的物理网络连接),这些网络可以使用一种或多种有线通信协议,诸如以太网、点对点协议、高级数据链路控制(hdlc)、高级数据通信控制协议(adccp)和传输控制协议/互联网协议(tcp/ip)。
[0071]
通信系统100还可以包括中继站(例如中继bs 110d)。中继站是可以接收来自上游站(例如,基站或无线设备)的数据传输并且将数据传输发送到下游站(例如,无线设备或基站)的实体。中继站也可以是可以中继其他无线设备的传输的无线设备。在图1所示的示例中,中继站110d可以与宏基站110a和无线设备120d通信以便有利于基站110a和无线设备120d之间的通信。中继站也可称为中继基站、中继基站、中继等。
[0072]
通信系统100可以是包括不同类型的基站的异构网络,例如,宏基站、微微基站、毫微微基站、中继基站等。这些不同类型的基站可以具有不同的发送功率电平、不同的覆盖区域以及对通信系统100中干扰的不同影响。例如,宏基站可以具有较高的发送功率电平(例如5瓦至40瓦),而微微基站、毫微微基站和中继基站可以具有较低的发送功率电平(例如0.1瓦至2瓦)。
[0073]
网络控制器130可以耦合到一组基站并且可以为这些基站提供协调和控制。网络控制器130可以经由回传与基站通信。基站还可以例如经由无线或有线回传直接或间接地彼此通信。
[0074]
无线设备(ue计算设备)120a、120b、120c可以分散在整个通信系统100中,并且每个无线设备可以是固定的或移动的。无线设备也可以被称为接入终端、ue、终端、移动站、订
户单元、站等。
[0075]
宏基站110a可以通过有线或无线通信链路126与通信网络140通信。无线设备120a、120b、120c可以通过无线通信链路122与基站110a-110d通信。核心网络140可以连接到其他设备,诸如呼叫服务器150(例如,多媒体资源功能(mrf)、多点通信单元(mcu)、远程呈现应用服务器等)。以这种方式,经由与核心网络140的连接,呼叫服务器150可以使诸如远程终端的沉浸式远程会议和远程呈现(itt4rt)服务之类的远程呈现服务可用于无线设备120a、120b、120c、120d(例如,经由链路126从核心网络140和经由链路122从基站110a-110d)。虽然被示为在核心网络140之外,但呼叫服务器150可以是核心网络140本身的一部分。
[0076]
无线通信链路122、124可以包括多个载波信号、频率或频带,每个载波信号、频率或频带可以包括多个逻辑信道。无线通信链路122和124可以利用一种或多种无线电接入技术(rat)。可以在已支付通信系统100内的无线广域网(wwan)无线通信链路122、124中使用的rat的示例包括3gpp lte、3g、4g、5g(例如nr)、gsm、码分多址(cdma)、宽带码分多址(wcdma)、微波全球互操作性接入(wimax)、时分多址(tdma)和其他移动电话通信技术蜂窝rat。可以在本地通信系统100内的无线局域网(wlan)无线通信链路122、124中使用的rat的示例包括中距离无线协议,诸如wi-fi、lte-u、lte-direct、laa、multefire和相对短距离rat,诸如zigbee、蓝牙和低功耗蓝牙(le)。
[0077]
某些无线网络(例如,lte)在下行链路上使用正交频分复用(ofdm),在上行链路上使用单载波频分复用(sc-fdm)。ofdm和sc-fdm将系统带宽划分为多个(k个)正交子载波,这些子载波通常也称为音调、频段(bin)等。每个子载波可以用数据进行调制。通常,调制符号在频域中使用ofdm发送,在时域中使用sc-fdm发送。相邻子载波之间的间隔可以是固定的,并且子载波的总数(k)可以取决于系统带宽。例如,子载波的间隔可以是15khz,并且最小资源分配(称为“资源块”)可以是12个子载波(或180khz)。因此,对于1.25、2.5、5、10或20兆赫(mhz)的系统带宽,标称快速傅立叶变换(fft)大小可以分别等于128、256、512、1024或2048。系统带宽也可以划分为子带。例如,一个子带可以覆盖1.08mhz(例如,6个资源块),并且对于1.25、2.5、5、10或20mhz的系统带宽,可以分别有1、2、4、8或16个子带。
[0078]
虽然一些实施例的描述可能使用与lte技术相关联的术语和示例,但各种实施例可以适用于其他无线通信系统,诸如新无线电(nr)或5g网络。nr可以在上行链路(ul)和下行链路(dl)上使用带有循环前缀(cp)的ofdm,并包括对使用时分双工(tdd)的半双工操作的支持。可以支持100mhz的单个分量载波带宽。nr资源块可以在0.1ms的持续时间内跨越具有75khz的子载波带宽的12个子载波。每个无线电帧可以由50个子帧组成,长度为10ms。因此,每个子帧可以具有0.2ms的长度。每个子帧可以指示用于数据传输的链路方向(即,dl或ul),并且每个子帧的链路方向可以动态切换。每个子帧可以包括dl/ul数据以及dl/ul控制数据。可以支持波束成形,并且可以动态地配置波束方向。还可以支持具有预编码的多输入多输出(mimo)传输。dl中的mimo配置可以支持多达八个发送天线,其中多层dl传输多达八个流,每个无线设备多达两个流。可以支持每个无线设备具有多达2个流的多层传输。可以用多达八个服务小区支持多个小区的聚合。另选地,除了基于ofdm的空中接口之外,nr可以支持不同的空中接口。
[0079]
一些无线设备可以被认为是机器类型通信(mtc)或演进的或增强的机器类型通信
(emtc)无线设备。mtc和emtc无线设备包括例如可以与基站、另一设备(例如,远程设备)或某个其他实体进行通信的机器人、无人机、远程设备、传感器、仪表、监视器、地点标签等。无线节点可以经由有线或无线通信链路提供例如针对或到网络(例如,诸如互联网或蜂窝网络之类的广域网)的连接。一些无线设备可以被视为物联网(iot)设备或可以被实现为nb-iot(窄带物联网)设备。无线设备120a-e可以被包括在容纳无线设备的部件(诸如处理器部件、存储器部件、类似部件或它们的组合)的外壳内部。
[0080]
通常,可以在给定的地理区域中部署任意数量的通信系统和任意数量的无线网络。每个通信系统和无线网络可以支持特定的无线电接入技术(rat),并且可以在一个或多个频率上进行操作。rat也可以称为无线电技术、空中接口等。频率也可以称为载波、频率信道等。每个频率可以支持给定地理区域中的单个rat,以便避免不同rat的通信系统之间的干扰。在一些情况下,可以部署nr或5g rat网络。
[0081]
在一些具体实施中,两个或更多个无线设备120a-e(例如,示为无线设备120a和无线设备120e)可以使用一个或多个侧链路信道124直接进行通信(例如,不使用基站110a-110d作为彼此进行通信的中介)。例如,无线设备120a-e可以使用对等(p2p)通信、设备到设备(d2d)通信、车辆到一切(v2x)协议(其可以包括车辆到车辆(v2v)协议、车辆到基础设施(v2i)协议或类似协议)、网状网络或类似网络或它们的组合进行通信。在这种情况下,无线设备120a-e可以执行调度操作、资源选择操作以及本文在其他地方描述为由基站110a执行的其他操作。
[0082]
图1b示出了可以根据各种实施例配置的头戴式设备172。参考图1a和图1b,在图1a所示的示例中,头戴式设备172可以是用户设备计算设备(例如,ue 120c、120d、120e)的特定具体实施。头戴式设备172包括框架152、两个光学透镜154和处理器156,该处理器通信地耦合到面向外的世界视角图像传感器/相机158、面向内的凝视视角传感器/相机160、传感器阵列162、存储器164和通信电路166。在各种实施例中,通信电路166可以支持一种或多种rat以支持如参考图1a在系统100中所描述的各种设备之间的通信。在一些实施例中,头戴式设备172可以包括沿着框架的臂180或在头戴式设备172的鼻梁182中的电容触摸传感电路。在一些实施例中,头戴式设备172还可以包括用于监测物理条件(例如,地点、运动、加速度、取向、高度等)的传感器。传感器可以包括陀螺仪、加速度计、磁力计、磁罗盘、高度计、里程计和压力传感器中的任何一个或全部。传感器还可以包括用于收集与环境和/或用户状况有关的信息的各种生物传感器(例如,心率监测器、体温传感器、碳传感器、氧传感器等)。传感器也可以在头戴式设备172外部并且经由有线或无线连接(例如,等)与头戴式设备172配对或成组。
[0083]
在一些实施例中,处理器156还可以通信地耦合到图像呈现设备168(例如,图像投影仪),该图像呈现设备可以嵌入框架152的臂部分180中并且被配置为将图像投影到光学透镜154上。在一些实施例中,图像呈现设备168可以包括发光二极管(led)模块、光通道、均化透镜、光学显示器、折叠镜或其他众所周知的投影仪或头戴式显示器部件。在一些实施例中(例如,其中不包括或使用图像呈现设备168的那些实施例),光学透镜154可以是或可以包括透视或部分透视的电子显示器。在一些实施例中,光学透镜154包括图像产生元件,诸如透视有机发光二极管(oled)显示元件或硅基液晶(lcos)显示元件。在一些实施例中,光学透镜154可以包括独立的左眼显示元件和右眼显示元件。在一些实施例中,光学透镜154
可以包括或用作用于将来自显示元件的光传送到佩戴者的眼睛的光导。
[0084]
面向外的或世界视角图像传感器/相机158可以被配置为从用户的物理环境中捕获真实世界的图像,并将对应的图像数据发送到处理器156。处理器156可以将真实世界的图像与计算机生成的图像或虚拟对象(vo)组合以生成增强场景(或空间),并将增强场景(或空间)呈现在头戴式设备172的电子显示器或光学透镜154上。
[0085]
面向内的或凝视视角传感器/相机160可以被配置为从用户的眼睛或用户眼睛周围的面部结构获取图像数据。
[0086]
各种实施例可以在多个单处理器和多处理器计算机系统上实现,包括片上系统(soc)或系统级封装(sip)。图2示出了可以在实现各种实施例的无线设备(ue计算设备)中使用的示例计算系统或sip 200架构。
[0087]
参考图1a、图1b和图2,所示示例sip 200包括两个soc 202和204、时钟206、电压调节器208以及一个或多个无线收发器266,该一个或多个无线收发器被配置为经由天线(未示出)向网络无线设备(诸如基站110a)和/或其他无线设备(例如,无线设备120a-e)发送无线通信和从其接收无线通信。在一些实施例中,第一soc 202可以作为无线设备的中央处理单元(cpu)操作,其通过执行由指令指定的算术、逻辑、控制和输入/输出(i/o)操作来执行软件应用程序的指令。在一些实实施例中,第二soc 204可以作为专用处理单元操作。例如,第二soc 204可以作为专门的5g处理单元运行,其负责管理高容量、高速(例如5gbps等)或甚高频短波长(例如28ghz毫米波频谱等)通信。在一些实施例中,无线收发器266可以是被配置为支持对等(p2p)通信、设备到设备(d2d)通信、车辆到一切(v2x)协议(其可以包括车辆到车辆(v2v)协议、车辆到基础设施(v2i)协议或类似协议)、蓝牙通信、wi-fi通信等的无线收发器。在一些实施例中,通过各种物理连接267(也称为互连、总线等)(诸如外围部件互连快速(pcie)连接、通用串行总线(usb)连接、高速芯片间(hsic)连接、以太网连接等),无线收发器266可以各自连接到第一soc 202和/或第二soc 204可以连接到一个或多个无线收发器266中的每一个。
[0088]
第一soc 202可以包括数字信号处理器(dsp)210、调制解调器处理器212、图形处理器214、应用处理器216、连接到一个或多个处理器的一个或多个协处理器218(例如矢量协处理器)、存储器220、定制电路222、系统部件和资源224、互连/总线模块226、一个或多个温度传感器230、热管理单元232和热功率包络(tpe)部件234。第二soc 204可以包括5g调制解调器处理器252、电源管理单元254、互连/总线模块264、多个毫米波收发器256、存储器258和各种附加处理器260,诸如应用处理器、分组处理器等。
[0089]
每个处理器210、212、214、216、218、252、260可以包括一个或多个内核,并且每个处理器/内核可以独立于其他处理器/内核执行操作。例如,第一soc 202可以包括执行第一类操作系统(诸如freebsd、linux、os x等)的处理器和执行第二类操作系统(例如微软windows 10)的处理器。此外,处理器210、212、214、216、218、252、260中的任一个或全部可以被包括作为处理器集群架构(例如同步处理器集群架构、异步或异构处理器集群架构等)的一部分。
[0090]
第一soc 202和第二soc 204可以包括各种系统部件、资源和定制电路,以用于管理传感器数据、模数转换、无线数据传输,以及用于执行其他专门操作,诸如解码数据分组和处理编码音频和视频信号以用于在web浏览器中呈现。例如,第一soc 202的系统部件和
资源224可以包括功率放大器、电压调节器、振荡器、锁相环、外围桥、数据控制器、存储器控制器、系统控制器、接入端口、定时器和用于支持在无线设备上运行的处理器和软件客户端的其他类似部件。系统部件和资源224和/或定制电路222还可以包括与外围设备接口的电路,外围设备为诸如相机、电子显示器、无线通信设备、外部存储器芯片等。
[0091]
第一soc 202和第二soc 204可以经由互连/总线模块250进行通信。各种处理器210、212、214、216、218可以经由互连/总线模块226互连到一个或多个存储器元件220、系统部件和资源224、以及定制电路222和热管理单元232。类似地,处理器252可以经由互连/总线模块264互连到功率管理单元254、毫米波收发器256、存储器258和各种附加处理器260。互连/总线模块226、250、264可以包括可重构逻辑门阵列和/或实现总线架构(例如coreconnect、amba等)。通信可以由高级互连提供,诸如高性能片上网络(noc)。
[0092]
第一soc 202和/或第二soc 204还可以包括输入/输出模块(未示出),以用于与soc外部的资源通信,诸如时钟206和电压调节器208。soc外部的资源(例如时钟206、电压调节器208)可以由两个或更多个内部soc处理器/核共享。
[0093]
除了上面讨论的示例sip 200之外,各种实施例可以在各种各样的计算系统中实现,这些计算系统可以包括单个处理器、多个处理器、多核处理器或它们的任何组合。
[0094]
图3示出了软件架构300的示例,其包括用于基站350(例如基站110a)和无线设备(ue计算设备)320(例如无线设备120a-120e、172、200)之间的无线通信中的用户和控制平面的无线电协议栈。参考图1a至图3,无线设备320可以实现软件架构300以与通信系统(例如100)的基站350进行通信。在各种实施例中,软件架构300中的层可以与基站350的软件中的对应层形成逻辑连接。软件架构300可以分布在一个或多个处理器(例如处理器212、214、216、218、252、260)中。虽然关于一个无线电协议栈进行例示说明,但在多sim(用户身份模块)无线设备中,软件架构300可以包括多个协议栈,每个协议栈可以与不同的sim相关联(例如,在双sim无线通信设备中两个协议栈分别与两个sim相关联)。虽然下面参考lte通信层进行描述,但是软件架构300可以支持用于无线通信的多种标准和协议中的任何一种,并且/或者可以包括支持多种标准和协议无线通信中的任何一种的附加协议栈。
[0095]
软件架构300可以包括非接入层(nas)302和接入层(as)304。nas 302可以包括支持分组过滤、安全管理、移动性控制、会话管理以及无线设备的sim(诸如sim 204)与其核心网络140之间的业务和信令的功能和协议。as 304可以包括支持sim(例如sim 204)和所支持的接入网络的实体(例如基站)之间的通信的功能和协议。具体地,as 304可以包括至少三层(第1层、第2层和第3层),每个层可以包含各种子层。
[0096]
在用户和控制平面中,as 304的第1层(l1)可以是物理层(phy)306,其可以监督通过空中接口实现发送和/或接收的功能。这种物理层306功能的示例可以包括循环冗余校验(crc)附件、编解码块、加扰和解扰、调制和解调、信号测量、mimo等。物理层可以包括各种逻辑信道,包括物理下行链路控制信道(pdcch)和物理下行链路共享信道(pdsch)。
[0097]
在用户和控制平面中,as 304的第2层(l2)可以负责无线设备320和基站350之间通过物理层306的链路。在各种实施例中,第2层可以包括媒体访问控制(mac)子层308、无线电链路控制(rlc)子层310和分组数据汇聚协议(pdcp)312子层,每个子层形成终止于基站350的逻辑连接。
[0098]
在控制平面中,as 304的第3层(l3)可以包括无线电资源控制(rrc)子层3。虽然未
示出,但软件架构300可以包括附加的第3层子层,以及第3层之上的各种上层。在各种实施例中,rrc子层313可以提供包括广播系统信息、寻呼以及在无线设备320和基站350之间建立和释放rrc信令连接的功能。
[0099]
在各种实施例中,pdcp子层312可以提供上行链路功能,包括不同无线电承载和逻辑信道之间的复用、序列号添加、切换数据处理、完整性保护、加密和报头压缩。在下行链路中,pdcp子层312可以提供包括数据分组的按序传递、重复数据分组检测、完整性验证、解密和报头解压缩的功能。
[0100]
在上行链路中,rlc子层310可以提供上层数据分组的分段和级联、丢失数据分组的重传以及自动重传请求(arq)。在下行链路中,虽然rlc子层310的功能可以包括对数据分组进行重新排序以补偿无序接收、重新组装上层数据分组和arq。
[0101]
在上行链路中,mac子层308可以提供包括逻辑和传输信道之间的复用、随机接入过程、逻辑信道优先级和混合arq(harq)操作的功能。在下行链路中,mac层功能可以包括小区内信道映射、解复用、非连续接收(drx)和harq操作。
[0102]
虽然软件架构300可以提供通过物理介质发送数据的功能,但是软件架构300还可以包括至少一个主机层314,以向无线设备320中的各种应用程序提供数据传输服务。在一些实施例中,由至少一个主机层314提供的应用特定功能可以提供软件架构和通用处理器206之间的接口。
[0103]
在其他实施例中,软件架构300可以包括提供主机层功能的一个或多个更高逻辑层(例如传输层、会话层、呈现层、应用层等)。例如,在一些实施例中,软件架构300可以包括网络层(例如ip层),其中逻辑连接终止于数据分组网络(pdn)网关(pgw)。在一些实施例中,软件架构300可以包括应用层,其中逻辑连接终止于另一设备(例如终端用户设备、服务器等)。在一些实施例中,软件架构300还可以在as 304中包括物理层306和通信硬件(例如一个或多个射频(rf)收发器)之间的硬件接口316。
[0104]
图4示出了根据各种实施例的用于支持电话会议或远程呈现会话中的沉浸式体验的示例方法400的过程流程图。参考图1a至图4,方法400可以由无线设备(诸如无线设备120a-120e、172、200、320)的处理器(诸如156、212、216、252或260)实现。在各种实施例中,方法400的操作可以由作为远程会议或远程呈现会话(诸如沉浸式三维群组会话)中的多个参与者计算设备之一的无线设备的处理器执行。
[0105]
在框402中,该过程可以执行操作以指示作为会话的会话发起协议(sip)设置的一部分的发送和/或接收场景图的提议。在一些实施例中,提议可以指示无线设备所拥有的图形输出节点。在一些实施例中,会话可以是webrtc会话。
[0106]
在框404中,处理器可以执行操作以接收会话的会话描述协议(sdp),该会话描述协议(sdp)指示将在其上共享会话的场景图的数据信道的地址。在一些实施例中,场景图可以定义分配给参与会话的每个计算设备的一个或多个节点。在各种实施例中,节点可以引用来自参与会话的其他计算设备的其他媒体流,并且其他媒体流可以覆盖在会话中。在各种实施例中,分配给参与会话的每一计算设备的一个或多个节点可以包括一个或多个视觉节点、音频源节点、图形节点或共享内容节点。
[0107]
在框406中,处理器可以执行操作以经由数据信道下载场景图。
[0108]
在框408中,处理器可以执行操作以根据场景图接收和呈现会话,以用于在图像呈
现设备(例如,168)上进行呈现。接收和呈现会话可以包括根据场景图接收会话的流式传输服务并在显示器上呈现会话。在一些实施例中,会话的显示可以在hmd(例如,172)、电视会议室、立体显示器或任何其他图像和声音呈现设备上呈现,并且接收和呈现可以包括经由图像和声音呈现设备向用户输出会话。
[0109]
在框410中,处理器可执行操作以将分配给无线设备的节点添加到场景图中或修改场景图中分配给无线设备的一个或多个节点中的某个节点。
[0110]
图5示出了根据各种实施例的用于支持电话会议或远程呈现会话中的沉浸式体验的示例方法500的过程流程图。参考图1a至图5,方法500可以由无线设备(诸如无线设备120a-120e、172、200、320)和/或呼叫服务器(诸如呼叫服务器150)的处理器(诸如156、212、216、252或260)实现。在各种实施例中,方法500的操作可以由主控远程会议或远程呈现会话的主机计算设备的处理器来执行。在一些实施例中,主机计算设备可以是单独的呼叫服务器,诸如mrf、mcu、电话会议应用服务器等。在一些实施例中,主机计算设备可以是作为参与电话会议或远程呈现会话(诸如,沉浸式三维群组会话)的多个计算设备之一的无线设备。在各种实施例中,方法500的操作可以结合方法400的操作来执行。
[0111]
在框502中,主机计算设备的处理器可以执行操作以接收作为来自参与会话的计算设备的会话的会话发起协议(sip)设置的一部分的发送和/或接收场景图的提议的指示。在一些实施例中,会话可以是webrtc会话。在一些实施例中,所接收的指示可以指示由发送提议的指示的无线设备拥有的图形输出节点。
[0112]
在框504中,主机计算设备的处理器可以执行操作以生成会话的会话描述协议(sdp),该会话描述协议指示将在其上共享会话的场景图的数据信道的地址。在一些实施例中,场景图可以定义分配给参与会话的每个计算设备的一个或多个节点。
[0113]
在框506中,主机计算设备的处理器可以执行操作以将sdp发送到参与会话的计算设备。
[0114]
在框508中,主机计算设备的处理器可以执行操作以将会话和场景图发送到参与会话的计算设备。作为示例,主机计算设备可以执行操作以将会话和场景图流式传输到参与会话的计算设备。在各种实施例中,参与会话的计算设备可以是hmd(例如,172)、会议室中的电视、立体显示器或任何其他图像和声音呈现设备,并且发送会话和/或场景图可以包括发送会话和/或场景图以使得参与会话的计算设备可以在图像和声音呈现设备上向用户输出会话。
[0115]
图6示出了gltf 2.0中适用于各种实施例的场景图文档600的布置。参考图1a至图6,在各种实施例中,场景图文档600可以是场景图的一部分。场景图文档600可以包括定义节点层次结构、材料描述、照明信息、相机信息等的json元素。场景图文档600可以包括定义几何信息(诸如顶点和索引)、动画信息(诸如关键帧)皮肤信息(诸如反向绑定矩阵等)的二进制文件(bin)。场景图文档600可以包括定义着色器信息的gl着色库(glsl)文件。场景图文档600可以包括各种其他类型的文件,诸如便携式网络图形(png)文件、联合图像专家组(jpeg)文件等,从而定义场景图的其他信息,诸如纹理等。
[0116]
图7示出了适用于在各种实施例中使用的场景图的结构。参考图1a至图7,在各种实施例中,场景图可以包括多个节点。每个节点可以包括描述节点的各种部件的子节点,诸如相机视图、网格信息、照明信息等。场景图可以定义属性之间的层次关系来呈现节点的网
格,诸如附件、皮肤、缓冲视图、缓冲信息、材料、技术、程序、着色器、纹理、图像和采样器,如图7所示。
[0117]
图8是示出根据各种实施例的用来在电话会议或远程呈现会话中支持沉浸式体验的操作的呼叫流程图。参考图1a至图8,呼叫参与者(例如,呼叫参与者#1和#2)与呼叫服务器之间的操作可以包括在操作1)中,参与者(例如,呼叫参与者#1和#2)使用所提供的网页链接来加入webrtc会议。在操作2)中,呼叫服务器向参与者(例如,呼叫参与者#1和#2)提供网页以及设置呼叫参与者(例如,呼叫参与者#1和#2)和材料在3d空间中的初始/默认布置的场景图文件。例如,每个参与者将被分配视觉节点、音频源节点,以及可能还有用于图形和其他共享内容的节点。在操作3)中,每个参与者(例如,呼叫参与者#1和#2)可以添加或修改其在场景图中拥有的节点。在操作4)中,为场景图中的节点提供部件的媒体流可以使用webrtc进行流式传输。这些流可以直接交换或通过服务器交换,例如媒体代理服务器。
[0118]
图9是示出根据各种实施例的用于提供沉浸式三维群组会话的方法900的过程流程图。参考图1a至图9,方法900可以由无线设备(诸如无线设备120a-120e、172、200、320)的处理器(诸如156、212、216、252或260)实现。在各种实施例中,方法900的操作可以由作为远程会议或远程呈现会话(诸如沉浸式三维群组会话)中的多个参与者计算设备之一的无线设备的处理器执行。在各种实施例中,方法900的操作可以结合方法400(图4)和/或500(图5)的操作中的任何一个或多个操作来执行。
[0119]
在框902中,处理器可以执行包括接收用于沉浸式三维群组会话的场景图的操作,其中该场景图至少包括被分配为由无线设备控制的自有图形输出节点和被分配为由多个参与者计算设备中的其他参与者计算设备中的每一个控制的相应其他图形输出节点。例如,场景图可以是如图8所示的场景图。
[0120]
在框902中所接收的场景图的各部分可以被分配给沉浸式三维群组会话中的每个参与者计算设备,诸如给每个相应参与者计算设备的一个或多个节点。通过解析场景图,无线设备的处理器可以确定要由无线设备控制的节点。在每个参与者计算设备的基础上分配图形输出节点可以使每个参与者计算设备能够控制至少一个图形输出节点。图形输出节点可以包括定义要在由场景图定义的三维空间中输出的三维对象的部件。例如,三维对象可以包括化身、角色或其他表示,并且图形输出节点的部件可以定义如何在沉浸式三维群组会话的三维空间中呈现三维对象。以这种方式,通过控制其分配的相应图形输出节点的部件,无线设备的处理器可以控制其他参与者计算设备如何查看与无线设备相关联的一个或多个三维对象,诸如在沉浸式三维群组会话中由无线设备的用户选择的化身、角色、或其他表示。类似地,通过控制它们各自分配的图形输出节点的部件,其他参与者计算设备可以控制无线设备的用户如何查看它们各自相关联的一个或多个三维对象,诸如沉浸式三维群组会话中的化身、角色或其他表示。
[0121]
在框904中,处理器可以执行包括相对于沉浸式三维群组会话的三维空间控制自有图形输出节点的部件的操作。在一些实施例中,用户可以调整自有图形节点,诸如独立于无线设备的位置移动自有图形节点在场景中的放置。例如,用户可以选择在场景中显示他或她的三维对象(例如,化身、角色等)所处的场景中的位置。在一些实施例中,控制自有图形输出节点的部件可以包括至少部分地基于所确定的无线设备相对于沉浸式三维群组会话的三维空间的位置来控制自有图形输出节点的部件。在一些实施例中,可以在三维空间
中确定无线设备的位置,诸如相对于中心点、网格坐标或三维空间的其他参考的位置。由于一些沉浸式三维群组会话可以支持参与者在沉浸式三维群组会话的三维空间内的移动,因此确定无线设备的位置可以支持以正确的相对位置呈现无线设备的图形输出节点的对象。作为具体示例,可以控制无线设备所分配的自有图形输出节点的照明和/或相机部件,以反映无线设备在沉浸式三维群组会话的三维空间中的当前位置的照明和/或相机部件。
[0122]
除了在框904中基于位置控制自有图形输出节点的部件之外,还可以基于诸如无线设备的取向之类的其他度量来控制自有图形输出节点的部件。例如,如由无线设备的加速度计指示的相对于公共参考点和公共参考平面的位置移动和取向变化可以用于确定无线设备相对于沉浸式三维群组会话的三维空间的位置和取向。作为具体示例,可以控制无线设备所分配的自有图形输出节点的照明和/或相机部件,以反映无线设备在沉浸式三维群组会话的三维空间中的当前位置和当前取向的照明和/或相机部件。基于当前位置和/或当前取向来控制自有图形输出节点的部件在其中无线设备是头戴式设备的具体实施中可能是有用的,以使得头戴式设备的用户的移动能够被视觉传递给沉浸式三维群组会话中的其他参与者。
[0123]
在框906中,处理器可以执行包括在第一媒体流中向多个参与者计算设备中的其他参与者计算设备发送自有图形输出节点的部件的操作。部件可以在媒体流中直接发送到其他参与者计算设备和/或经由呼叫服务器(例如,150)发送到其他参与者计算设备,诸如mrf、mcu、电话会议应用服务器等。以这种方式,无线设备的处理器可以将用于其相应的自有图形输出节点的媒体流提供给其他参与者计算设备,并由此控制其他参与者计算设备如何呈现该图形输出节点。
[0124]
在框908中,处理器可以执行包括在来自多个参与者计算设备中的其他计算设备中的每一个的媒体流中接收其他图形输出节点的部件的操作。部件可以在媒体流中直接从其他参与者计算设备中的每一个接收和/或经由呼叫服务器(例如,150)接收,诸如mrf、mcu、电话会议应用服务器等。以这种方式,无线设备的处理器可以接收分配给其他参与者计算设备的图形输出节点的媒体流。
[0125]
在框910中,处理器可以执行包括至少部分地基于自有图形输出节点的部件和其他图形输出节点的部件在无线设备的显示器上呈现沉浸式三维群组会话的操作。例如,无线设备的媒体流的部件和其他参与者计算设备的媒体流的部件可以与其他媒体流的部件叠加在一起,以生成沉浸式三维群组会话的三维空间的显示输出。
[0126]
处理器可以在沉浸式三维群组会话期间连续执行框904、906、908和910的操作以呈现沉浸式三维群组会话。
[0127]
图10是示出根据各种实施例的用于提供沉浸式三维群组会话的方法1000的过程流程图。参考图1a至图10,方法1000可以由无线设备(诸如无线设备120a-120e、172、200、320)的处理器(诸如156、212、216、252或260)实现。在各种实施例中,方法1000的操作可以由作为远程会议或远程呈现会话(诸如沉浸式三维群组会话)中的多个参与者计算设备之一的无线设备的处理器执行。在各种实施例中,方法1000的操作可以结合方法400(图4)、500(图5)和/或900(图9)的操作中的任何一个或多个操作来执行。作为具体示例,方法1000的操作可以作为方法900的框910的操作的一部分来执行以呈现沉浸式三维群组会话。
[0128]
在框1002中,处理器可以执行包括接收场景图更新的操作,该场景图更新包括用
于沉浸式三维群组会话的新参与者计算设备的指示和被分配为由新参与者计算设备控制的新图形输出节点的指示。响应于新参与者加入沉浸式三维群组会话,可以由主机计算设备发送场景图更新。在一些实施例中,场景图更新可以直接从另一个参与者计算设备接收和/或经由呼叫服务器(例如,150)接收,诸如mrf、mcu、电话会议应用服务器等。
[0129]
在框1004中,处理器可执行包括在来自新参与者计算设备的第二媒体流中接收新图形输出节点的部件的操作。部件可以在媒体流中直接从新参与者计算设备接收和/或经由呼叫服务器(例如,150)接收,诸如mrf、mcu、电话会议应用服务器等。以这种方式,无线设备的处理器可以接收分配给新添加的参与者计算设备的图形输出节点的媒体流。
[0130]
在框1006中,处理器可以执行包括至少部分地基于自有图形输出节点的部件、其他图形输出节点的部件以及新图形输出节点的部件在无线设备的显示器上呈现沉浸式三维群组会话的操作。例如,无线设备的媒体流的部件和其他参与者计算设备的媒体流的部件,包括新添加的参与者计算设备的第二媒体流,可以与其他媒体流的部件叠加在一起,以生成沉浸式三维群组会话的三维空间的显示输出。
[0131]
各种实施例可以在各种无线网络设备上实现,其示例在图11中以无线网络计算设备1100的形式示出,该无线网络计算设备用作通信网络的网络元件,诸如呼叫服务器(例如,呼叫服务器150)。这种网络计算设备可以至少包括图11中所示的部件。参考图1a至图11,网络计算设备1100通常可以包括耦合到易失性存储器1102和大容量非易失性存储器(诸如磁盘驱动器1103)的处理器1101。网络计算设备1100还可以包括外围存储器访问设备,诸如耦合到处理器1101的软盘驱动器、光盘(cd)或数字视盘(dvd)驱动器1106。网络计算设备1100还可以包括耦合到处理器1101的网络接入端口1104(或接口),以用于建立与诸如互联网和/或耦合到其他系统计算机和服务器的局域网的网络的数据连接。网络计算设备1100可以包括用于发送和接收电磁辐射的一个或多个天线1107,其可以连接到无线通信链路。网络计算设备1100可以包括附加的接入端口,诸如usb、火线(firewire)、雷电接口(thunderbolt)等,以用于耦合到外围设备、外部存储器或其他设备。
[0132]
各种实施例可以在各种无线设备(例如,无线设备120a-120e、172、200、320)上实现,其示例在图12中以智能手机1200的形式示出。参考图1a至图12,智能手机1200可以包括耦合到第二soc 204(例如具有5g能力的soc)的第一soc 202(例如soc-cpu)。第一soc 202和第二soc 204可以耦合到内部存储器1206和1216、显示器1212以及扬声器1214。此外,智能手机1200可以包括用于发送和接收电磁辐射的天线1204,其可以连接到无线数据链路和/或蜂窝电话收发器266,该蜂窝电话收发器耦合到第一soc 202和/或第二soc 204中的一个或多个处理器。智能手机1200通常还包括用于接收用户输入的菜单选择按钮或摇臂开关1220。
[0133]
典型的智能手机1200还包括声音编码/解码(codec)电路1210,其将从麦克风接收的声音数字化为适合无线传输的数据分组并且解码所接收的声音数据分组以生成提供给扬声器来生成声音的模拟信号.此外,第一soc 202和第二soc 204中的一个或多个处理器、无线收发器266和codec 1210可以包括数字信号处理器(dsp)电路(未单独示出)。
[0134]
无线网络计算设备1100和智能手机1200的处理器可以是任何可编程微处理器、微型计算机或多处理器芯片或多个芯片,它们可以通过软件指令(应用程序)进行配置以执行各种功能,包括以下所描述的各种实施例的功能。在一些无线设备中,可以提供多个处理
器,诸如soc 204内的一个处理器专用于无线通信功能,而soc 202内的一个处理器专用于运行其他应用程序。通常,软件应用程序可以在它们被访问和加载到处理器中之前被存储在存储器1206、1216中。处理器可以包括足以存储应用软件指令的内部存储器。
[0135]
如在本技术中所使用的,术语“部件”、“模块”、“系统”等旨在包括与计算机有关的实体,诸如但不限于硬件、固件、硬件和软件的组合、软件、或执行中的软件,它们被配置为执行特定操作或功能。例如,部件可以是但不限于是,在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。作为例示说明,在无线设备上运行的应用程序和无线设备均可以被称为部件。一个或多个部件可以驻留在进程和/或执行线程中,并且某个部件可以位于一个处理器或核上和/或分布在两个或多个处理器或核之间。此外,这些部件可以通过其上存储有各种指令和/或数据结构的各种非暂时性计算机可读介质执行。部件可以通过本地和/或远程进程、功能或过程调用、电子信号、数据分组、存储器读/写和其他已知的网络、计算机、处理器和/或进程相关的通信方法进行通信。
[0136]
许多不同的蜂窝和移动通信服务和标准在未来是可用的或预期的,所有这些都可以实施并受益于各种实施例。此类服务和标准包括,例如第三代合作伙伴计划(3gpp)、长期演进(lte)系统、第三代无线移动通信技术(3g)、第四代无线移动通信技术(4g)、第五代无线移动通信技术(5g)、全球移动通信系统(gsm)、通用移动电信系统(umts)、3gsm、通用分组无线电服务(gprs)、码分多址(cdma)系统(例如cdmaone、cdma1020tm)、增强数据速率gsm演进(edge)、高级移动电话系统(amps)、数字amps(is-136/tdma)、演进数据优化(ev-do)、数字增强型无绳电信(dect)、全球微波接入互操作性(wimax))、无线局域网(wlan)、wi-fi保护接入i和ii(wpa、wpa2)和集成数字增强网络(iden)。例如,这些技术中的每一种都涉及语音、数据、信令和/或内容消息的发送和接收。应当理解,任何对与单个电信标准或技术相关的术语和/或技术细节的引用仅用于例示说明目的,除非在权利要求中特别说明,否则并不旨在将权利要求的范围限制为特定的通信系统或技术。
[0137]
所示和描述的各种实施例仅作为示例提供以例示说明权利要求的各种特征。然而,关于任何给定实施例所示和描述的特征不一定限于相关联的实施例并且可以与所示和描述的其他实施例一起使用或组合。此外,权利要求不旨在受限于任何一个示例性实施例。例如,方法400、500、900和/或1000的一个或多个操作可以被方法400、500、900和/或1000的一个或多个操作替换或与之组合。
[0138]
以上方法描述和过程流程图仅被提供作为例示性示例,而并非旨在要求或暗示各种实施例的操作必须按照所提出的顺序执行。如本领域技术人员将理解的,前述实施例中的操作顺序可以以任何顺序执行。例如“之后”、“随后”、“下一”等的词语并非旨在限制操作的次序,这些词语用于引导读者完成方法的描述。此外,以单数形式对权利要求要素的任何引用(例如,通过使用冠词“一”、“一个”或“该”)不应被解释为将要素限制为单数。
[0139]
结合本文中所公开的实施例进行描述的各种例示性的逻辑块、模块、部件、电路以及算法操作可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地例示说明硬件和软件的这种可互换性,以上已经大体上根据它们的功能描述了各种例示性的部件、块、模块、电路以及操作。此类功能是被实现为硬件还是软件取决于特定应用以及根据整体系统所施加的设计约束。技术人员可以针对每种特定应用按照不同方式实现所述功能,但是此类实施例决策不应当被解释为导致脱离了权利要求的范围。
[0140]
用于实现结合本文公开的实施例所描述的各种例示性逻辑、逻辑块、模块和电路的硬件可以用被设计为执行本文所述功能的通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或其他可编程逻辑设备、分立门或晶体管逻辑、分立硬件部件或其任何组合来实现或执行。通用处理器可以是微处理器,但是另选地,处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器也可以被实现为接收器智能对象的组合,例如,dsp和微处理器的组合、多个微处理器、一或多个微处理器与dsp内核的结合、或者任何其它这样的配置。另选地,一些操作或方法可以由特定于给定功能的电路来执行。
[0141]
在一个或多个实施例中,所描述的功能可以以硬件、软件、固件或它们的任何组合来实现。如果以软件实现,则功能可以被存储为在非暂时性计算机可读存储介质或者非暂时性处理器可读存储介质上的一个或多个指令或代码。本文所公开的方法或算法的操作可以按照处理器可执行的软件模块或处理器可执行的指令来体现,其可以驻留在非暂时性计算机可读或处理器可读存储介质上。非暂时性计算机可读或处理器可读存储介质可以是可由计算机或处理器访问的任何存储介质。以举例的方式而非限制,此类非暂时性计算机可读或处理器可读存储介质可以包括ram、rom、eeprom、闪存存储器、cd-rom或其他的光盘存储装置、磁盘存储装置或其他磁性存储智能对象,或者可以用于存储采用指令或数据结构形式的所需程序代码并且可以通过计算机访问的任何其他介质。如本文所使用的,磁盘和光盘包括光碟(cd)、激光光盘、光学光盘、数字化通用光盘(dvd)、软盘以及蓝光光盘,其中磁盘通常磁性地复制数据,而光盘利用激光光学地复制数据。以上的组合也包括在非暂时性计算机可读和处理器可读介质的范围内。另外,方法或算法的操作可以作为代码和/或指令的一个或任何组合或集合驻留在非暂时性处理器可读存储介质和/或计算机可读存储介质上,它们可以被结合到计算机程序产品中。
[0142]
所公开实施例的以上描述被提供为使本领域技术人员能够实现或使用权利要求。对这些实施例的各种修改对于本领域技术人员而言将是显而易见的,并且在不脱离权利要求范围的前提下在本文中定义的一般性原理可以应用于其他实施例。因此,本公开并不旨在被限制于本文中所示的实施例,而是应当被赋予符合以下权利要求以及本文所公开原理和新颖特征的最宽泛的范围。
技术特征:1.一种由作为在沉浸式三维群组会话中操作的多个参与者计算设备之一的无线设备的处理器执行的方法,包括:接收用于沉浸式三维群组会话的场景图,其中所述场景图至少包括被分配为由所述无线设备控制的自有图形输出节点和被分配为由所述多个参与者计算设备中的其他参与者计算设备中的每一个控制的相应其他图形输出节点;相对于所述沉浸式三维群组会话的三维空间控制所述自有图形输出节点的部件;在第一媒体流中向所述多个参与者计算设备中的所述其他参与者计算设备发送所述自有图形输出节点的部件;在来自所述多个参与者计算设备中的所述其他参与者计算设备中的每一个的媒体流中接收所述其他图形输出节点的部件;以及至少部分地基于所述自有图形输出节点的部件和所述其他图形输出节点的部件在所述无线设备的显示器上呈现所述沉浸式三维群组会话。2.根据权利要求1所述的方法,还包括:接收场景图更新,所述场景图更新包括用于所述沉浸式三维群组会话的新参与者计算设备的指示和被分配为由所述新参与者计算设备控制的新图形输出节点的指示;在来自所述新参与者计算设备的第二媒体流中接收所述新图形输出节点的部件;以及至少部分地基于所述自有图形输出节点的部件、所述其他图形输出节点的部件以及所述新图形输出节点的部件,在所述无线设备的所述显示器上呈现所述沉浸式三维群组会话。3.根据权利要求1所述的方法,还包括:接收用于所述沉浸式三维群组会话的会话描述协议(sdp),所述会话描述协议(sdp)指示将在其上共享所述场景图的数据信道的地址,其中接收所述场景图包括经由所述数据信道下载所述场景图。4.根据权利要求1所述的方法,还包括:向所述多个参与者计算设备中的所述其他参与者计算设备发送要发送或要接收所述场景图的提议,作为用于所述沉浸式三维群组会话的会话发起协议(sip)设置的一部分。5.根据权利要求1所述的方法,还包括:向所述多个参与者计算设备中的所述其他参与者计算设备发送要发送或要接收所述场景图的提议,其中所述提议指示所述自有图形输出节点。6.根据权利要求1所述的方法,其中所述沉浸式三维群组会话是网络实时通信(webrtc)会话。7.根据权利要求1所述的方法,其中相对于所述沉浸式三维群组会话的所述三维空间控制所述自有图形输出节点的部件包括:至少部分地基于所确定的所述无线设备相对于所述沉浸式三维群组会话的所述三维空间的位置来控制所述自有图形输出节点的部件。8.根据权利要求7所述的方法,其中至少部分地基于所确定的所述无线设备相对于所述沉浸式三维群组会话的所述三维空间的位置来控制所述自有图形输出节点的部件包括:至少部分地基于所确定的所述无线设备相对于所述沉浸式三维群组会话的所述三维空间的位置以及所确定的所述无线设备相对于所述沉浸式三维群组会话的所述三维空间的取向,来控制所述自有图形输出节点的部件。
9.一种无线设备,包括:显示器;以及处理器,其耦合到所述显示器,所述处理器配置有用来执行以下操作的处理器可执行指令:接收用于沉浸式三维群组会话的场景图,其中所述场景图至少包括被分配为由所述无线设备控制的自有图形输出节点和被分配为由所述多个参与者计算设备中的每一个控制的相应其他图形输出节点;相对于所述沉浸式三维群组会话的三维空间控制所述自有图形输出节点的部件;在第一媒体流中向所述多个参与者计算设备中的其他参与者计算设备发送所述自有图形输出节点的部件;在来自所述多个参与者计算设备中的所述其他参与者计算设备中的每一个的媒体流中接收所述其他图形输出节点的部件;以及至少部分地基于所述自有图形输出节点的部件和所述其他图形输出节点的部件在所述无线设备的所述显示器上呈现所述沉浸式三维群组会话。10.根据权利要求9所述的无线设备,其中所述处理器还配置有用来执行以下操作的处理器可执行指令:接收场景图更新,所述场景图更新包括用于所述沉浸式三维群组会话的新参与者计算设备的指示和被分配为由所述新参与者计算设备控制的新图形输出节点的指示;在来自所述新参与者计算设备的第二媒体流中接收所述新图形输出节点的部件;以及至少部分地基于所述自有图形输出节点的部件、所述其他图形输出节点的部件以及所述新图形输出节点的部件,在所述无线设备的所述显示器上呈现所述沉浸式三维群组会话。11.根据权利要求9所述的无线设备,其中所述处理器还配置有用来执行以下操作的处理器可执行指令:接收用于所述沉浸式三维群组会话的会话描述协议(sdp),所述会话描述协议(sdp)指示将在其上共享所述场景图的数据信道的地址,以及其中所述处理器还配置有用来通过经由所述数据信道下载所述场景图来接收所述场景图的处理器可执行指令。12.根据权利要求9所述的无线设备,其中所述处理器还配置有用来执行以下操作的处理器可执行指令:向所述多个参与者计算设备中的所述其他参与者计算设备发送要发送或要接收所述场景图的提议,作为用于所述沉浸式三维群组会话的会话发起协议(sip)设置的一部分。13.根据权利要求9所述的无线设备,其中所述处理器还配置有用来执行以下操作的处理器可执行指令:向所述多个参与者计算设备中的所述其他参与者计算设备发送要发送或要接收所述场景图的提议,其中所述提议指示所述自有图形输出节点。14.根据权利要求9所述的无线设备,其中所述沉浸式三维群组会话是网络实时通信(webrtc)会话。15.根据权利要求9所述的无线设备,其中所述处理器还配置有用来执行以下操作的处
理器可执行指令:通过至少部分地基于所确定的所述无线设备相对于所述沉浸式三维群组会话的所述三维空间的位置来控制所述自有图形输出节点的部件,来相对于所述沉浸式三维群组会话的所述三维空间控制所述自有图形输出节点的部件。16.根据权利要求15所述的无线设备,其中所述处理器还配置有用来执行以下操作的处理器可执行指令:通过至少部分地基于所确定的所述无线设备相对于所述沉浸式三维群组会话的所述三维空间的位置以及所确定的所述无线设备相对于所述沉浸式三维群组会话的所述三维空间的取向来控制所述自有图形输出节点的部件,来至少部分地基于所确定的所述无线设备相对于所述沉浸式三维群组会话的所述三维空间的位置来控制所述自有图形输出节点的部件。17.一种其上存储有处理器可执行指令的非暂时性处理器可读介质,所述处理器可执行指令被配置为使无线设备的处理器执行包括以下操作的操作:接收用于沉浸式三维群组会话的场景图,其中所述场景图至少包括被分配为由所述无线设备控制的自有图形输出节点和被分配为由所述多个参与者计算设备中的每一个控制的相应其他图形输出节点;相对于所述沉浸式三维群组会话的三维空间控制所述自有图形输出节点的部件;在第一媒体流中向所述多个参与者计算设备中的所述其他参与者计算设备发送所述自有图形输出节点的部件;在来自所述多个参与者计算设备中的所述其他参与者计算设备中的每一个的媒体流中接收所述其他图形输出节点的部件;以及至少部分地基于所述自有图形输出节点的部件和所述其他图形输出节点的部件,在所述无线设备的显示器上呈现所述沉浸式三维群组会话。18.根据权利要求17所述的非暂时性处理器可读介质,其中所存储的处理器可执行指令被配置为使无线设备的处理器执行还包括以下操作的操作:接收场景图更新,所述场景图更新包括用于所述沉浸式三维群组会话的新参与者计算设备的指示和被分配为由所述新参与者计算设备控制的新图形输出节点的指示;在来自所述新参与者计算设备的第二媒体流中接收所述新图形输出节点的部件;以及至少部分地基于所述自有图形输出节点的部件、所述其他图形输出节点的部件以及所述新图形输出节点的部件,在所述无线设备的所述显示器上呈现所述沉浸式三维群组会话。19.根据权利要求17所述的非暂时性处理器可读介质,其中所存储的处理器可执行指令被配置为使无线设备的处理器执行还包括以下操作的操作:接收用于所述沉浸式三维群组会话的会话描述协议(sdp),所述会话描述协议(sdp)指示将在其上共享所述场景图的数据信道的地址,以及其中所述处理器可执行指令被配置为使无线设备的处理器执行操作,使得接收所述场景图包括经由所述数据信道下载所述场景图。20.根据权利要求17所述的非暂时性处理器可读介质,其中所存储的处理器可执行指令被配置为使无线设备的处理器执行还包括以下操作的操作:向所述多个参与者计算设备中的所述其他参与者计算设备发送要发送或要接收所述场景图的提议,作为用于所述沉浸式三维群组会话的会话发起协议(sip)设置的一部分。
21.根据权利要求17所述的非暂时性处理器可读介质,其中所存储的处理器可执行指令被配置为使无线设备的处理器执行还包括以下操作的操作:向所述多个参与者计算设备中的所述其他参与者计算设备发送要发送或要接收所述场景图的提议,其中所述提议指示所述自有图形输出节点。22.根据权利要求17所述的非暂时性处理器可读介质,其中所述沉浸式三维群组会话是网络实时通信(webrtc)会话。23.根据权利要求17所述的非暂时性处理器可读介质,其中所存储的处理器可执行指令被配置为使无线设备的处理器执行操作,使得相对于所述沉浸式三维群组会话的所述三维空间控制所述自有图形输出节点的部件包括:至少部分地基于所确定的所述无线设备相对于所述沉浸式三维群组会话的所述三维空间的位置来控制所述自有图形输出节点的部件。24.根据权利要求17所述的非暂时性处理器可读介质,其中所存储的处理器可执行指令被配置为使无线设备的处理器执行操作,使得至少部分地基于所确定的所述无线设备相对于所述沉浸式三维群组会话的所述三维空间的位置来控制所述自有图形输出节点的部件包括:至少部分地基于所确定的所述无线设备相对于所述沉浸式三维群组会话的所述三维空间的位置以及所确定的所述无线设备相对于所述沉浸式三维群组会话的所述三维空间的取向,来控制所述自有图形输出节点的部件。25.一种无线设备,包括:用于接收用于沉浸式三维群组会话的场景图的组件,其中所述场景图至少包括被分配为由所述无线设备控制的自有图形输出节点和被分配为由所述多个参与者计算设备中的每一个控制的相应其他图形输出节点;用于相对于所述沉浸式三维群组会话的三维空间控制所述自有图形输出节点的部件的组件;用于在第一媒体流中向所述多个参与者计算设备中的其他参与者计算设备发送所述自有图形输出节点的部件的组件;用于在来自所述多个参与者计算设备中的所述其他参与者计算设备中的每一个的媒体流中接收所述其他图形输出节点的部件的组件;以及用于至少部分地基于所述自有图形输出节点的部件和所述其他图形输出节点的部件在所述无线设备的显示器上呈现所述沉浸式三维群组会话的组件。26.根据权利要求25所述的无线设备,还包括:用于接收场景图更新的组件,所述场景图更新包括用于所述沉浸式三维群组会话的新参与者计算设备的指示和被分配为由所述新参与者计算设备控制的新图形输出节点的指示;用于在来自所述新参与者计算设备的第二媒体流中接收所述新图形输出节点的部件的组件;以及用于至少部分地基于所述自有图形输出节点的部件、所述其他图形输出节点的部件以及所述新图形输出节点的部件,在所述无线设备的所述显示器上呈现所述沉浸式三维群组会话的组件。27.根据权利要求25所述的无线设备,还包括:
用于接收用于所述沉浸式三维群组会话的会话描述协议(sdp)的组件,所述会话描述协议(sdp)指示将在其上共享所述场景图的数据信道的地址,其中用于接收所述场景图的组件包括用于经由所述数据信道下载所述场景图的组件。28.根据权利要求25所述的无线设备,还包括:用于向所述多个参与者计算设备中的所述其他参与者计算设备发送要发送或要接收所述场景图的提议,作为用于所述沉浸式三维群组会话的会话发起协议(sip)设置的一部分的组件。29.根据权利要求25所述的无线设备,还包括:用于向所述多个参与者计算设备中的所述其他参与者计算设备发送要发送或要接收所述场景图的提议的组件,其中所述提议指示所述自有图形输出节点。30.根据权利要求25所述的无线设备,其中所述沉浸式三维群组会话是网络实时通信(webrtc)会话。
技术总结各种实施例包括用于提供沉浸式三维群组会话的系统和方法。各种实施例包括利用可能来自不同方的媒体部件用信号发送场景的描述的方法和设备。在各个方面,可以在会话发起协议(SIP)会话建立期间通过会话描述协议(SDP)用信号发送场景图。在各种实施例中,场景图可以包括被分配为由沉浸式三维群组会话中的多个参与者计算设备中的每一个控制的相应图形输出节点。出节点。出节点。
技术研发人员:I.布阿齐兹 N.K.梁 T.斯托克哈默
受保护的技术使用者:高通股份有限公司
技术研发日:2021.03.11
技术公布日:2022/11/1