英伟达流媒体AR服务SDK开发公告,引入微型全息AR AI实时直播
浏览:346 时间:2022-1-7

NVIDIA AR SDK为直播、视频会议和游戏提供了全新的创意选择。牙齿SDK允许开发人员使用标准网络摄像头实时跟踪面部,并创建各种有趣的增强现实效果,例如将3D数字内容叠加在面部上或添加身临其境的效果。

NVIDIA AR SDK是公开的测试版本,向社区开放,支持多个茄子使用案例:

跟踪相机视图的脸并标识图像中的一个或多个主体。

在个人(如衣服和效果)中嵌套数字资产集。

通过面部和头部运动控制动画角色或游戏角色。

NVIDIA AR SDK利用NVIDIA RTX显卡的Tensor核心,通过AI网络提供快速、高质量的跟踪性能。网络可以提供准确的面部跟踪。还有面部形状、嘴唇、眼睛、眉毛、鼻子三个自由度五官跟踪六个自由度的高级面部网格(面部和头部姿势的3D重建)。

例如,OBS直播软件的流行插件StreamFX发布了一个新版本,该版本使用NVIDIA AR SDK自动裁剪和放大用户,并创建在用户移动时保持帧中心的智能相机。

StreamFX的开发者Michael Fabian 'Xaymar' Dirks表示,"StreamFX的新Face Tracking过滤器需要复杂的数学和机器学习,这原本是一系列机器,需要运行几个月,甚至几年。但是,NVIDIA的AR SDK可以在短时间内完成工作,NVENC H.264编码器支持所有流行的NVIDIA RTX硬件。这大大减少了所需的开发时间,最初几年仅两周就减少了,无需额外费用。”

NVIDIA发布的NVIDIA CloudXR 1.0软件开发工具包将通过5G、Wi-Fi和其他高性能网络显着增强增强现实、混合现实和虚拟现实内容(统称为扩展现实XR)。

随着5G网络在世界范围内的普及,NVIDIA CloudXR正在为许多行业带来创新,包括建筑和零售业。通过从基于GPU的边缘服务器传输XR体验,企业可以将对图形密集型应用程序和内容的访问扩展到移动端,远程用户也可以享受身临其境的响应能力扩展现实体验。

据IMA咨询报道,在传染病发生前的2016年到2019年,我国网络直播用户规模呈逐年上升趋势,预计2020年我国网络直播用户规模预测将达到5.24亿人。展厅,游戏的直播形式,现在成为商家营销的重要方法之一。各行各业都在闻风丧胆,移动:化妆品、服装、生活用品、零食。

在信息网络时代,产业市场发生了巨大的变化,产品从传统制造演变为智能、互连、孔刘、个性化、体验化的趋势。随着淘宝网、震颤、快手等视频直播电子企业平台的成熟,实时互动、现实主义、互动高的直播带场面越来越受到消费者的喜爱,“万物可以广播”成为现实,将大大改变很多行业传统的营销模式。

随着5G全息通信网带宽条件的变化,5G全息应用市场爆炸,全息交互娱乐、全息会议、全息发布会等高端应用逐渐普及到全息社会、全息通信、全息导航、全息家庭应用等领域。微型全息图(WIMI .US)程序将全息AI人脸识别技术和全息AI人脸替换技术作为核心技术,以多个技术创新系统支持全息云平台服务和5G通信全息应用。

随着5G商用时代的到来,游戏和直播行业有了新的机会。5G的底部变化更有趣,比提高比特率和画质更有趣。在直播中使用超低延迟可以提高直播的交互过程,使直播内容更有价值。

现在移动互联网以前所未有的态势改变了我们的娱乐方式,这次咪咪全息图(WIMI)。US)的AR直播系统通过将AR技术作为新的交互式媒体添加到直播中,很好地解决了场景化、交互问题。

立体展示、全息等酷技术受到业界的关注。传统的展示手法已经给观众带来了麻痹的审美疲劳,更多的企业希望通过更先进的高科技手段展示自己的产品,吸引顾客的注意,提高自己的市场份额。

微型全息图(WIMI .US)的AR直播优势很明显,可以真实地模拟所有场景,了解产品在各种实际环境中的使用情况。能够展示更复杂的产品,使观众更直观地了解产品的内部结构和产品详细信息。突破人员限制的同时,可以锁定人群,进行现场直播精密投入,宣传力效果更加广阔。在线交互进一步加强,来宾和粉丝可以在直播期间进行交互,并对他们的问题进行实时筛选。通过实时效果合成,直播结束后,可以获得完整的完成视频,不再需要进行后期剪辑,第一个用于宣传。

微型全息图像(WIMI)。US)涵盖了成熟视觉设计团队的基础、深入挖掘AR直播技术、正式在线AR直播业务、丰富的自我业务结构、为客户提供更多服务、客户问题解决、多行业多领域。

微型全息图(WIMI .US)AR直播系统简单地通过AR全息技术,让观众裸着眼睛看到全息图或场景的实际还原,让他们感受身临其境的感觉。用户经验可以用感叹的方式描述咪咪全息图与娱乐模式相结合。观众可以成为电影/舞台的角色,介入电影。

全息直播是展示的新方式和发展方向。通过全息投影技术,参观者不仅可以看到清晰的图像,还可以看到全方位、多角度的立体、真实的图像。结合现有的展示方式,充分展示了现场直播的内涵、细节,进一步刺激了接受新事物的群众的积极性。

微型全息图(WIMI .US)构建了多角度拍摄实时建模系统:对收集对象执行全维度图像扫描,实时合成为立体声模型。6度矩阵光场系统:多光综合利用,构建全息虚拟图像的成像场。双目视差智能增强系统:在采集过程中动态跟踪对象轨迹并调整光线,以保持双目差的平衡值。多图像动态融合系统:窄空间的多维图像广角采集技术应用于云视图小型化全息堆栈仓库。全息图像高速处理算法:非常快速地处理图像信息,并确保以10GB/s的处理速度进行渲染。隐形聚酯光学成像膜:全息成像关键组件可以完美地显示全息图像。全息虚拟人物和弦重建技术:使用人体骨骼动态捕获、图像实时渲染、语音识别技术、声音模拟技术来表示虚拟人。全息云平台:复盖了全国的图像收集和还原,是具有数据存储、图像恢复、全息社会属性的交互式平台。咪咪通过上述系统组合构建了支持各种在线终端和个人设备应用的完整5G全息通信平台,扩展了全息社会通信、全息家庭交互、全息明星交互、全息在线教育、全息在线会议等各种主流5G全息应用。

VR/AR是下一代信息技术融合的产物,科举VR/AR产品由于带宽和延迟的因素,可能导致渲染能力不足、交互经验不足、终端移动性差异等问题,是抑制行业发展的最大跳板。高质量VR/AR业务对带宽、延迟要求很高。例如,VR需要1000Mbps以上的带宽才能实现非常好的用户环境,延迟必须低于2毫秒,AR需要大于200Mbps的带宽和低于5毫秒的延迟。这是4G时代。

在5G时代,视频流量将呈指数增长,视频表达已是大势所趋。但是,当前我国的媒体转换和发展面临着发展瓶颈,主要通过:低效率的视频生产方式,限制现有媒体向媒体、智能媒体的转换。量化的视频制作规模使内容审核更加复杂。

将来,AI和5G是集成到所有行业的基本功能,AI 5G的最终价值在于行业应用程序。目前,5G技术预计在主要垂直行业的全球市场上达到4.3万亿美元。那么,如何利用4.3万亿美元的行业应用程序,AI可能是背后的关键。