Facebook正在开发神经超采样实时渲染技术
据外媒venturebeat报道，Facebook的AR/VR研发部门Facebook Reality Labs近日发表了一篇名为《Neural Supersampling for Real-time Rendering》的论文，该论文详细阐述了一项全新技术“神经超采样实时渲染”，该技术可以对实时渲染的3D内容进行超采样处理，采用机器学习方法将低分辨率、计算上更容易成像的图片转换成高分辨率的输出图像。
如果要理解Facebook这项创新技术，我们不妨打个比方我们可以把《蒙娜丽莎》的画像想象成一个由16个彩色正方形组成的4×4网格图。常见的问题是，通常我们注视网格图的时候往往会深陷于其表面凹凸不平的锯齿状方形图像，而发现不了图像原本真实的模样。但通过机器学习方法，我们就能很快对这张网格进行计算，并从中识别出《蒙娜丽莎》的画像。
为此，Facebook的研究人员通过三层卷积神经网络开发了这项全新技术，如上所述在识别画像的机器学习过程中采用了该神经网络，并以场景统计进行了计算识别，从而能够快速恢复画像清晰的细节，同时节省了在实时应用中直接渲染细节所需的计算开销。该技术不仅适用于平面图像，而且也适用于3D渲染场景，可将“高度混叠运动”转换为“实时的高保真度和时间点稳定性的结果”，同时考虑了颜色、深度贴图和时间运动矢量等变量。
从计算的角度来看，这项研究表明，通过预先机器学习，我们可以将与原版《毁灭战士》游戏相似的3D环境渲染成类似于VR游戏《雷神之锤》的游戏画质。虽然这并不意味着游戏开发人员可以通过该方法将3D游戏直接转化成VR游戏，但通过该技术可以让诸如Oculus Quest的VR一体机以较少的功耗实时渲染出高分辨率的图像输出效果。
尽管机器学习的细节很复杂，但其最终结果是，神经网络是使用从给定3D场景的100个视频中捕获的图像进行训练的，因为真实的用户可能会从各种角度来体验它。这些图像都采用了全分辨进行渲染场景，其中1600 x 900像素场景渲染时间为140.6毫秒，而400 x 225像素场景渲染时间为26.4毫秒，4×4网格上采样的时间为17.68毫秒，总计渲染时间为184.68毫秒，在非常接近原始图像的情况下，渲染时间节省了近3.2倍。这样一来，Oculus Quest用户将能受益于性能强大的PC的计算输出结果。
研究人员表示，他们的系统通过提供更高的重建精度，其性能优于最新版本虚幻引擎的时间抗锯齿缩放技术。同时研究人员认为NVIDIDA的深度学习超级采样技术（DLSS）最接近其解决方案，但是DLSS依赖于专有的软硬件，而这些软硬件可能无法在所有平台上都通用。相比之下，Facebook的解决方案不需要采用特殊的软硬件，就可以轻松集成到3D引擎中，从而实现4×4超级采样，而普通解决方案最多只能支持2×2上采样。
虽然Facebook正在开发的神经超采样实时渲染技术十分新颖且应用前景广阔，但它还并不完美。尽管该技术通过机器学习使生成的图像具备了稳定的平滑度，但是在生成的过程中可能会丢失一些精细的细节。例如，如果以低分辨率进行渲染时最后几帧文本没有被正确的标记出来，那么该文本可能无法在便笺上被读取。其次，尽管更高的性能、更好的优化有望提高系统的性能，但开发“高分辨率显示应用”所需的高昂成本仍是短期内难以解决的问题。
即使Facebook解决方案目前面临着很多现实问题，但综上所述，我们依旧可以清晰的看出神经超采样实时渲染技术对于VR/AR头显朝着更高分辨率、更快帧速率的方向发展起到了积极推进作用。
电科技专注于TMT领域报道，青云计划、百+计划获得者。荣获2013搜狐最佳行业自媒体人称号、2015中国新媒体创业大赛总决赛季军、2018百度动态年度实力红人等诸多大奖。
投稿请登录：http://www.diankeji.com/member 商务合作请洽：marketing#diankeji.com
声明：本站原创文章文字版权归电科技所有，转载务必注明作者和出处；本站转载文章仅仅代表原作者观点，不代表电科技立场，图文版权归原作者所有。如有侵权，请联系我们删除。
猜你喜欢
核心关键字： VR/AR相关文章
-
抹链科技携手绵阳市商业银行举行区块链技术和应用业务交流会
7月2日，抹链科技受绵阳市商业银行总行邀请，举行题为《区块链技术在金融领域的应用研究》业务交流会，绵阳市商业银行总行互联网金融部、科技部负责人等高层均出席此次分享会。会上，抹链科技与绵阳市商业银行总行互联网金融部总经理戴总针对区块链在金融领域的应用进行了深入的探讨。戴总肯定了区块链技术带来的巨大革新，并表示将进一步尝试为绵阳市商业银行引入区块链技术，与现有业务进行紧密结合。区块链在金融领域将大有可...
2020-07-03 19:17:21 区块绵阳市金融 -
助力投融资对接，“科创中国”信息技术（二）专场路演举办
创头条消息，7月2日下午，“科创中国”系列路演活动第038场——“科技传播助力信息技术（二）”专场如期举办。龙飞船、网藤科技、兰亭数字、中鑫融信等四家中小型科技企业参加路演。据介绍，龙飞船致力于研发生产AI智能护栏及新型周界监测系统，基于融合信息技术的新型智能护栏可实现剪断报警、攀爬报警等功能，解决安防周界监测产品存在的弊端。网藤科技已研发出设备监测、行为追溯、态势感知、分析预警、安全培训等安全产...
2020-07-03 19:17:18 兰亭周界科技 -
中国光刻机有多厉害 技术获得突破超过多国
随着中国的发展越来越好，这里面不少于中国人的努力。近十几年来，我国科技方面快速崛起，与某些科技大国比肩。近些年，我国科技领域越发强大起来了，中国也有属于自己的光刻机了，真是为此感到骄傲，中国光刻机有多厉害？一起看一看。中国光刻机研发
2020-07-03 12:55:29 光刻有多中国
芯片领域，许多企业芯片依靠国外企业供应，一旦国外企业停止供应，那么，我国企业就会被卡在“脖子”上，所以必须要自足研发芯片，才不会受到外界阻挠。那么，中国光刻机有多厉... -
人类研究出全新技术，让牙齿可以重新生长，我们再也不用看牙医了
人类的牙齿是野生动物的牙齿完全不同，人类因为吃的东西比较杂，所以我们需要每天刷牙，保护好自己的牙齿，这样才不会有蛀牙，牙齿才能更健康，因此我们的一生需要一个好牙医，要知道牙疼不是病疼起来真要命，一旦我们牙疼了，我们就要去看牙医，看牙医不但耗费时间，而且还非常贵。那么我们的牙齿到底是什么呢，为什么人一生只能换两次牙齿呢，其实牙齿是人类身体上最硬的部位，牙齿的主要成分是牙质，它的中间有牙髓腔，这里面 因为我们原装的牙齿一定是最适合最好的，但是平时伴随着牙齿的磨损老化，甚至有时候不注意口腔卫生，就会导致蛀牙的出...
2020-07-02 14:26:51 牙医牙齿生长 -
40年最清晰的不明飞行物！网友称草帽飞了，如今科学技术无法识别
不明飞行物可以说是科学界最热议的事件，而关于“波兰”发现拍摄到不明飞行物事件又出现了新话题。我们都知道一般情况而言，看到的一些不明飞行物视频和照片都是模糊不清的。然而波兰这次公布出来的不明飞行物是非常清晰的照片，根据俄罗斯专家表示，这次发现的高清不明飞行物照片，是40年来最为清晰的UFO目击照。同时为了解除大家的疑虑，根据专家鉴定表明，这些图片并未经过照片处理或篡改，并且不明飞行物是一个真正的物 根据科学报告指出，这次不明飞行物照片是波兰一名男子在距离华沙110公里外拍摄的，总计拍了5张照片，是真实的不明...
2020-07-02 14:26:20 不明飞行物草帽飞了 -
“母公司”技术下放：苹果正在iPhone上测试macOS系统
2020年WWDC最大的惊喜想必就是未来Mac将使用苹果自己的ARM处理器。而这也意味着iPhone、iPad、Mac三个终端在系统与生态层面的联系更加紧密。近日，AppleInsider就爆料称，苹果正在iPhone上测试运行macOS系统，这也就意味着未来iPhone连接显示器后，可以直接为用户带来“主机级”的桌面体验。事实上，目前科技圈不止苹果有此做法，此前微软、三星、华为、锤子等都在自己的...
2020-07-02 14:17:05 三星系统自己的 -
星辰天合获3.2亿元D轮投资，着重发展国产化信创存储基础技术研发
本轮由中国国有资本风险投资基金领投，清华控股旗下清控华义创投跟投，在持股东启明创投等亦跟投。今天，星辰天合数据科技（XSKY）获3.2亿元人民币D轮投资。本轮由中国国有资本风险投资基金领投，清华控股旗下清控华义创投跟投，在持股东启明创投等亦跟投。据悉，公司此轮融资将用于发展国产化信创存储基础技术研发，混合云数据管理方案构建，以及软件定义存储产品在下沉市场的推广。XSKY是i黑马＆数字观察持续追踪和...
2020-07-02 12:17:04 数据企业定义 -
Facebook正在开发一款基于折叠式全息光学技术概念的原型头显
据外媒roadtovr报道，Facebook的AR/VR研发部门FacebookRealityLabs近日发表了一篇名为《HolographicOpticsforThinandLightweightVirtualReality》的论文，该论文详细阐述了一款基于折叠式全息光学技术的概念验证头显，并表示这是“迄今为止所开发的最薄VR头显”。研究人员AndrewMaimone和JunrenWang表示，...
2020-07-01 23:17:08 光学原型全息 -
一枚假公章引发腾讯老干妈乌龙纠纷 百度超级链技术可杜绝萝卜章问题
2020年下半年才第一天，2020年度新闻已经出现了有力竞争者——日前，腾讯状告老干妈拖欠广告费，老干妈回应腾讯遭遇诈骗。7月1日，贵阳公安双龙分局通报了该事件调查结果：3人伪造老干妈公司印章，冒充该公司市场经营部经理与腾讯签订合作协议，目前3人已被刑拘。一时间网友纷纷打趣“马化腾终于亏了”，“这事写成小说都没人信”、“李国庆告诉我们公章确实重要”，腾讯的Bilibili账号也“自黑”了一...
2020-07-01 22:17:05 区块腾讯公章 -
印军雷达捕获2架歼16？屏幕图像令印媒崩溃，莫迪怒斥：奇耻大辱
美国女记者混进精神病院，经历“黑暗”10天，最终获救了吗？ 世上被暗杀最多的3个人：第2是希特勒，最后一位634次 秦始皇陵到底有多少水银？专家：看山上的石榴树就知道了 美军研发“外星”侦察机，为何从不敢来中国？对手被打出阴影 如果美国不投原子弹，日本下场有多惨？真是两颗原子弹救了日本 曾举国向我们捐4万，受尽白眼嘲笑，事后所得回报却让各国羡慕 印度军队造假已经是老传统了，不过虽然造假的次数很多，但他们的造假技术却始终没有提高。此前，在班公湖对峙事件发生之后，印度军方就一直在虚假报道双方的伤亡情况，甚至...
2020-07-01 11:26:06 奇耻大辱图像屏幕
| 留言与评论（共有 0 条评论） |
