德国学者用AI合成一亿像素逼真3D图像 可任意旋转 真实在右 虚拟在左 (德国 学者)
近日，来自德国埃尔兰根-纽伦堡大学的学者提出了一种新颖的神经网络方法，用于3D图像的场景细化和新视图合成。
只需要输入点云和相机参数的初始估计，就可以输出由任意相机角度合成的图像，360度旋转都不是问题。
研究人员表示，高效的单像素点光栅化让他们能够实时显示超过 1 亿个像素点的点云场景。
一亿个像素点是什么概念？说白了，这些3D图像太逼真了。
再看看合成图和原图的对比，简直和拍照没啥区别。
这项研究最近在推特上收到了很大的关注，网友纷纷回应：impressive！
同时，也有网友表示，这项研究确实利用了大规模动态输入点云的优势，而这原本是“超级难”的问题。
如下图所示，给定一组RGB图像和初始3D重建（图左），该渲染方法能够合成新的帧，并优化场景参数（图右）。
用神经网络自动学习合成高清3D图像已有成效，但之前还难以做到大动态的视角变换，他们是怎么实现的呢？
合成逼真的虚拟环境是计算机图形学和计算机视觉研究的热门领域之一。
其中，3D 形状的编码形式是非常关键的部分，人们通常会考虑三角形网格、体素网格、隐函数和点云，每种表示法都有各自的优缺点。
从左到右，分别是点云、体素、三角网格形式的兔子3D图像。
为了有效渲染不透明表面，人们通常选择三角形网格。
体素网格常用于容量表示，而隐函数适用于精确描述非线性分析表面（比如a^2+b^2+c^2=1，就是一个单位球面）。
另一方面，点云具有易于使用的优点，因为不必考虑拓扑性质，非常便于作为3D图像合成的中间输出阶段。不必考虑拓扑性质是指，无论是圆环还是球体，其表示形式都是一样的。
在2000年左右，点云渲染，尤其是点散布，已在计算机图形学中得到广泛研究。
与此同时，人们越来越关注基于图像的渲染技术。也就是基于粗略的、重建的3D模型以及已有的一组物体图像，来合成新的视图。
这些方法存在输入不精确的问题，例如，如果几何图形包含孔或输入图像没有完全对齐，则会出现伪影。
而基于神经图像的渲染方法使用神经网络来去除这些伪影，可以生成前所未有的如照片般逼真的高质量新视图。
Aliev等人则表明，将传统的点光栅化器与深度神经网络配对也是可行的。
这一发现对3D重建尤其有益，因为其通常使用密集点云作为初始输出。因此，我们可以跳过不必要的、可能出现错误的三角测量，直接可视化重建的场景。
在本文中，研究人员的方法建立在 Aliev 等人的管道之上，并以多种方法对其进行改进。
图2：基于点的HDR神经渲染管道概览。
如上图所示，由纹理点云和环境图组成的场景被光栅化为一组具有多种分辨率的稀疏神经图像。
深度神经网络重建HDR图像。
然后通过一个基于物理的可微色调映射器将其转换为给定新视点场景的 LDR图像。
在训练阶段，可以同时优化矩形框中的所有参数以及神经网络。
在整个管道中，他们特别添加了一个物理的、可微分的相机模型和一个可微分的色调映射器，并提出了一个公式，以更好地近似单像素点光栅化的空间梯度。
可微分的好处是，不仅可以优化神经点特征，还可以在训练阶段校正不精确的输入。
因此，系统可以根据神经渲染网络的视觉损失来调整这些参数：
得益于此，图像的渲染质量得到了显著提升。
此外，该方法能够合成任意的高动态范围成像（HDR，即大幅度的曝光变化）和LDR（低动态范围成像，容易缺失图像细节）设置，并校正曝光不足或过度曝光的视图（如下图所示）。
同时，深度神经网络内部的参数数量也显著减少，因为亮度和颜色变化由物理上正确的传感器模型单独处理。
如下表所示，与其他可微渲染器相比，本文的方法效率高出大约两个数量级。
表I：RTX 2080 Ti上1920×1080图像的正向和反向渲染时间（以毫秒为单位）。
因此，渲染性能提高了，过拟合伪影也减少了。
总而言之，这篇论文的研究成果如下：
• 用于场景细化和可视化的端到端可训练的基于点的神经渲染管道。
• 使用伪影几何概念的单像素点碎片的可微分光栅化器。
• 可模拟数码摄影镜头和传感器效果的基于物理的可微分色调映射器。
• 用于大型点云的高效多层渲染的随机点丢弃技术。
图11：在罗马船只数据集上合成的新视图。使用与参考照片相同的曝光值对图像进行渲染。在右列中，每个像素的误差都是可视化的。
我们再详细介绍一下模型管道。
管道的第一步是可微分光栅化器（图2左）。
它通过使用相机参数将每个点投影到图像空间，将其呈现为单个像素大小的碎片。
如果该像素点通过一个测试，它就会在神经网络输出图像中占据一个描述符。所有未被点着色的像素都由从背景颜色填充。
由于我们将点渲染为单个像素大小的碎片，输出的图像可能会非常稀疏，这取决于点云的空间分辨率和相机距离。
因此，以不同的比例渲染多个图层，使输出图像密集化，并处理遮挡和照明问题。
神经渲染器（图2中间）采用多分辨率神经图像生成单个HDR输出图像。
它由一个四层全卷积U-Net和跳跃连接组成，其中较低分辨率的输入图像连接到中间特征张量。使用平均池化执行下采样，并通过双线性插值对图像进行上采样。
研究人员主要使用门控卷积，它最初是为填孔任务而开发的，因此非常适合稀疏点输入。
总体而言，该网络架构类似于 Aliev等人提出的架构，只减少了一层，并进行了一些修改，以支持HDR成像。
首先，去掉批归一化层，因为它们将中间图像的均值和标准差归一化为固定值。这会使得总传感器辐照度（类似光强概念）丢失，并且无法从3D点传播到最终图像。
此外，如果场景的亮度范围相当大（大于 1 : 400），会以对数方式存储神经点描述符。否则，神经描述符将线性存储。对于对数描述符，在光栅化过程中将其转换为线性空间，以便卷积操作仅使用线性亮度值。
管道中的最后一步（图2右侧）是可学习的色调映射操作符，它将渲染的HDR图像转换为 LDR。
该色调映射器模拟数码相机的物理镜头和传感器特性。因此，它最适合捕捉智能手机、数码单反相机和摄像机的LDR图像。
尽管合成效果如此惊艳，在实验中，研究人员也发现了一些局限性。
其中一个限制是，由于不同参数的数量巨大，不容易寻找合适的超参数。必须平衡纹理颜色、结构参数、色调映射设置和神经网络权重的学习速率。为了找到适合所有场景的可行设置，需要进行广泛的网格搜索。
另一个限制是，点位置的优化对于中到大的学习率是不稳定的。因此，该管道需要合理的初始点云，例如，通过多视图立体系统或 LiDaR 扫描仪。
研究人员认为这个问题是由光栅化过程中的梯度逼近引起的。它适用于相机模型和相机角度优化，因为数千个点的空间梯度在一个优化器步骤中得到平均。然而，对于位置点梯度，仅使用单个近似梯度来更新其坐标。因此需要非常低的学习率来平均点梯度随时间的变化。
最后，由于是单像素点渲染，当相机离物体太近或点云非常稀疏时，可能会出现孔。这是因为神经网络结构只能填补一定大小阈值的洞。在实验中，研究人员通过人为地增加点密度来减少这个问题。然而，这并不是一个普遍可行的解决方案，因为在自由视图环境中，用户仍然可以任意移动相机以靠近物体表面。研究人员表示，他们未来的工作应该会从这里开始，例如，可以尝试在放大过程中动态生成具有内插神经描述符的新点。
平面设计,平面设计提供平面设计教程,photoshop,fireworks,Illustrator,coredraw,painter,Freehand等教程
站长之家Alexa排名查询工具提供kuaidi100.com网站alexa排名查询，特别是能够对网站预估收入以及网站价值进行评估的功能，帮助用户更好的提升alexa排名。
城市联合网络电视台（CUTV.COM城视网）关注民生，提供包括新闻、民生、城市、影视、生活、科教等方面内容的视频、网络电视、直播、社区、微博、视频点播、视频上传、视频分享等信息服务。
中向旭曜科技有限公司_中向旭曜坚持践行农业强国战略，以天然优质腐殖质材料为主要原料，研发、生产和销售土壤改良剂，提升耕地质量，助力乡村振兴，服务社会，造福人民。
沈阳中瑞锅炉(电话:13842081989)主要产品:低氮冷凝燃油燃气锅炉,电锅炉,生物质锅炉,壁挂炉,燃油锅炉,蒸汽锅炉,热水锅炉,常压锅炉,真空锅炉,燃煤锅炉,导热油炉,热风炉等.厂家将竭诚为用户服务.
打造法律行业数字化转型的基础设施，让优质法律服务触手可及
欧迪诺化工是一家广东瓷砖背胶乳液厂家，主营瓷砖背胶乳液，瓷砖背涂胶乳液，防水乳液，砂浆乳液等建筑乳液、公司拥有现代化、专业化的乳液研发及技术支持团队。
江苏上觉文化传播有限公司是一家常州广告公司，专业从事常州VI设计、样本画册设计、常州包装设计、常州LOGO设计、常州品牌设计、常州品牌策划、常州品牌设计策划、常州标志设计、常州样本设计、常州画册设计、常州宣传册设计、标志设计的专业服务商。电话：400-8383-955
歌林专业从事燃气节能，集自主研发、生产制造和技术服务为一体，为餐饮业提供节能减排、降本增效解决方案。 歌林以合同能源管理的业务合作模式，免费改造客户厨房炒灶及蒸汽供应系统，并提供终身免费维保，节能率达到30-70%。 歌林以自建的物联网低碳服务平台为纽带，整合食材供应链优势资源和高精尖餐饮节能技术，从开源和节流两端发力，全方位为餐饮企业赋能。
深圳软装设计公司为您提供深圳地区软装设计,配饰设计,及福州样板房设计等选择设计公司就来北牧空间设计
考而思教育:英国,美国,加拿大,澳洲留学生海外课程在线辅导,作业网课定制化补习,学术论文写作指导,考试培训,Alevel课程辅导机构,为您的留学之路,保驾护航,提升GPA。
专业家教网站，能够提供语文， 数学，英语，物理，化学等学科以及奥数，小提琴，钢琴，书法，计算机 等全方位的家庭教育服务。为广大学员提供各学科的兼职家教老师和专职家庭教师，帮助小学教师、中学教师和大学生家教寻求家教兼职。
8月16日，长城控股集团与江苏省锡山经济技术开发区签约战略合作，无锡极电光能科技有限公司，以下简称，极电光能，全球总部及钙钛矿创新产业基地项目、长城汽车旗下蜂巢易创第三代半导体模组封测制造基地项目落地锡山经济技术开发区，计划投资38亿元，长城极电光能全球总部及钙钛矿创新产业基地项目签约仪式现场长城汽车蜂巢易创第三代半导体模组封测制造...。
苹果iphone6s发布在即，三星和台积电目前都已经准备好了14，16nmFinFET工艺，这两家公司也因此成为今年下半年将推新款iPhone所用A9主芯片的代工厂，不过苹果正要求三星电子和台积电对生产的芯片进行降价，据说三星已经同意了降价，而且还会给苹果提供几近免费的A9芯片后端服务，很显然，三星非常希望成为苹果芯片的主供应商，知情...。
发表在极米投影仪2021，2，2218，00应该有不少拥有极米投影仪的网友都有过用U盘安装第三方软件的经历，这个过程还是比较麻烦的，今天就来给大家分享一个不用U盘就能安装第三方软件的方法，1、以安装当贝市场为例，打开手机浏览器，搜索当贝市场官网，然后点击立即下载当贝市场，将安装包下载到手机上；2、先将手机和极米投影仪连接同一个无线网，...。
美国入选总统特朗普外地期间11月10日晚经过社交媒体发表，他将任命美国移民与海关执法局前代理局长汤姆·霍曼在新政府中主管边陲事务，特朗普在帖文中称，霍曼将，担任咱们国度的边陲，包含但不限于南部边陲、北部边陲、一切海上和航空安保，特朗普将打击合法移民作为其竞选的外围内容，承诺将把合法移民大规模驱逐出境，霍曼曾在特朗普的第一个任期内担任...。
[全球网报道记者姜蔼玲]外地期间13日，前美国总统特朗普在美国宾夕法尼亚州举办的竞选集会上宣布演讲时，现场突然响起枪声，特朗普被特勤局人员护送分开，美联邦考查局随后发申明称，确认枪击特朗普的枪手身份为20岁宾夕法尼亚州女子托马斯·马修·克鲁克斯，事发时其经常使用一支AR，15型步枪，后被当场击毙，无关克鲁克斯更多信息，成为美媒关注焦点...。
[全球网报道记者姜蔼玲]韩国，中央日报，11日报道称，正在华盛顿加入北约峰会的韩国总统尹锡悦外地期间10日与乌克兰总统泽连斯基会面，韩国国度安保室当日举行资讯颁布会，称将为乌克兰及其国民提供所需声援，此信息经韩媒报道后，引发不少韩国网友不满，有网友称，，此举，令人寒心，，非要四处抚慰抗争迸发吗，报道称，今日晚宴前，尹锡悦夫妇和泽连...。
申明中称，这些快艇装备现代化导航系统，能够极速、机动口头各种海上进攻义务，还将介入口头黑海海上走廊的安保义务，总台记者王晋燕，卫生间五金挂件什么材质比较好卫生间五金挂件铝合金或304不锈钢材质比较好，今天惠州市黄金回收价格是多少钱一克，170，200看焊点多少黄金的价格走势和哪些因素有关系?影响黄金价格的因素有很多，包括国际政治、各...。
宝马530Li是国产是分典雅，上游，奢侈，3个型号多少钱从6072万之间应该还有活动的是不是国产从530Li的quotLquot来看L是延长是宝马公司专门针对中国市场研发的车型只要华晨宝马在消费这个车型所以不用管有没有华晨宝马，日前宝马汽车官方显示，华晨宝马530Le里程更新版上市新车换装了通过更新的第四代eDrive系统，电池容量从...。
日产370z敞篷版是一款备受注目标跑车，假设你想购置它，可以返回4S店启动购置，日产370z敞篷版在中国市场备受欢迎，而且是一款口碑极佳的车型，关于日产来说，中国市场是一个极速开展的、越来越共性化的市场，与其余车型不同，370z敞篷版并没有延长，反而缩小了长度、轴距和高度，从而提高了行驶稳固性，只管以跑车的规范来看，内饰或者显得个别，...。
假设是看小说的话，可以到这些网站去看看，1.飞库网，爱书网，小说浏览网，看书网，天下小说网，小说书楼，小说下载网，小说下载网，歪歪书吧，云轩阁，醉露书院，海量小说网，手打小说网，倚天中文网，红袖添香，阿巴达小说，小说之家，星月书吧，小说下载，世纪文学小说网，小说下载网，茶余饭后电子书，请各位介绍几个收费看书的好网站，法律法规，现代文学...。
大霸王1.3用的是东安D系列发起机1.5的才是4G15S开售员忽悠你了我是沈阳卖哈飞的面包这玩意其实都差不多你问问周围用车的让他们给介绍团体感觉五菱外型差点哈飞路尊大霸王的发起机能否是前置，是的，咱们是哈飞的哈飞路尊大霸王1.3排量的是什么发起机，会不会是小马拉大车，三菱改的，不会，不过也只是够用罢了，...。
2022蚂蚁庄园9月22日今日支付宝蚂蚁庄园每日一题庄园小课堂今日问题：秋季是收获的季节，秋分也是我国的？关于这方面的知识内容很多人都不是太了解，下面就为大家公布蚂蚁庄园小课堂今日问题正确答案。,蚂蚁庄园9月22日今日答案秋季是收获的季节秋分也是我国的
雷锋网消息，去年，索尼展示了一款酷炫的概念投影仪产品，今年，索尼终于要将这款产品推向市场了，索尼的这款智能投影仪的名称为XperiaTouch，它可以看做是智能音箱、投影仪以及虚拟安卓平板的结合体，根据索尼的官方消息，XperiaTouch的售价为1499欧元，约合人民币10893元，，将于春季开售，XperiaTouch虽然外表看起...。
杀害茆盛泉孙某司机会判刑十年以上有期徒刑，无期徒刑或者是死刑，本案当中警方对肇事的驾驶员是以故意伤害刑拘的，结合路口交警的前因后果来看，从主观故意来说，应该还是个故意伤害，如果是故意伤害，按照本案的结果是致人死亡了，判决规定是十年以上有期徒刑，无期徒刑或者是死刑，年仅32岁的闵行交警茆盛泉因阻止交通违法行为被拒，遭涉事宝马车拖行近10...。
发表在投影仪百科2022，3，2914，13LCOS和DLP都是显示技术，其中DLP是目前家用投影仪常用的技术，而LCOS技术并不常用，但是米家近期推出的全色激光电视上使用了该技术，那么LCOS和DLP有什么区别呢，为什么DLP技术使用的较多，而LCOS技术使用的较少呢，下面就通过多方面对比分析两者的不同以及各自的优势，一、DLP技术...。
招商，简单可以诠释成，人与人之间的关系，它是一项选择，也是一项替选，根据中华人民共和国商法，招商，即招揽商户，它是指发包方将自己的服务、产品面向一定范围进行发布，以招募商户共同发展，企业需要招商，营销企业也需要招商，招商是企业营销过程中的关键环节之一，是企业将产品推向市场的必由之路，招商无非就是要寻找加盟商，让他们打款进货，加盟企业的...。
华数TV彩虹Box、一、百度搜索，当贝市场，，进入官网下载最新版本apk文件，或点击直接下载，http，dlap1.dbkan.com，update，dangbeimarket.apk，，并拷贝进u盘，附，当贝市场官网，http，www.dangbei.com，XXX，unicom.dat，可以是省拼音，名字的空文件夹，再把下...。
