云霞资讯网

计算机科学工程硕士:重塑3D生成视觉未来

在人工智能不断重新定义创作边界的今天,一种新方法正使得从日常网络照片中生成逼真3D环境变得更容易,为游戏、虚拟旅游和文化

在人工智能不断重新定义创作边界的今天,一种新方法正使得从日常网络照片中生成逼真3D环境变得更容易,为游戏、虚拟旅游和文化遗产保护等行业开启了新的可能性。

这项名为“WildCAT3D”的新框架由美国康奈尔大学(Cornell University)计算与信息科学学院的助理教授Hadar Averbuch-Elor等研究者开发。该框架极大拓展了 “新颖视角合成” 技术的潜力——这项技术能够仅凭一张现有照片,就创造出场景的真实新视角。

研究成果于近期在神经信息处理系统大会(NeurIPS)上发布,旨在解决当前3D图像生成技术的一个关键局限:即大多数系统只能从小型、精心策划的数据集中学习,这些数据集与人们实际拍摄并分享到网上的杂乱、不一致的图像毫无相似之处。

具体来说,WildCAT3D展示了如何利用大量自由获取的图像来训练计算机,例如游客快照、在不同天气、光照和季节下拍摄的照片,或是部分被遮挡的场景。尽管这些图像正是驱动虚拟旅游、视频游戏、历史保存和沉浸式地图等应用的关键,但它们因存在高度不一致性,传统上无法用于现有模型。

研究人员表示,其主要挑战在于如何设计一个能够从“野外”互联网图像集中学习的多视角扩散模型。因为这些图像在光照、天气、临时物体等方面表现出显著差异。

为此,WildCAT3D帮助人工智能专注于场景中的关键要素。系统不会被光照、天气或相机角度的变化所干扰,而是学会识别地点的稳定结构,同时将这些视觉差异视为暂时的细节。

这种方法显著提升了技术的实用性。WildCAT3D可以仅凭单张照片,生成同一地点的多个逼真视角,使得“环视” 一个仅被拍摄过一次的场景成为可能。由此,更丰富的虚拟旅游体验、更具沉浸感的视频游戏,以及更精确的现实世界位置数字重建得以实现。

WildCAT3D还能让创作者和研究人员,轻松探索同一场景在不同天气和光照条件下可能呈现的样子。这种灵活性对于保护文化地标、在建筑或环境实际建造或修复前进行规划,以及无需昂贵且受控的专门拍摄就能创建逼真的虚拟空间而言,尤其具有价值。

Averbuch-Elor助理教授将这项工作视为迈向高质量3D场景创建大众化的一步,这意味着,不仅仅是拥有定制数据集的专门团队,任何拥有普通照片的人都可以构建逼真的数字世界。

她同时指出,这项研究在推动一个转变,即开发更多能够直接从开放许可的互联网数据中学习、保持3D一致性的生成框架,从而减少该领域对重度策划的多视角数据集的依赖。

科研关联留学专业解读

像WildCAT3D这样的前沿突破并非凭空产生,它来源于持续探索和系统化传授计算机科学核心知识的学术中。 其研究者所在的康奈尔大学计算与信息科学学院,正是培育创新思维的沃土。

计算与信息科学学院(College of Computing and Information Science)是康奈尔大学最新且发展最快的学院之一。该学院下设计算机科学系(Departments of Computer Science)、信息科学系(Departments of Information Science)、统计与数据科学系(Departments of Statistics and Data Science)。

学院强大的师资团队将培养学生站在科技发展的最前沿,并学习如何更好满足当今社会的计算与信息科学需求。

自1965年成立以来,计算机科学系塑造了信息时代,奠定了现代计算的基础,并持续引领重新定义技术可能性的创新。

作为计算领域的全球力量,本系从理论、系统和编程语言的基础研究,到人工智能、计算机视觉和计算可持续性的前沿探索,全方位驱动创新,利用计算机科学来促进跨学科创新和积极变革。

计算机科学系内的计算机科学工程硕士(Master of Engineering in Computer Science Program)是与康奈尔工程学院合作开设的。

该硕士课程为期一年(两个学期),为学生在软件开发、系统工程和技术领导领域的职业生涯提供教学与培养。学生将学习实用且与行业相关的课程,同时通过现实世界的项目获得实践经验。

该硕士课程提供软件开发和系统设计等技术专攻方向,并提供跨学科应用和商业/创业实践的机会。

计算机科学工程硕士培养学生在计算机科学诸多领域的系统设计与实现方面的专业能力。在课程选择上极具灵活性,学生能够根据个人兴趣和毕业后的就业目标,量身定制最适合自己的学习计划。

具体开设的专业课程包含:编程语言与逻辑;应用算法与数据结构;软件测试;数据库系统导论;分布式计算原理;交互设备开发与设计;大规模机器学习系统;计算机图形学导论;虚拟现实与增强现实;计算机视觉导论;人机交互与设计;机器人学基础;机器学习工程;深度学习;算法分析;密码学;工程硕士实习;工程硕士项目等。

计算机科学工程硕士常规申请要求:

(1)申请截止时间:秋季入学:2月1日;春季入学:10月1日。

(2)申请文书及材料:简历;目的陈述;个人陈述;成绩单;至少2封学术推荐信。

(3)标化考试要求:IELTS总分要求最低7.0分;TOEFL-iBT对单项有明确要求,听力单项最低15分、写作和阅读单项最低20分、口语单项最低22分。无需提交GRE。

计算机科学工程硕士课程与WildCAT3D科研的核心在于“系统实现”与“前沿洞察”的双向驱动。硕士课程中如“计算机视觉导论”、“深度学习”、“大规模机器学习系统”等,直接为学生提供了理解此类研究的基础。

而“工程硕士项目”环节,则允许学生加入类似Averbuch-Elor教授的研究团队,或将所学应用于计算机图形、VR/AR等具体领域,深度参与从论文到原型、从算法到产品的完整训练。

在就业方面,毕业生因其扎实的系统工程能力和对前沿技术(如AI、计算机视觉)的深入理解,拥有广阔的选择空间。

例如科技行业的研发岗位,在谷歌、Meta、英伟达等公司从事计算机视觉算法、图形渲染引擎、AR/VR内容生成工具、大规模机器学习基础设施的开发等。也可在游戏、影视特效、自动驾驶、智慧城市等行业,成为处理和理解复杂3D视觉数据的专业人才。

此外,该课程强调的软件工程、系统设计与团队协作能力,这使得毕业生能胜任高端软件工程师、系统架构师、技术产品经理等核心角色。具有创业精神的学生,还可以利用课程提供的商业和实践资源,在沉浸式娱乐、文化遗产数字化、新型电商等现在热门的领域内深耕发展。