中文版 | English
题名

基于 3D 光场显示的内容合成技术研究

其他题名
CONTENT SYNTHESIS BASED ON LIGHT FIELD 3D DISPLAY
姓名
姓名拼音
CHEN Ningtong
学号
12132107
学位类型
硕士
学位专业
0809 电子科学与技术
学科门类/专业学位类别
08 工学
导师
孙小卫
导师单位
电子与电气工程系
论文答辩日期
2024-05-29
论文提交日期
2024-06-24
学位授予单位
南方科技大学
学位授予地点
深圳
摘要
近年来,裸眼 3D 显示成为了新型显示的热点研究方向。相较于普通的平面显 示,裸眼 3D 显示能够提供给观看者垂直于屏幕方向的信息,从而增加观看的沉浸 感,进而增加远程交互的真实感和精确度。
在本文中,首先制作了一套完整的柱状透镜多视点裸眼 3D 显示器,并根据该显示器编写了一套用于校正和实时渲染的插件。在制作过程中,针对多视点内容 获取的问题,本文进行了详细讨论与研究。
多视点裸眼 3D 显示的图像需要匹配屏幕本身的底层像素(或子像素)映射, 而随着观看者观看位置的改变,这一映射关系也可能随之发生一定变化。因此,多 视点裸眼 3D 所显示的内容需要特殊的处理。这对于内容的刷新速度提出了一定 挑战。另一方面,裸眼 3D 光场显示需要不同位置的多视点内容,这些内容目前主 要通过两种方式获取。第一是从现实空间中获取,但是常见的采集方法过于复杂, 不适合于普通用户拍摄使用,因此不利于裸眼 3D 技术的普及与发展。针对这一问 题,本文提出了一种使用单张 RGB 图片及相应深度图,实时合成出大量视点的视 点生成方法。在使用 GPU 加速下,该方法可以使用简单的图源直接生成相应的裸 眼 3D 图像。这种方法降低了裸眼 3D 内容获取的难度。
另一种获取裸眼 3D 内容的方法是从虚拟空间获取多视点的内容。用于虚拟现实应用的裸眼 3D 光场显示器需要高帧率、低延迟和多视点渲染。这对任何呈现方 法都是一个具有挑战性的用例,特别是同时生成大量视点时需要极大的算力,其 本质原因是渲染全分辨率的各个视点的图像的过程存在大量算力浪费。在本文中, 提出了一种显著提高极多视点裸眼 3D 图像生成性能的方法。通过计算子像素的 光线路径,结合基于光线追踪渲染来实现的,可以在得到完全一致的图像效果时, 减小渲染多视点图像时的算力浪费。使用 CUDA 代码优化后,渲染一张分辨率为 3840×2160 的裸眼 3D 图片的帧率可以达到 10 /秒。评估和用户测试表明,与少 量视点相比,超多视点裸眼 3D 图片甚至类光场图片的运动视差更为平滑,对于观 看位置的宽容度更高,并且物体边界更为清晰。该方法使得超多视点的实时渲染 成为可能。
 
关键词
语种
中文
培养类别
独立培养
入学年份
2021
学位授予年份
2024-06
参考文献列表

[1] 吴金建. 基于人类视觉系统的图像信息感知和图像质量评价[J]. 西安: 西安电子科技大学, 2014.
[2] LAWRENCE J, GOLDMAN D B, ACHAR S, et al. Project Starline: A high-fidelity telepres￾ence system[Z]. 2021.
[3] 万文强. 基于衍射光学的裸眼 3D 显示研究[D]. 苏州: 苏州大学, 2018.
[4] KIM N, PHAN A H, ERDENEBAT M U, et al. 3D display technology[J]. Disp. Imag, 2014, 1(1): 73-95.
[5] WETZSTEIN G, LANMAN D, HEIDRICH W, et al. Layered 3D: tomographic image synthesisfor attenuation-based light field and high dynamic range displays[M]//ACM SIGGRAPH 2011papers. 2011: 1-12.
[6] SON J Y, JAVIDI B, KWACK K D. Methods for displaying three-dimensional images[J].Proceedings of the IEEE, 2006, 94(3): 502-523.
[7] VIENNE C, SORIN L, BLONDÉ L, et al. Effect of the accommodation-vergence conflict onvergence eye movements[J]. Vision research, 2014, 100: 124-133.
[8] FAVALORA G E, DORVAL R K, HALL D M, et al. Volumetric three-dimensional displaysystem with rasterization hardware[C]//Stereoscopic Displays and Virtual Reality Systems VIII:Vol. 4297. SPIE, 2001: 227-235.
[9] 李春锦. 基于双目立体视觉 3D 显示检测系统的研究[D]. 浙江大学, 2016.
[10] WETZSTEIN G, LANMAN D, HEIDRICH W, et al. Layered 3D: tomographic image synthe￾sis for attenuation-based light field and high dynamic range displays[C/OL]//SIGGRAPH ’11:ACM SIGGRAPH 2011 Papers. New York, NY, USA: Association for Computing Machinery,2011. https://doi.org/10.1145/1964921.1964990.
[11] WETZSTEIN G, LANMAN D, HIRSCH M, et al. Tensor displays: compressive light fieldsynthesis using multilayer displays with directional backlighting[J/OL]. ACM Trans. Graph.,2012, 31(4). https://doi.org/10.1145/2185520.2185576.
[12] JONES A, NAGANO K, LIU J, et al. Interpolating vertical parallax for an autostereoscopicthree-dimensional projector array[J]. Journal of Electronic Imaging, 2014, 23(1): 011005-011005.
[13] SOKOLOV A. Autostereoscopy and integral photography by Professor Lippmann’s method[J].Izd. MGU, 1911.
[14] SANG X, GAO X, YU X, et al. Interactive floating full-parallax digital three-dimensional light￾field display based on wavefront recomposing[J]. Optics express, 2018, 26(7): 8883-8889.
[15] XIA Y P, XING Y, REN H, et al. Integral imaging tabletop 3D display system based on com￾pound lens array[C]//VR/AR and 3D Displays: First International Conference, ICVRD 2020,Hangzhou, China, December 20, 2020, Revised Selected Papers 1. Springer, 2021: 14-20.
[16] 马群刚. 3D 显示技术[M]. 电子工业出版社, 2020.
[17] FATTAL D, PENG Z, TRAN T, et al. A multi-directional backlight for a wide-angle, glasses￾free three-dimensional display[J]. Nature, 2013, 495(7441): 348-351.
[18] KREBS P, LIANG H, FAN H, et al. Homogeneous free-form directional backlight for 3Ddisplay[J]. Optics Communications, 2017, 397: 112-117.
[19] ZHAO J, DING Y, DAI Z, et al. Viewing Zone Expansion of Autostereoscopic Display WithComposite Lenticular Lens Array and Saddle Lens Array[J/OL]. IEEE Photonics Journal, 2023,15(4): 1-6. DOI: 10.1109/JPHOT.2023.3301559.
[20] 韩冬雪. 多视点裸眼 3D 电视的虚拟视点生成方法研究[D]. 山东大学, 2019.
[21] ROGMANS S, LU J, BEKAERT P, et al. Real-time stereo-based view synthesis algorithms:A unified framework and evaluation on commodity GPUs[J/OL]. Signal Processing: ImageCommunication, 2009, 24(1): 49-64. https://www.sciencedirect.com/science/article/pii/S0923596508001124. DOI: https://doi.org/10.1016/j.image.2008.10.005.
[22] MILDENHALL B, SRINIVASAN P P, ORTIZ-CAYON R, et al. Local light field fusion: Prac￾tical view synthesis with prescriptive sampling guidelines[J]. ACM Transactions on Graphics(TOG), 2019, 38(4): 1-14.
[23] NIKLAUS S, MAI L, YANG J, et al. 3d ken burns effect from a single image[J]. ACM Trans￾actions on Graphics (ToG), 2019, 38(6): 1-15.
[24] SHIH M L, SU S Y, KOPF J, et al. 3d photography using context-aware layered depth inpainting[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2020: 8028-8038.
[25] MILDENHALL B, SRINIVASAN P P, TANCIK M, et al. Nerf: Representing scenes as neuralradiance fields for view synthesis[J]. Communications of the ACM, 2021, 65(1): 99-106.
[26] GARBIN S J, KOWALSKI M, JOHNSON M, et al. Fastnerf: High-fidelity neural rendering at200fps[C]//Proceedings of the IEEE/CVF international conference on computer vision. 2021:14346-14355.
[27] DENG K, LIU A, ZHU J Y, et al. Depth-supervised nerf: Fewer views and faster training for free[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2022: 12882-12891.
[28] SUHAIL M, ESTEVES C, SIGAL L, et al. Light field neural rendering[C]//Proceedings of theIEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022: 8269-8279.
[29] TIAN F, DU S, DUAN Y. Mononerf: Learning a generalizable dynamic radiance field frommonocular videos[C]//Proceedings of the IEEE/CVF International Conference on ComputerVision. 2023: 17903-17913.
[30] XIONG Z L, LI S L, CHEN J, et al. Nonunified integral imaging elemental image array gener￾ation method based on selective pixel sampling algorithm[J]. Applied optics (2004), 2015, 54(9): 2532-2536.
[31] SYED I A, DATAR M, PATKAR S. Accelerated Stereo Vision Using Nvidia Jetson and IntelAVX[C]//Computer Vision and Image Processing: 5th International Conference, CVIP 2020,Prayagraj, India, December 4-6, 2020, Revised Selected Papers, Part II 5. Springer, 2021: 137-148.
[32] XING S, SANG X, CAO L, et al. High-speed integral image object-order rendering method based on reverse perspective technique and optical reconstruction[J/OL]. Optik, 2020, 202:163025. https://www.sciencedirect.com/science/article/pii/S0030402619309027. DOI: https://doi.org/10.1016/j.ijleo.2019.163025.
[33] REN H, WANG Q H, XING Y, et al. Super-multiview integral imaging scheme based on sparsecamera array and CNN super-resolution[J/OL]. Appl. Opt., 2019, 58(5): A190-A196. https://opg.optica.org/ao/abstract.cfm?URI=ao-58-5-A190. DOI: 10.1364/AO.58.00A190.
[34] 申瑞瑶. 并行随机渐进式光子映射算法在快速光场渲染中的应用[D]. 北京邮电大学.
[35] YU X, LI H, SANG X, et al. Aberration correction based on a pre-correction convolutionalneural network for light-field displays[J/OL]. Opt. Express, 2021, 29(7): 11009-11020. https://opg.optica.org/oe/abstract.cfm?URI=oe-29-7-11009. DOI: 10.1364/OE.419570.
[36] CAO S, MA H, LI C, et al. Dual convolutional neural network for aberration pre-correctionand image quality enhancement in integral imaging display[J/OL]. Opt. Express, 2023, 31(21):34609-34625. https://opg.optica.org/oe/abstract.cfm?URI=oe-31-21-34609. DOI: 10.1364/OE.501909.
[37] ZHAO W X, WANG Q H, WANG A H, et al. Autostereoscopic display based on two-layerlenticular lenses[J]. Optics letters, 2010, 35(24): 4127-4129.
[38] WANG Y, LI M, SURMAN P, et al. A Low-cost Eye-tracking Autostereoscopic Three dimensional Display System[C]//2021 Photonics & Electromagnetics Research Symposium(PIERS). IEEE, 2021: 391-395.
[39] SURMAN P, ZHENG C, ZHANG C, et al. Determining depth of field for slanted lenticular 3Ddisplays[J]. Optics Continuum, 2023, 2(9): 1929-1940.
[40] 李剑. 基于双目相机的虚拟视点实时绘制系统研究[D]. 哈尔滨工业大学, 2020.
[41] FEHN C. Depth-image-based rendering (DIBR), compression, and transmission for a newapproach on 3D-TV[C]//Stereoscopic displays and virtual reality systems XI: Vol. 5291. SPIE,2004: 93-104.
[42] WAN W, WANG J, ZHANG Y, et al. A comprehensive survey on robust image watermarking[J]. Neurocomputing, 2022, 488: 226-247.
[43] OVERES J. Occlusion filling in depth-image-based rendering[Z]. 2009.
[44] TELEA A. An image inpainting technique based on the fast marching method[J]. Journal ofgraphics tools, 2004, 9(1): 23-34.
[45] AKENINE-MOLLER T, HAINES E, HOFFMAN N. Real-time rendering[M]. AK Peters/crcPress, 2019.
[46] LAINE S, KARRAS T. Efficient sparse voxel octrees[C]//Proceedings of the 2010 ACM SIG GRAPH symposium on Interactive 3D Graphics and Games. 2010: 55-63.

所在学位评定分委会
电子科学与技术
国内图书分类号
TN27
来源库
人工提交
成果类型学位论文
条目标识符http://sustech.caswiz.com/handle/2SGJ60CL/766078
专题工学院_电子与电气工程系
推荐引用方式
GB/T 7714
陈凝潼. 基于 3D 光场显示的内容合成技术研究[D]. 深圳. 南方科技大学,2024.
条目包含的文件
文件名称/大小 文献类型 版本类型 开放类型 使用许可 操作
12132107-陈凝潼-电子与电气工程(44789KB)----限制开放--请求全文
个性服务
原文链接
推荐该条目
保存到收藏夹
查看访问统计
导出为Endnote文件
导出为Excel格式
导出为Csv格式
Altmetrics Score
谷歌学术
谷歌学术中相似的文章
[陈凝潼]的文章
百度学术
百度学术中相似的文章
[陈凝潼]的文章
必应学术
必应学术中相似的文章
[陈凝潼]的文章
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
[发表评论/异议/意见]
暂无评论

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。