[Multifocal Display] Multifocal displays: review and prospect – part. 2. Space-Multiplexing

Posted by

Source: https://doi.org/10.1186/s43074-020-00010-0

멀티포컬 디스플레이는 다양한 방법으로 구현될 수 있으며, 일반적으로는 공간 다중화(Space-multiplexing), 시간 다중화(Time-multiplexing), 편광 다중화(Polarization-multiplexing), 파장 다중화(Wavelength-multiplexing) 등의 방법이 사용된다.

Space-Multiplexing(공간 다중화)

Space-multiplexing은 다중 초점 디스플레이를 만드는 가장 전통적인 방법 중 하나이다. 이 방법은 공간적으로 다른 초점 깊이를 가진 여러 개의 하위 패널을 사용하여 다중 초점 디스플레이를 만드는 것이며, 이러한 하위 패널은 다양한 방법으로 만들어질 수 있다. 예를 들어, Transparent display/screen stack(투명 디스플레이/스크린 스택), Optical combiner stack(광학 결합기 스택), Optical space-to-depth mapping(광학 공간-깊이 매핑) 등이 있다.


Transparent display/screen stack

Multifocal display designs based on transparent display/screen stacks.

위 그림은 , Transparent display/screen stack을 기반으로 한 다중 초점 디스플레이 디자인의 세 가지 방법을 보여준다.

(a) Transparent display stack(Rolland et al. [30])
Rolland et al. [30]은 두꺼운 Transparent display stack을 사용한 다중 초점 HMD(Head-Mounted Display, 헤드 마운트 디스플레이)를 제안했다. 이 디스플레이는 HVS(Human Visual System, 인간 시각 시스템)의 시력, 입체 시력, 동공 크기를 기반으로 최적의 초점 평면 배열을 제안되었는데, 이는 가상 평면이 DOF(Depth of Field, 필드 깊이) 범위 내에서 0에서 2 디옵터(D)까지의 초점 깊이에 선형으로 배치되며, 1/7 디옵터(D) 간격으로 배치되었다. 투명 디스플레이 패널은 거리 기반 멀티포컬 디스플레이의 가장 단순한 구현을 가능하게 할 수 있지만, 현재로서는 투명 디스플레이가 일반 평판 디스플레이와 같거나 가까운 품질의 이미지를 높은 투과율로 나타내는 것이 필요하다.
대부분의 투명 디스플레이는 발광영역을 줄이고 비발광영역을 더 많이 확보하여 반투명성을 확보한다. 이런 유형의 투명디스플레이에서는 투명성과 밝기 사이에 Trade-off 관계가 있다. 또한 발광 영역과 투명 영역 사이에서도 투과도 차이가 있으므로, 디스플레이 패널을 통과하는 빛의 회절은 뒷면 패널의 이미지 품질을 저하시킬 수 있고, 여러 패널을 통과하는 동안 Moiré effect(모아레 효과)가 발생하여 이미지의 품질과 해상도를 저하시킬 수 있다.

(b) Transparent dynamic fog screens(Lee et al. [42])
이 방법은 Fog screen에 2D 이미지를 투사시켜 다중 초점을 생성한다. Fog screen은 Non-turbulent 공기 유동을 포함하는 얇은 시트로 구성된다. Fog screen을 이러한 스크린은 빛을 산란시켜 깊이가 있는 흐림을 만들며, 이 방법은 사용자가 직접 3D 장면을 걸을 수도 3D 객체를 조작할 수도 있다. 투사된 이미지는 관찰자의 두 눈의 중앙을 위한 알고리즘에 기반하여 렌더링되므로, 두 눈을 뜨고 있는 이미지에는 항상 오류가 있으며 , 하드웨어가 복잡하고 피로감을 유발할 수 있다.

(c) Holographic scattering screen stack( Lee et al. [46])
최근에는 Lee et al. [46]이 Holographic optical elements(홀로그래픽 광학 요소(HOEs))를 기반으로 한 Dual-focal projection-type see-through display(이중 초점 투사형 투명 디스플레이)를 제안했다. 각 홀로그래픽 스크린은 Bragg condition(브래그 조건)을 만족하는 특정 방향에서만 빛을 산란시키므로, 적절한 공간 구성을 통해 각 HOE(홀로그래픽 광학 요소) 스크린은 약 90%의 투과율을 가진 투명한 2D 초점 평면으로 작동할 수 있다. 이 방법은 Transparent dynamic fog screens보다 더 안정적이고 더 낮은 하드웨어 요구 사항을 가지며, 정적인 홀로그래픽 스크린을 사용하여 더 안정적이고 더 선명한 이미지를 제공할 수 있다.

Bragg Condition

Bragg condition(브래그 조건)은 X선이나 중성자 등의 입사파가 결정 격자에서 산란되었을 때, 간섭이 최대가 되는 조건을 설명한다. 이 조건은 1912년에 영국의 William Lawrence Bragg와 William Henry Bragg에 의해 처음 제시되었으며, 그들의 이름을 따서 ‘브래그 조건’이라고 불리운다.
브래그 조건은 다음과 같이 표현된다:

nλ = 2d sinθ

여기서 n은 정수(1, 2, 3, …), λ는 입사파의 파장, d는 결정 격자의 간격, θ는 입사파와 결정 격자 표면 사이의 각도를 나타낸다.

이 조건은 결정 구조의 분석에 사용되며, X선 회절이나 중성자 회절 분석에 널리 적용된다. 즉, 브래그 조건을 만족하면 입사파와 산란파 사이에 간섭이 발생하며, 이 간섭 패턴을 분석함으로써 결정 구조를 파악할 수 있다.


Optical combiner stack

Multifocal display designs based on optical combiner stacks.

Optical combiner stack은 다중 초점 디스플레이를 만드는 데 사용되는 하나의 방법이다. 이 방법은 디스플레이나 프로젝션 스크린을 직접 쌓는 대신에, 여러 개의 Optical combiner(광학 결합기)를 쌓아서 다중 초점 디스플레이를 만드는 것이다. 이러한 Optical combiner에는 Beam splitters, Freeform prisms, Lightguide 등이 있다. 이러한 Optical combiner는 디스플레이 패널을 여러 개의 하위 패널로 나누어 각각 다른 초점 깊이를 가지도록 만든다.

(a) Beam splitters(Akeley et al. [47])
Akeley et al. [47]은 쌓인 Beam splitter를 이용하여 LCD 패널을 세 개의 하위 패널로 나누어 세 초점을 가진 다중 초점 디스플레이 프로토타입을 설계하고 제시했다.
Suyama et al. [48]은 두 개의 LCD 패널을 결합하기 위해 Beam splitter를 사용하는 이중 초점 깊이 결합 디스플레이를 구축했다.
Beam splitter는 사용자 앞의 축에 정렬되며, 초점 평면을 Cascading하고 투과 시키는 기능을 통해 다중 초점 디스플레이를 구현한다.

(b) Freeform prisms, Lightguide(Cheng et al. [32])
이 방법은 증강 현실 디스플레이용 Optical Combiner로 구별되는 유형으로, Freeform Optical은 Off-axis 동작을 가능케 하며 HMD(Head-Mounted Display)디자인에서 더 많은 자유도를 제공하며, 여러 개의 Optical combiner를 쌓아서 다중 초점 디스플레이를 만든다. 이러한 광학 결합기에는 Freeform prism과 Lightguide가 포함된다.
Cheng 등 [32]은 두 개의 Freeform prism을 쌓아 공간 다중화 이중 초점 근접 디스플레이를 제안했는데, 두 Prism 모두 마이크로 디스플레이를 장착하고 있다. 투과 및 가상 이미지에 대해 적당한 대비와 해상도를 유지하기 위한 까다로운 광학 디자인 과정이 필요하고, 부피가 크고, 소형화가 매우 어렵다. 제안된 디자인에서 시청 거리는 1.25 m에서 5 m까지 범위에 있으며, 1.25 m보다 가까운 3D 객체를 지원하기 위해서는 더 많은 Prism들이 광학 축에 쌓여야 하며, 이는 Combiner를 더욱 두껍게 만들 것이다.


Optical space-to-depth mapping

Multifocal display designs by optical space to depth mapping.

Optical space-to-depth mapping은 다중 초점 디스플레이를 만드는 데 사용되는 또 하나의 방법이다. 이 방법은 디스플레이 패널을 여러 개의 하위 패널로 나누어 각각 다른 초점 깊이를 가지도록 만드는 것이다. 이러한 하위 패널은 공간적으로 다른 초점 깊이를 가지도록 광학적으로 매핑된다. 각 픽셀을 다른 깊이에 매핑하기 위해 LCoS(Liquid-crystal-on-silicon) SLM(Spatial light modulator)와 같은 SLM(공간 광 모듈레이터)를 사용하는 것이다. 이러한 SLM은 빛의 파장을 변형시켜 특정 픽셀이 다른 깊이에서 오는 것처럼 보이게 만들며, 이를 통해 디스플레이는 여러 초점 거리를 가지게 되는 3D 효과를 만들어 낼 수 있다.

LCoS(Liquid-crystal-on-silicon) SLM

실리콘 Backplane위에 액정층을 사용하는 소형 “반사 액정 디스플레이” 또는 “마이크로 디스플레이” 또는 공간 광 변조기(SLM: Spatial light modulator)라고도 한다.

LCoS 디스플레이에서 CMOS 칩은 칩 표면 바로 아래에 매설된 정사각형 반사 알루미늄 전극의 전압을 통해 각각 하나의 픽셀을 제어 한다.

The schematic of an LCoS structure.
Soruce: Liquid-Crystal-on-Silicon for Augmented Reality Displays, Yuge Huang et al,. Appl. Sci. 2018, 8(12), 2366
https://doi.org/10.3390/app8122366
 
Source: Wikipedia: Liquid crystal on silicon

(a) Discrete(Cui and Gao [53])
Cui와 Gao는 디스플레이 패널을 4개의 하위 패널로 나누고, LCoS(Liquid-crystal-on-silicon) SLM(Spatial light modulator)이 위치한 4f 시스템의 푸리에 평면에서 이들을 다른 깊이로 광학적으로 매핑하는 방법을 제안하였다. (a) 그림에서는 SLM은 정적인 위상 프로파일을 제시하며, 하위 패널의 구성과 LCoS SLM의 위상 패턴을 변경함으로써 초점 평면의 수를 조절할 수 있다.

Fourier plane of the 4f system

4f system은 두개의 렌즈를 이용하여 입력 이미지를 출력 이미지로 변환하는 광학 시스템을 지칭하는 용어이다. 렌즈들 사이의 거리와 렌즈와 이미지 사이의 거리가 각각 렌즈의 초점 거리(f)의 2배임을 나타낸다. 즉, 렌즈 간의 거리는 2f, 입력 이미지에서 첫 번째 렌즈까지의 거리는 f, 그리고 두 번째 렌즈에서 출력 이미지까지의 거리는 f로 설정되어 있어서 전체 시스템의 길이는 4f가 된다.

4f system은 광학 시스템에서 중요한 역할을 한다. 입력 이미지는 첫 번째 렌즈를 통과하여 푸리에 변환된 형태로 렌즈 사이의 평면에 나타나며, 이 평면을 푸리에 평면 또는 주파수 평면이라고 부른다. 두 번째 렌즈는 푸리에 평면의 이미지를 역 푸리에 변환하여 원래의 공간 도메인으로 되돌린다.

이러한 4f system은 이미지 처리, 필터링등 다양한 분야에서 활용된다. 광학 시스템에서의 4f 구성은 입력과 출력 사이에 1:1의 대응 관계를 제공하며, 이미지 왜곡 없이 광학 신호를 전달할 수 있는 매우 효율적인 방법이다.

Basic structure of a 4f optical system.
Source: OFH, Explanation of 4f optical systems

(b) Continuous focal depths(Matsuda et al. [55])
Matsuda 등 [55]은 18° FOV를 가진 전체 색상 초점 표면 디스플레이를 제안하고 보여주었으며, 2D 디스플레이의 다른 공간 위치에 있는 픽셀들은 공간적으로 변화하는 초점 길이를 가진 SLM 기반 프로그래머블 렌즈를 사용하여 다른 깊이로 광학적으로 매핑된다. 여기서는 4f System의 부재로 인해 (a)보다 작은 공간을 차지하며, 줄어든 다중화 이미지를 포함하는 더 정교하고 깊이있는 Blur를 만들 수 있었다.

Leave a Reply

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다