Um light field é uma técnica de image-based rendering que utiliza múltiplas vistas de uma cena através de diferentes pontos de vista. A ideia basilar é capturar a luz que chega da cena num conjunto de dados. A condição de luz de uma cena pode ser caracterizada através da dimensão 5 da função plenoptic function que descreve o fluxo de luz (radiância) em cada ponto no espaço de dimensão 3 (3 graus de liberdade) em qualquer direcção (2 graus de liberdade). Assumindo um objecto limitado e um espaço envolvente transparente a radiância não muda ao longo de uma linha de vista. Isto reduz o espaço de dimensão 5 a um espaço de dimensão 4. Os raios que especificam a direcção do fluxo de luz são parametrizados pelas coordenadas da intersecção da linha com os dois planos paralelos, sendo esta a primeira representação adoptada.

Representação dos planos uv e st.

Por convenção o sistema de coordenadas do primeiro plano é (u,v) e do segundo (s,t). Uma linha orientada é definida unindo um ponto no plano uv a um ponto no plano st. Na prática u, v, s e t foram restringidos a valores entre 0 e 1 e esses pontos em cada plano ficam restritos a estar num quadrilátero convexo. É chamada a esta representação de light slab . Intuitivamente um light slab representa um feixe de luz que entra num quadrilátero e sai por outro.

Por convenção o plano de câmara tem as coordenadas (u,v), o plano focal tem as coordenadas (s,t). Esta estrutura pode ser conseguida colocando a câmara com o eixo óptico de forma perpendicular aos planos. O plano focal pode ser interpretado como o plano imagem da câmara sendo (s,t) a posição do pixel. O 4-uplo (u,v,s,t) contem a informação da cor do pixel (s,t) na posição de vista (u,v). Para obter uma descrição completa que permita uma posição arbitrária do ponto de vista podem ser utilizados 6 pares de planos cada um alinhado num lado de um cubo. Claro que, outras posições e direcções de câmara podem ser utilizadas para a aquisição do light field , se o espaço 4-D resultante é re-amostrado de modo a coincidir com a representação do light field .

Esta representação é denominada light field . O conceito de lumigraph é idêntico, apesar de conter mais informação, envolvendo alguma geometria da cena.

O light field (de facto um subconjunto deste) é então representado por L(u,v,s,t) e discretizado por todas as linhas possíveis entre os dois planos definidos por grelhas rectangulares impostas em cada plano. O plano uv é subdividido em quadrados onde cada vértice forma o centro de projecção, com um subconjunto rectangular do plano st como a janela do plano de vista forma uma imagem associada. Como há uma imagem associada a cada ponto da grelha do plano uv , e uma radiância associada com cada combinação ( u,v,s,t ) representando linhas que intersectam o convex hull da cena. Isto descreve como formar um light slab . De modo a cobrir todas as possíveis direcções dos raios, são necessárias seis cópias – três rotações ortogonais e, em cada caso, duas direcções.

Uma vez construído o light field pode ser utilizado para sintetizar uma imagem através de uma câmara virtual que não corresponde ao conjunto de câmaras no plano uv . Uma nova imagem pode ser formada através da amostragem do conjunto de respectivas linhas através do ponto de vista nas direcções requeridas.

A abordagem do light field foi desenhado como um método para criar novas vistas de imagens de cenas reais. Supondo que são tiradas fotografias digitais sob condições restritas formando um conjunto de pontos de vista e direcções associadas com os planos uv . Claramente este conjunto de imagens pode se utilizado para criar um light field . Um light field virtual, ou seja, um light field para cenas virtuais, pode ser construído utilizando um sistema diferente de rendering de modo a formar imagens.

Representações dos Light Fields

A representação em 2PP tem vantagens computacionais, especialmente relacionadas com armazenamento (imagens rectangulares) e a utilização de hardware para a síntese de imagem (especialmente de textura) para a reconstrução. Contudo, a representação não dá uma distribuição uniforme dos raios no espaço 4D- por outras palavras, se se pensar num raio arbitrário no espaço, nem todos os raios são iguais nem têm o mesmo grau de aproximação de representação no espaço de light field . Na prática, significa que a qualidade da imagem sintetizada vai ser uma função de um ponto de vista e de uma direcção de vista. Pontos de vista próximos do centro do plano uv, e direcções ortogonais a este plano irão resultar em melhores imagens do que aquelas que tem o ponto de vista fora de um lado com direcções de vista oblíquas – simplesmente porque o número e a distribuição dos raios será diferente em posições diferentes.

Camahort e Fussel apresentaram um estudo para três representações alternativas de light fields – em 2 planos paralelos, a representação através de duas esferas e a representação através de uma direcção e um ponto. A representação através de duas esferas envolve colocar uma esfera à volta de uma cena, e fazer a partição da esfera numa grelha uniforme. Então todas as ligações entre todos os vértices na esfera formam a parametrização. A representação através de uma direcção e um ponto envolve também a colocação de uma esfera à volta da cena. Depois escolhe-se um ponto aleatório na superfície da esfera. Isto define um vector desde a origem até esse ponto. Considere-se o plano ortogonal a esse vector e através do centro da esfera, e limitado pela esfera, ou seja, um disco na origem da esfera. Escolha-se agora um conjunto de pontos uniformemente distribuídos no disco, como a origem de raios na mesma direcção do vector original. A colecção de todos esses raios irão formar um conjunto uniformemente distribuído de raios no espaço de raio. Cada raio é representado pela sua direcção e pela sua intersecção no disco através da origem. Uma representação de duas esferas diferente foi introduzida onde se colocava uma esfera à volta da cena e depois um conjunto de esferas mais pequenas na superfície das esferas na fronteira para representar direcções.