Passeio noturno pelo Lago Taihe

O briefing

O governo de Qingtian queria que os visitantes percorressem a trilha do Lago Taihe depois de escurecer e encontrassem a história do próprio condado pelo caminho: peixes de arrozal brilhando, antigos barcos-gafanhoto e uma referência ao filho mais famoso da diáspora de Qingtian, Jensen Huang. A narrativa cultural e as paradas da história ficaram com a Chance 3D. Eu fui o líder técnico, sozinho. Isso incluía o mapa espacial, o runtime de AR, a camada de entrega para dois dispositivos muito diferentes e ficar na trilha durante a semana de lançamento consertando o que quebrasse.

A mídia oficial de Lishui chamou o projeto de primeira implantação de turismo cultural em XR do município. Em um único dia do Festival das Lanternas, a plataforma atendeu cerca de 3.000 visitantes e registrou aproximadamente 14.200 interações.

Por que a noite quebrava o tracking

SLAM visual ao ar livre quer geometria estável, com textura e bem iluminada. A trilha à noite não oferece nada disso.

Quase todo ponto característico forte dessa imagem é uma fonte de luz ou o reflexo dela numa água que não fica parada. Montar o mapa de dia e esperar que ele relocalize à noite não funciona: os pontos característicos em que um mapa diurno se apoia ficam invisíveis, e as que aparecem à noite nunca foram registradas.

Então mapeei à noite, nas mesmas condições que os visitantes iam encontrar. Fiz capturas no local ao longo de várias noites e refiz os mapas do Immersal até a relocalização se manter em cada parada da história ao longo da trilha. Depois voltei e validei cada ponto de ancoragem separadamente. Foi nisso que gastei a maior parte do tempo de engenharia, e nada disso aparece numa lista de features.

Uma stack sem precedente

Juntei Immersal, 8th Wall e Three.js. Na época, não encontrei nenhum exemplo público dos três rodando juntos, então a integração foi na base da tentativa e erro, contra os runtimes de dois fornecedores ao mesmo tempo.

A divisão de trabalho ficou assim. O Immersal cuida do SLAM visual e dos mapas espaciais persistentes que ancoram o conteúdo ao longo de dezenas de metros de trilha aberta. O 8th Wall me dá um runtime no navegador: o visitante escaneia um QR code e começa, sem nenhuma instalação de app entre um turista curioso e a experiência. O Three.js renderiza os momentos culturais, onde eu queria controle direto em vez de uma abstração de cena.

Entrar sem instalar nada pesou mais do que qualquer decisão de renderização. Numa noite de festival, ninguém baixa um app de 200 MB no Wi-Fi público para ver um peixe virtual.

Dois dispositivos, um pipeline

O mesmo conteúdo também rodava nos óculos de AR Rokid, um produto para o consumidor, como uma camada premium ao lado da experiência no celular. Testei na própria trilha, diante da ponte e da orla de verdade, as mesmas usadas para construir o mapa.

WebAR no celular e óculos de AR dedicados têm entrada diferente, campo de visão diferente e limites de desempenho diferentes. Alimentei os dois a partir de um único pipeline de conteúdo, e é por isso que as duas versões continuaram sincronizadas quando a equipe criativa mudou uma cena em cima da hora. Manter dois builds separados durante uma janela de lançamento, com um engenheiro só, teria sido um mau negócio.

O que a semana de lançamento me ensinou

Fiquei no local durante o pico do Festival das Lanternas. A multidão afeta uma ativação de AR de um jeito que nenhum teste com a trilha vazia prevê: as pessoas cobrem os pontos característicos de que o tracker precisa, seguram o celular em ângulos que você nunca testou, e a fila numa parada concorrida tira as pessoas do ponto de vista que você planejou.

Estar lá para consertar ao vivo valeu mais do que mais uma semana de preparação. Se eu fizesse de novo, construiria primeiro o caminho para quando a relocalização falha, e não por último. Um visitante que perde o tracking precisa de uma recuperação suave, não de uma cena congelada, e eu escrevi esse fallback sob pressão, não de forma planejada.

Depois, o projeto ganhou vários prêmios regionais nas categorias de metaverso e turismo cultural. O que eu levo dele é mais específico: AR ao ar livre vive ou morre dependendo de você ter mapeado nas condições em que os visitantes vão estar de verdade.