O co-inventor do HoloLens, Avi Bar-Zeev, compartilha: O caminho para óculos AR para todos os climas

O caminho para os óculos XR para todos os climas

Por mais de 30 anos, trabalhei em XR, metaverso e computação espacial, incluindo assistência ou aconselhamento em 10 projetos diferentes de headset XR. Tive a grande sorte de contribuir com uma série de projetos desde o início, principalmente comprovando ou negando requisitos e definindo as principais experiências do usuário antes que as equipes gastem US$ 1 bilhão para construí-las. Ao longo do caminho, aprendi lições sobre o que funciona e o que não funciona. Às vezes, a resposta correta é "ainda não maduro".

Não divulgarei nenhuma informação que meu antigo empregador ainda considere proprietária. Vou fornecer links para patentes publicadas que podem nos dar algumas dicas. Esse é o propósito real das patentes, acredite ou não. Claro, eu evitaria patentes que eu acho que convidariam a especulação.

É importante ter cuidado para não tomar qualquer coisa que eu diga ou escreva como evidência dos planos de produtos de qualquer empresa, ou mesmo qualquer crítica aos esforços de qualquer pessoa. Esta não era a minha intenção em tudo.

Como pano de fundo, a primeira experiência real de XR que construí foi uma CAVE. Na época, peguei emprestado um computador e um projetor gigante de US$ 250,000 e investi outros US$ 30,000 em matérias-primas. O headset VR de US$ 100000 da Disney, fabricado nos anos 90, nunca chegou ao mercado comercial. Requer cabos pendurados no teto para suportar o peso, mas centenas de milhares já tentaram.

Em janeiro de 2010, espero que estejamos prontos para começar a desenvolver óculos XR para consumidores prontos para uso. É hora de fazer um grande mergulho neste campo de movimento lento. Além disso, o Google Glass e o Magic Leap surgiram na mesma época. Felizmente, uma das tarefas que recebemos na equipe de incubação da Microsoft foi encontrar novas ideias para a próxima geração do XBox.

"Seja agressivo, até nos fazendo dizer 'isso é loucura'", disse um executivo do Xbox na época.

Eu certamente tenho idéias "radicais". Nossa pequena equipe logo começou a trabalhar em um novo conceito de produto "Screen Zero": substituir todas as telas por uma tela. Fui responsável pela exploração técnica e ajudei a definir a experiência no primeiro ano formativo. Minhas razões para sair não valem o espaço neste artigo. Mas depois de mais de mil pessoas, o HoloLens foi lançado em 2016.

Este é um equipamento inovador. Mas ainda não é um wearable para todos os climas. Nenhum dos Magic Leap 2, Snap Spectacles, Varjo ou Quest de hoje.

Então, o que exatamente é preciso para obter óculos AR que podem ser usados ​​o dia todo?

1. Maximalismo e Minimalismo

A abordagem maximalista, como a que o HoloLens acabou adotando, refere-se à consolidação de vários sensores, algoritmos e energia em um sistema de ponta. Assim que tivermos a engenharia e a experiência do usuário estabelecidas, podemos teoricamente reduzi-la. Mas isso leva mais tempo e pode levar até uma década para que certos eletrônicos otimizem a energia sozinhos.

O Cambria e dispositivos similares são igualmente maximalistas, tanto que simulam AR com uma tela VR opaca gigante e várias câmeras, com controle preciso pixel a pixel sobre a mistura de realidade e simulação. O maximalismo é melhor para aplicativos de ponta e P&D principal. Alguns argumentam que mesmo que os aplicativos sejam mais industriais, eles são as únicas ferramentas que funcionam no momento.

No entanto, mesmo os dispositivos mais caros do mercado hoje não podem ser usados ​​o dia todo e não podem ser usados ​​para interações sociais comuns ou mesmo para andar com segurança nas ruas. Recursos maximalistas, como displays holográficos ou de campo de luz, ainda não estão maduros.

Por outro lado, dispositivos com uma abordagem minimalista incluem Amazon Echo Frames, Snap Spectacles e Ray-Ban Stories, para citar alguns. Eles apenas embalam a tecnologia que se encaixa nas restrições atuais do fator de forma dos óculos vestíveis, muitas vezes abandonando completamente as telas.

Ainda assim, óculos sem visor podem contar como XR?

Se isso aumenta a perspectiva situacional de alguém, eu diria que sim. Um podcast ou mix de música não é XR porque ainda não detecta você ou seu ambiente atual. Os aplicativos de navegação GPS são um pouco parecidos, mas não o suficiente. Adicionar áudio espacial e câmeras para IA e posicionamento preciso definitivamente conta como XR, mesmo sem uma tela.

As abordagens minimalistas podem vender mais produtos no curto prazo e geralmente se concentram em um aspecto específico e o tornam a melhor solução da categoria. Se você pode fazer isso direito, como o Walkman e o iPhone, pode ser vendido por bilhões de dólares. Mas não pense que o minimalismo é fácil, porque de muitas maneiras, é difícil fazer bem.

2. Melhor método

Eu esperava que o Screen Zero do XBox fosse um híbrido entre óculos minimalistas e um console maximalista. Os óculos AR devem ser semelhantes em tamanho aos óculos Oakley ou menores. O próximo anfitrião fará a maior parte do trabalho pesado para até quatro pares de óculos na mesma sala.

3. Ergonomia, consumo de energia e calor

Por que separar? Tudo se resume ao consumo de energia, ou mais precisamente: calor.

Todo o trabalho de um computador acaba na forma de calor, e outros podem incluir fótons e/ou acionamentos mecânicos, como som. Quanto calor? Um par de óculos AR leves pode gerar cerca de um watt de energia.

Um smartphone típico pode gerar cerca de 10 watts e depois aquecer. Um host ou PC pode consumir 10-100 vezes mais energia do que um smartphone e, portanto, 100-1000 vezes mais energia do que óculos. Pense em pequenas lanternas de LED e secadores de roupas gigantes. Esta é uma grande diferença no consumo de energia.

Para equilibrar o consumo de energia, precisamos de soluções semelhantes às que venho trabalhando desde 2010, como fusão de dados, renderização dividida, fluxos de renderização otimizados. Para larguras de banda mais baixas, a renderização de distorção de tempo baseada em rastreamento ocular funciona bem e cobre atrasos de comunicação.

A CPU, a câmera, a tela e a RAM consomem muita energia e geram muito calor. Então, o segredo é usá-los com moderação na maioria dos casos. Pense em hardware personalizado de baixo consumo de energia: novos sensores contextuais, telas de ultrabaixo consumo e algoritmos que "acordam" de maneira inteligente.

Isso levará tempo para resolver. Por exemplo, se o mouse óptico e o controlador host não estiverem em modo de espera, suas baterias serão descarregadas, então eles começarão com uma solução conectada. Hoje, um mouse óptico pode durar vários meses com uma pequena bateria.

4. Fora da sala de estar

Para oferecer suporte a uma ampla variedade de casos de uso, os sistemas de RA opticamente transparentes precisam bloquear idealmente a luz de ambientes claros (até mesmo a iluminação da janela ou da sala de estar), personalizar e misturar melhor o áudio espacial com a realidade, ajustar o foco óptico, capturar e reproduzir hologramas virtuais de outras pessoas e mais.

Mesmo que o dispositivo seja dividido em unidade principal e fone de ouvido, ainda há muitas "coisas" em nossa cabeça. Um grande desafio ergonômico é se livrar das tiras gigantes que a maioria dos dispositivos XR ainda usa e que fazem os fones de ouvido parecerem insetos que abraçam o rosto.

Qualquer tipo de cinta que exija tensão limitará a diversidade da base de usuários (considerando variações de tamanho de cabeça e suscetibilidade a bagunçar o cabelo) e reduzirá a probabilidade de usar óculos. Isso significa que o equipamento para todos os climas deve ser super leve e geralmente se encaixa tão bem quanto os óculos comuns.

Chegar ao tamanho dos óculos Oakley ou menores geralmente significa mover mais do sistema para um clipe ou controle remoto. Magic Leap oferece esse clipe. Eu notei dispositivos XR usando uma configuração de faixa de pescoço, o que significa pendurar os componentes de computação no pescoço do consumidor. Com este design dividido, quanto mais trabalho separado é feito, mais leve pode ser o conjunto olho/cabeça.

Em 2010, eu estava pessoalmente mais interessado no bíceps porque era um ponto de ancoragem e uma linha curta, se necessário. Isso mantém os componentes mais pesados ​​e quentes longe da cabeça e do pescoço e tem muita área de superfície para dissipar o calor. Biossensores localizados no braço também podem detectar gestos, semelhante à forma como o Meta usa o dispositivo Control plus Labs para ler gestos do pulso. Desta forma, os designers de produto ainda podem dizer "sem cabos".

5. Foco

Como um grande número de adultos precisa corrigir a visão de perto e de longe, um fator de forma vestível durante todo o dia geralmente precisa ampliar e focar o mundo real para nós. No mínimo, isso significa que as lentes precisam oferecer suporte a parâmetros ópticos de visão personalizados. Uma empresa de guias de ondas que a Snap adquiriu anteriormente anunciou planos para incorporar a ótica relacionada em lentes de visão funcionais, mas isso tem sido difícil.

Mas um parâmetro de visão é suficiente? Muitos adultos só precisam de óculos para ler ou dirigir (hipermetropia), o que significa que eles precisam de óculos para poder mudar para diferentes estados. Então, precisamos de dois ou três pares de óculos caros? Ou bifocais, trifocais, que dobram a luz de acordo com o lugar para onde você olha? (Prático, mas não ideal)

Uma solução que estou promovendo é o ajuste óptico dinâmico, permitindo que o mesmo par de óculos suporte leitura ou direção, e até amplie letras pequenas e sinais distantes. Isso também permite que mais amigos experimentem facilmente. Imagine se o seu XBox suporta apenas jogos single-player e você tem dois ou três amigos na sala? Uma espécie de chatice.

Os melhores métodos de foco dinâmico atuais incluem Alvarez (slide mecânico) e lentes ajustáveis ​​cheias de líquido. As soluções mecânicas tendem a reduzir a confiabilidade. Há uma quantidade razoável de P&D para empilhar LCDs especiais e mudar o foco eletronicamente. A Mega adquiriu uma empresa para assumir a tarefa.

Depois, há o problema de focar a imagem virtual com base na linha de visão atual. A Avegant e o Magic Leap nos mostraram como alternar rapidamente entre duas distâncias focais, simulando uma exibição simples de campo de luz, o que é importante para navegar em "objetos virtuais" na distância focal adequada dentro da envergadura. Eu pesquisei várias maneiras de digitalizar continuamente a distância focal antes, mas os monitores comerciais não são rápidos o suficiente na prática.

Rastrear seus olhos pode ajudar no processamento, reduzir a carga computacional e fornecer uma entrada de usuário mais natural. Estou muito familiarizado com o problema do rastreamento ocular e alerto os tomadores de decisão sobre os riscos desde o início.

Finalmente, do lado dos negócios, a Luxottica ganha muito dinheiro vendendo óculos de baixo custo e alto preço. Ele domina o mercado hoje e a maioria das marcas de óculos que você conhece. As empresas de óculos XR têm que trabalhar com eles ou contra eles, nenhuma das quais são escolhas fáceis. A Meta escolheu trabalhar com eles para desenvolver os óculos Ray-Ban. Os concorrentes da empresa incluem Warby Parke e outros pequenos players. Você não pode vender bons novos produtos sem bons canais de distribuição e parceiros.

6. Contraste

Magic Leap 2 oferece uma maneira de desfocar seletivamente o mundo natural. Estou trabalhando nesse problema desde 2010, mas ainda não há uma solução perfeita. Uma série de engenheiros ópticos não considerou necessário. As razões são as seguintes:

É geralmente entendido por que as telas "aditivas" transparentes não podem renderizar "preto". RGB{{0}},0,0 para preto, que na verdade não adiciona nada e não é visível na luz existente. No entanto, podemos facilmente induzi-lo a perceber pretos e sombras, aproximando-se de áreas mais claras.

O problema realmente difícil surge quando você leva seus óculos XR ao ar livre e olha para uma parede iluminada pela luz do sol, provavelmente perto de uma área escura ou sombreada. Certas áreas podem ser 1000 a 10000 vezes mais brilhantes do que outras. O contraste é tão pronunciado em ambientes internos que os visuais de RA parecem absolutamente assustadores. Os engenheiros ópticos costumam argumentar que, para superar isso, você precisa produzir mais luz. Sua ótica normalmente é apenas 1% -10% eficiente, o que significa que a maior parte da luz nem chega aos seus olhos e apenas adiciona mais calor. Lembre-se de que você não pode simplesmente projetar um sistema em torno da ótica porque o calor é um dos maiores fatores limitantes.

A realidade é que qualquer par de óculos transparentes AR ou transparentes de vídeo precisa levar em consideração a cena real ao fazer aprimoramentos visuais. No caso da transparência, os óculos geralmente precisam ser subtraídos da iluminação real para obter a cor final desejada. No caso da perspectiva de vídeo, a tela pode substituir o pixel inteiro, mas qualquer transparência na cena 3D virtual ainda precisa ser misturada com a cor de fundo lida pela câmera. Então, basicamente, o que você está vendo é uma câmera de alta energia e circuitos transparentes ou opacos. Esta é uma enorme restrição de design, pois adiciona energia e peso enquanto bloqueia os olhos.

Na superfície, o sombreamento seletivo com óculos transparentes é mais barato do que adicionar energia à tela ou adicionar uma câmera. Em 2010, coloquei um LCD monocromático simples na frente do guia de ondas. Funciona como esperado, renderizando objetos sólidos 3D com contornos pretos suaves. Mas tem desvantagens, incluindo a necessidade de calibração dinâmica, o LCD distorce a luz real (principalmente a refração dos fios de controle). Ele tem uma faixa dinâmica ruim por conta própria. Ao ar livre, às vezes você precisa de quase 100% de opacidade. Dentro de casa, especialmente em situações sociais e telepresença, você quer ser mais transparente para ver as pessoas diretamente nos olhos.

A principal objeção a essa abordagem é que os LCDs ou outros moduladores de luz espacial geralmente estão fora de foco, a uma polegada do olho. Mas a distorção é tal que, com as telas AR transparentes positivas e negativas certas e alguns sensores rápidos e de baixa potência, seus óculos de sol podem bloquear a luz solar, o brilho ou os faróis sem escurecer sua visão em outros lugares. Você pode sutilmente escurecer o mundo e fazer com que os livros recomendados pareçam brilhantes. Com subtração (filtragem) mais avançada, os óculos podem até recolorir o mundo, melhorar a visão noturna e até fornecer feedback biométrico quando você se sentir inquieto ou distraído.

Eu fiz várias coisas de demonstração e passei muito tempo procurando uma maneira melhor. Mas todos eles têm certas desvantagens. No entanto, a implementação do Magic Leap 2 me dá esperança de que os principais problemas serão resolvidos.

7. Rede

Os rádios também requerem energia, portanto, sempre há uma compensação em um sistema dividido. O futuro mais promissor está no uso de frequências de rádio de ponta para obter menor potência e maior largura de banda do que hoje. Mas o principal desafio é que essa frequência não pode passar pela pele ou pelas paredes (para melhor ou para pior). Portanto, a solução precisa ser muito inteligente, pois as ondas de rádio saltam e irradiam em torno de salas e pessoas, de modo que pode ser necessário usar mais transmissores do que existem hoje. Obviamente, isso adiciona custo e complexidade.

Para wearables de uso diário, também exige que a rede esteja disponível antes de vender produtos que dependem dela. Essa limitação é a maior razão pela qual as empresas nunca lançam a solução de renderização dividida que defendo. O 5G está mais próximo do que precisamos, mas pelo menos nos EUA, isso resolve principalmente o problema de menor latência e mais pessoas usando a rede ao mesmo tempo. Precisamos de mais de 5G, mas é um bom começo.

Para se livrar do "host" original (ou similar) na sala, mantendo um formato pequeno e leve, precisamos de uma forma de computação "de borda", combinada de uma forma que não invada nossa privacidade. O envio de seus dados de sensores biométricos para qualquer solução de borda ou nuvem é muito preocupante para qualquer pessoa, pois pode ser facilmente abusado.

8. Câmera

Colocar a câmera nos óculos é complicado. O Google Glass cometeu muitos erros na aceitação social e está sob ataque generalizado. Mas o Snap parece ter poucos problemas nesse sentido. Ao mesmo tempo, o Facebook vem trabalhando para capturar os detalhes da vida de todos, presumivelmente para entregar anúncios mais personalizados, gostemos ou não.

Certas câmeras consomem muita energia, como digitalização de cenas 3D e oclusão digital de pessoas ou objetos. Para posicionar corretamente os gráficos 3D, você precisa rastrear continuamente a cabeça no espaço, e as câmeras ainda são a solução líder. Ao alavancar os sensores IMU, estamos aumentando o consumo de energia.

Tirar fotos ou vídeos é um caso de uso bastante popular, especialmente se for mais natural e conveniente do que outros dispositivos. No entanto, devido a restrições de tamanho e energia, a qualidade das fotos será inferior à de um smartphone típico. Fornecer uma pequena luz branca no quadro não é suficiente para resolver o complexo problema da aprovação social.

A compreensão da cena é mais fácil de imaginar como um recurso importante dos óculos da câmera, em parte porque não precisa tirar fotos de outras pessoas, mas, mais importante, abre o novo caso de uso mais importante para usar óculos o dia todo: compreensão situacional.

9. Experiência

Em 2010, a pesquisa e desenvolvimento que mais espero desenvolver são óculos AR que suportam recursos poderosos de rastreamento ocular e rastreamento corporal e exploram uma interface de usuário de computação espacial mais natural além do tradicional "retângulo dentro de um retângulo" de PCs e mouses. Embora o hardware certamente tenha suas limitações, a adoção generalizada do XR exige que alguém aborde a questão experimental de "como" interagir no futuro? "Caixa 3D em uma caixa" claramente não é. Então ainda temos muito trabalho a fazer.

Enquanto a Meta está concentrando seus esforços de VR em passar no chamado "Teste de Turing Visual", os óculos XR que podem ser usados ​​ao longo do dia precisam ser mais úteis do que outros. Muitos imaginam camadas ou canais AR permeando nossa realidade, marcando tudo o que vemos, adicionando informações, contando histórias espaciais em 3D e redesenhando o mundo. Embora isso provavelmente seja sob demanda, essa não é a experiência do dia-a-dia que eu esperaria.

Na maioria das vezes, as pessoas querem melhorar o que fazem com frequência: comunicar, navegar, descobrir o mundo ao nosso redor, entender e até mudar de lugar, fazer compras, experimentar conteúdo e ganhar dinheiro com o trabalho. Para ter sucesso, os óculos XR precisam se sair melhor do que com smartphones ou outros dispositivos.

Aqui está o que um smartphone não pode fazer. Imagine um par de óculos de aparência normal que ajustam dinamicamente o foco e bloqueiam seletivamente a luz. Eles podem falar com você de forma proativa e privada, sem que você precise digitar texto ou perguntar verbalmente. Só isso já seria um produto de um bilhão de dólares. Esses óculos podem ajudá-lo a lembrar de coisas ou fornecer recomendações confiáveis ​​como parte de sua experiência diária (vs. anúncios push).

A pesquisa mais importante que fiz nessa área é a comunicação assíncrona usando óculos XR não visuais. Os recursos de voz e texto dos smartphones são bons o suficiente hoje, mas eles sabem quando você está lutando para se concentrar? Eles podem ajudá-lo a mudar de contexto no momento certo para manter o trabalho ou a diversão fluindo? Veja como Onde os óculos podem brilhar (assumindo que podemos confiar no fabricante).

Tudo o que descrevi é muito difícil, e a tecnologia relevante é quase inexistente. Ainda não está em uma trilha minimalista, mas isso é porque não priorizamos a miniaturização da ótica e a maximização do campo de visão. Mas se você fizer a pergunta: que tipo de óculos XR pode ter sucesso onde outros não? Ainda acho que tudo o que listei acima ajudará você a criar um ótimo produto.