Pesquisa de site

Os recursos do iOS 15 finalmente aproveitam as vantagens do mecanismo neural do iPhone


Enquanto assistia à palestra da WWDC21 há algumas semanas, comecei a notar um tema recorrente. E o tema é que vários dos próximos recursos do iOS 15 parecem aproveitar as vantagens do mecanismo neural do iPhone.

O Neural Engine está no iPhone desde o lançamento do iPhone X em 2017. No entanto, não acho que a maioria de nós tenha sentido os efeitos deste processador ao longo dos quatro anos desde seu lançamento inicial.

WWDC21 continuou me dando a sensação de que o iOS 15 é a primeira atualização futurística do iOS em muito tempo. E, embora não haja uma confirmação oficial da Apple sobre isso, acredito que seja porque a Apple está finalmente aproveitando ao máximo o Motor Neural.

Nesta postagem, abordarei brevemente o que é o Neural Engine e, em seguida, mergulharei em todos os novos recursos do iOS 15 que parecem estar usando este processador em todo o seu potencial. Perto do final, abordarei as principais maneiras pelas quais o iOS usa atualmente o Neural Engine, para que você possa compará-lo com o próximo lançamento do iOS 15.

Tudo bem, vamos entrar nisso!

O que é o mecanismo neural no iPhone?

O Neural Engine é um processador no iPhone X e posterior que lida com operações de aprendizado de máquina. É a capacidade deste processador de potencializar o aprendizado de máquina que o torna tão importante, portanto, compreender o aprendizado de máquina é importante para compreender esse processador.

O aprendizado de máquina refere-se ao software que toma decisões sobre qual código executar independentemente de um programador.

Normalmente, o software precisa trabalhar com dados muito específicos e controlados. É por isso que o Siri entenderá sua intenção com uma frase, mas não conseguirá compreendê-la com outra – mesmo que a intenção em cada frase seja idêntica. A Siri precisa que os dados venham em uma estrutura específica ou falhará.

O aprendizado de máquina é uma forma de mudar isso. Ele permite que o software receba dados menos estruturados e ainda os processe. Se você já se surpreendeu com o fato de o Siri ter entendido uma solicitação formulada de maneira estranha, provavelmente é porque os recursos de aprendizado de máquina do Siri melhoraram.

O Motor Neural é, como o nome indica, o mecanismo do seu telefone que torna isso possível.

Sei que esses conceitos podem ser um pouco difíceis de entender e sei que talvez não esteja fazendo o melhor trabalho ao explicá-los. Estou tentando manter as coisas curtas e simples para este post, mas se você quiser se aprofundar, dê uma olhada neste post!

Como os recursos do iOS 15 estão começando a aproveitar as vantagens do mecanismo neural

O problema com o Motor Neural do iPhone não é que ele não seja poderoso, mas que seu poder não é utilizado em toda a sua extensão no iPhone. Nos últimos quatro anos, ele foi colocado em prática em instâncias limitadas, como a realidade aumentada. É útil, mas ainda não revolucionou o iPhone.

Acho que vários recursos do iOS 15 apontam para um futuro mais revolucionário para o Neural Engine. Não acho que nenhum dos novos recursos que estou prestes a detalhar abaixo seria possível sem este processador. Então, vamos ver como esses recursos usam o Motor Neural ao máximo.

Seu iPhone pode ler texto em suas fotos

O primeiro dos recursos do iOS 15 que gritava “Aprendizado de Máquina!” para mim era o Live Text. Live Text é um recurso do iOS 15 que permite que seu iPhone leia texto em seu aplicativo Fotos.

Isso significa que você pode tirar uma foto de qualquer coisa com texto impresso, abrir essa foto no aplicativo Fotos e interagir com esse texto. Você pode tocar em números de telefone em fotos, copiar e colar texto de imagens de documentos e usar a barra de pesquisa em Fotos para pesquisar texto em fotos.

Esse recurso também permite que seu iPhone leia a escrita manual em suas fotos. Ele também funciona com o aplicativo Câmera, para que você possa interagir com o texto no visor da câmera do iPhone em tempo real.

Sem aprendizado de máquina, um recurso como esse seria quase impossível. É por isso que esses testes de segurança online usam texto distorcido para provar que você não é um robô. Porque é um desafio para um programa conseguir ler texto.

Um recurso de smartphone que pode ler texto, independentemente da fonte, estilo, cor ou ângulo, não é apenas extremamente útil em tempo real, mas também é um excelente uso do aprendizado de máquina móvel.

Os recursos do iOS 15 permitirão que seu iPhone reconheça e identifique o conteúdo de suas fotos

Outro dos novos recursos do iOS 15 que utiliza o Neural Engine é o reconhecimento de objetos em Fotos. Este recurso funciona de forma semelhante ao Live Text, exceto que reconhece objetos em vez de texto. O exemplo que a Apple usou é que você pode apontar a câmera do seu iPhone para um cachorro, e seu iPhone não apenas reconhecerá que é um cachorro, mas também qual raça de cachorro ele pertence.

O iPhone já faz algum tempo que consegue extrair rostos de suas fotos, o que é uma forma de reconhecimento de objetos, embora limitada. Essa expansão dessa capacidade permitirá que seu iPhone veja rapidamente os dados não estruturados de uma foto e os objetos de identidade dentro dela.

Isso é mais impressionante (e difícil) do que o Texto Ativo, pois os padrões que o Motor Neural precisa procurar serão muito menos consistentes. Seu iPhone precisará tomar milhares (se não centenas de milhares) de decisões para poder tomar decisões como essa.

Para identificar uma raça de cachorro, primeiro será necessário ver se um cachorro é um objeto distinto do fundo, depois será necessário traçar limites ao redor desse cachorro e, em seguida, escolher características distintas desse cachorro até determinar se é. um cachorro e, em seguida, extraia ainda mais características para determinar que tipo de cachorro é.

Esse tipo de computação só é possível com um processador de aprendizado de máquina.

Memórias em fotos serão mais sofisticadas e “reais”

Outro recurso do aplicativo Fotos que receberá um retoque do Neural Engine são as Memórias.

Este recurso tira fotos de um determinado horário (geralmente um dia específico) e as combina em um pequeno vídeo para você ver. A ideia é que o Memories crie colagens de vídeo de suas férias, festas, aniversários e muito mais, automaticamente.

As memórias são outro recurso do iOS 15 que obteve um aumento significativo na qualidade. Ele incorporará automaticamente músicas da sua biblioteca do Apple Music em suas memórias.

A música que o Fotos escolher não só terá o ritmo adequado ao vídeo, mas também deverá corresponder ao conteúdo do vídeo. Por exemplo, as imagens de uma festa devem ser acompanhadas de música energética, enquanto fotos mais cuidadosas devem ter uma música mais lenta anexada.

Embora eu não use esse recurso com frequência, a ciência da computação por trás dele é extremamente fascinante. Ele combina reconhecimento de objetos e cenários, agrupa fotos com base no conteúdo, localização e período de tempo, separa fotos comuns do dia a dia de fotos vinculadas a eventos especiais da vida, estabelece uma conexão entre o clima dessas fotos e o clima de uma música você quiser, combine-os em uma apresentação de slides e cronometre essa apresentação ao ritmo da música.

Memories sempre usou o Motor Neural. E a próxima versão do iOS deverá aumentar substancialmente a inteligência desse recurso.

Notificações, widgets e Não perturbe estão ficando mais inteligentes

Um agrupamento de recursos do iOS 15 que aproveitam melhor o Neural Engine são notificações, widgets e Não perturbe.

Os widgets começaram a usar aprendizado de máquina no iOS 14, mas achei que seria útil adicioná-los aqui. Smart Stacks permitem que você coloque widgets uns sobre os outros. Seu iPhone irá folheá-los ao longo do dia, mostrando o que ele considera o widget mais relevante em um determinado momento.

Esse tipo de decisão é feito analisando seu comportamento em diferentes horários do dia e após usar determinados aplicativos. O Neural Engine pega esses dados, interpreta-os e exibe seus widgets de acordo com esses dados.

Os novos recursos do iOS 15 estão configurados para funcionar de forma muito semelhante.

As notificações agora serão agrupadas em um Resumo de Notificações, para que você não veja notificações menos importantes lotando sua tela de bloqueio o dia todo. Você pode personalizar o recurso Resumo de notificação ou deixar que o mecanismo neural cuide disso para você.

O Não perturbe está recebendo um novo componente, Focus, que ocultará certas notificações com base em como elas são categorizadas. Você pode gerenciar o Focus manualmente ou deixá-lo gerenciar-se de forma inteligente.

Todos esses três recursos usarão métricas de aprendizado de máquina extremamente semelhantes para prever e se adaptar ao seu comportamento.

Os novos recursos do iOS 15 tornarão mais fácil obter rotas com sua câmera

Este é um dos recursos do iOS 15 sobre o qual não ouvi tanto entusiasmo quanto esperava. Ainda acho isso muito interessante, especialmente em um contexto de aprendizado de máquina.

No Maps no iOS 15, você poderá apontar sua câmera enquanto caminha. Isso permitirá que você veja as direções AR projetadas em seu ambiente. Digamos que você esteja tentando ir ao cinema e não tenha certeza de qual caminho seguir. Você poderá apontar seu iPhone e ver as direções destacadas nas ruas e edifícios ao seu redor.

A Realidade Aumentada no iPhone foi possível graças à inclusão do Neural Engine, portanto esse recurso deve sua origem ao aprendizado de máquina. Mas esse recurso também combina AR com reconhecimento de imagem e detecção de localização para fornecer uma experiência incrível em tempo real.

Embora só esteja disponível em algumas cidades no lançamento, esse recurso aponta para um futuro onde o aprendizado de máquina no iPhone não ajudará você apenas em segundo plano. Ele será capaz de ajudá-lo a alcançar instantaneamente coisas que estão fora de sua zona de conforto ou capacidade.

Siri fará mais processamento no seu dispositivo

O último recurso do iOS 15 que aproveita melhor o Neural Engine é o Siri. Siri sempre usou aprendizado de máquina. Mas esse aprendizado ainda não atingiu ao máximo o potencial do Motor Neural.

Isso ocorre porque o Siri usou processamento fora do dispositivo. Isso significa que o seu iPhone escuta a sua solicitação, envia-a para um servidor Apple que processa a solicitação e, em seguida, envia-a de volta ao Siri no seu iPhone para atender a essa solicitação.

A razão pela qual isso foi feito foi para aumentar o poder do Siri além do que o iPhone poderia suportar. No iOS 15, entretanto, isso mudará. O Siri agora fará a maior parte do processamento no seu iPhone. Isso deve tornar o Siri mais rápido, inteligente e confiável.

Acho que esta atualização provavelmente exigirá menos assistência do Motor Neural. Daí a sua colocação no final da lista. É importante notar, no entanto, que isso indica que a Siri está ficando mais inteligente. Um assistente mais capaz usando o hardware do iPhone, não um servidor distante.

O que o Neural Engine pode fazer sem os próximos recursos do iOS 15?

E é isso! Pelo que posso dizer, essas são todas as novas maneiras pelas quais os recursos do iOS 15 começarão a usar o poder bruto do Motor Neural.

Queria incluir uma breve seção no final deste post destacando algumas das coisas que o Neural Engine já faz no seu iPhone. Dessa forma, você pode comparar onde está hoje com onde estará daqui a alguns meses.

Esperançosamente, isso ajudará você a apreciar as próximas mudanças no iOS sob uma nova luz e a entender melhor como recursos como esse chegam ao seu iPhone.

O Neural Engine ajuda você a tirar fotos melhores

Eu diria que o maior uso do Neural Engine no iPhone desde 2017 foi na fotografia. Todos os anos, a Apple mostra como o mais novo iPhone será capaz de realizar mais cálculos fotográficos do que a geração anterior. A Apple diz coisas como: “O processador de imagem está fazendo X milhões de cálculos/decisões por foto”.

Refere-se ao número de cálculos que o Motor Neural faz sempre que você tira uma foto. Ele analisa as cores, a iluminação, os elementos contrastantes, o assunto, o plano de fundo e uma infinidade de outros fatores. E determina a melhor forma de graduar, ajustar, absorver e equilibrar todos esses elementos em um instante.

É esse processo de aprendizado de máquina que tornou possíveis coisas como o Modo Retrato e o Deep Fusion. O modo retrato pode isolar você do fundo, e o Deep Fusion tornou a fotografia noturna no iPhone substancialmente melhor do que antes.

O Neural Engine é fundamental para a câmera do seu iPhone devido a restrições de hardware. Devido ao tamanho do iPhone, a câmera e suas lentes têm capacidade limitada. É a computação e o aprendizado de máquina que acontecem quando você tira uma foto que torna a fotografia do seu iPhone igual às fotos de uma DSLR profissional.

O aprendizado de máquina torna o FaceID rápido, seguro e adaptável

É claro que não podemos falar do Motor Neural sem mencionar por que ele foi criado.

É isso mesmo – o Neural Engine foi adicionado ao iPhone X para tornar o FaceID possível. Caso você não saiba, o FaceID é um dos recursos mais sofisticados e complexos do seu iPhone.

O FaceID não compara apenas a imagem 2D do seu rosto na câmera selfie com outra imagem 2D do seu rosto. Ele analisa um mapa 3D do seu rosto, rastreia o movimento dos olhos e o compara com uma digitalização 3D anterior do seu rosto.

O FaceID não faz isso em menos de dois segundos enquanto seu rosto está em movimento, parcialmente obscurecido e em ângulos variados. Também se adapta à forma como o seu rosto muda subtilmente de dia para dia. É por isso que você pode deixar a barba crescer, envelhecer e mudar de outras maneiras sutis, sem precisar examinar novamente o rosto.

O FaceID e o Neural Engine estudam e aprendem com seu rosto cada vez que você desbloqueia o iPhone. Sem o Neural Engine, o FaceID não seria tão rápido, seguro ou confiável como é hoje.

O Neural Engine desempenha um papel fundamental nas experiências de AR no iPhone

Finalmente, o Neural Engine desempenha um papel fundamental na AR no iPhone. Para quem não sabe, Realidade Aumentada (AR) é um recurso que projeta modelos 3D no ambiente através do visor da câmera do iPhone. Você pode testar isso sozinho usando o aplicativo Measure no seu iPhone.

Esse tipo de recurso combina coisas como reconhecimento de imagem, consciência espacial e memória. Tudo isso requer a potência que o Motor Neural traz para a mesa.

Felizmente, muitos dos novos recursos do iOS 15 foram criados para tornar a AR no iPhone ainda mais poderosa. É uma tendência que espero que continue, pois acredito que a AR tem potencial para ser um dos recursos mais integrais dos dispositivos móveis.

Os próximos recursos do iOS 15 apontam para um futuro mais inteligente para o iPhone

No geral, estou muito animado com o futuro que esses recursos do iOS 15 nos dão uma ideia. Existem várias facetas do iPhone que parecem um pouco subutilizadas, mas poucas tanto quanto o Motor Neural. Estou ansioso por essa mudança e espero que você também!

Para mais notícias, insights e dicas sobre tudo sobre a Apple, confira o restante do blog AppleToolBox!

Artigos relacionados