Além da IA integrada: Otimização da tubulação de percepção térmica, desde os dados do sensor até a implantação da borda

RESUMO

Os rápidos avanços em aprendizagem profunda, imagens computacionais e processadores integrados possibilitaram a execução de cargas de trabalho de percepção sofisticadas na borda. Para sistemas térmicos e multiespectrais, o benefício competitivo vai além de colocar um modelo de inteligência artificial (IA) em um processador integrado. A maior vantagem vem da otimização do pipeline de percepção completo, desde o processamento de dados do sensor e sinal de imagem até a detecção de objetos, rastreamento, otimização do tempo de execução, gerenciamento térmico e implantação em campo, sob restrições reais de tamanho, peso, potência, latência, largura de banda e condições ambientais.

Este artigo descreve como o OEM da Teledyne FLIR integra o processamento de sinais de imagem térmica e multiespectral Prism ., bibliotecas de detecção e rastreamento específicas de aplicativos e plataformas modernas de IA integradas para ajudar os clientes a criar sistemas de imagem inteligentes que fornecem informações acionáveis no ponto de detecção.

.

BAIXAR PDF

Assista à apresentação

CONTEÚDO

1. Acrônimos
2. Introdução
3. Avanços em modelos leves e processadores móveis
4. Projetando uma Rede Neural para Plataformas Incorporadas – Apresentando o Pelee^TM
5. Otimização
6. O poder do rápido desenvolvimento dos processadores móveis
7. Estruturas
8. Pipeline de processamento de vídeo
9. Funções do Prism ISP
10. Conclusões

1. Acryonms

2. Introdução

Na última década, os avanços no deep learning transformaram a visão computacional de sistemas construídos em torno da extração de recursos artesanais em modelos orientados por dados treinados em grandes conjuntos de dados e otimizados para tarefas de percepção especializadas. Essa mudança mudou fundamentalmente os desafios da detecção de objetos: em vez de projetar recursos visuais fixos manualmente, os desenvolvedores agora se concentram na coleta de dados de treinamento representativos, na seleção de arquiteturas de modelo apropriadas e na adaptação de redes neurais cada vez mais sofisticadas a condições de implantação do mundo real. Como é frequentemente o caso no desenvolvimento inicial da tecnologia, menos atenção foi dada inicialmente ao poder computacional necessário para treinar e executar esses modelos.

Essa falta de preocupação limitou como a nova tecnologia poderia ser usada em sistemas baseados em visão, especialmente aplicativos centrados em vídeo, onde a necessidade de classificação de objetos, geração de metadados e alertas em tempo real é fundamental. Ao mesmo tempo, uma corrida armamentista estava sendo realizada na indústria de telefones celulares em torno do desempenho da câmera. Isso levou ao rápido desenvolvimento de processadores de sinal de imagem (ISPs) altamente avançados que permitiram o desempenho da câmera em constante melhoria usando algoritmos e o que agora é chamado de imagem computacional (CI). Mais recentemente, a rápida adoção de modelos de linguagem grandes, modelos de linguagem de visão e IA multimodal aumentou a demanda por processadores heterogêneos que possam executar pipelines de visão tradicionais e cargas de trabalho mais recentes inspiradas em modelos de fundação mais próximas do sensor.

Os processadores atuais apresentam arquiteturas heterogêneas com várias unidades de processamento central (CPUs), unidades de processamento gráfico (GPUs), processadores de sinal digital (DSPs), unidades de processamento neural (NPUs) e blocos de computação ISP. Além disso, a comunidade de código aberto contribuiu com muitos dos blocos de construção usados para criar sistemas de percepção, incluindo detectores de objetos da família YOLO, modelos de detecção baseados em transformadores, formatos de arquivo agnósticos de plataforma, como Open Neural Network Exchange (ONNX), estruturas de desenvolvimento, incluindo PyTorch e TensorFlow, e tempos de execução de produção, como TensorRT, ONNX Runtime, OpenVINO, LiteRT/TensorFlow Lite e kits de desenvolvimento de software (SDKs) específicos para hardware. Tornou-se um fluxo de trabalho comum treinar em PyTorch ou TensorFlow, exportar para ONNX, otimizar e quantificar para o tempo de execução alvo e, em seguida, validar latência, potência, uso de memória e precisão diretamente no hardware implantado.

O OEM da Teledyne FLIR está focado em integrar imagens de percepção e computação ou processamento de sinal de imagem em processadores otimizados de alto tamanho, peso e potência (SWaP) para uma ampla gama de aplicações. Aproveitar novos designs de silício fabricados nos nós mais avançados permite que os desenvolvedores de sistemas aumentem a vida útil da bateria e simplifiquem o gerenciamento térmico do sistema.

Este é o desafio central do design para sistemas térmicos inteligentes. As técnicas de IA de câmera visível não podem simplesmente ser transferidas para imagens térmicas sem considerar a física do sensor, menor conteúdo de textura, variabilidade ambiental, efeitos atmosféricos, tamanho do alvo, óptica, taxa de quadros, calibração e as etapas de processamento de imagem que moldam o que o detector vê. Na prática, o desempenho de detecção e rastreamento depende de toda a cadeia: dados brutos do sensor, processamento radiométrico ou não radiométrico, mapeamento de tons, remoção de ruídos, estabilização, super-resolução, arquitetura de modelo, quantização, mapeamento de tempo de execução, largura de banda de memória e gerenciamento de energia. A vantagem da Teledyne FLIR OEM está em sua capacidade de otimizar essa cadeia em vez de tratar a inferência de IA como uma função independente.

3. Avanços em modelos leves
Processadores móveis e

Depois que o impacto do deep learning na visão computacional foi reconhecido, o trabalho começou no desenvolvimento de redes neurais e modelos que poderiam ser executados na borda em processadores móveis de baixo custo, permitindo a detecção de objetos para aplicações de vídeo em tempo real, incluindo reconhecimento automático de alvos (Automatic Target Recognition, ATR), autonomia de veículos, sistemas avançados de assistência ao motorista (Advanced Driver Assistance Systems, ADAS), segurança e inteligência terrestre e aérea, vigilância e reconhecimento (ISR). Outros pacotes de software incorporados em produtos baseados em visão incluem localização e mapeamento simultâneos (SLAM), prevenção de colisões, fusão de sensores, fluxo óptico e rastreamento de objetos. Esses recursos computacionalmente exigentes, quando compilados para uma arquitetura de hardware específica, são mapeados entre CPU, GPU, DSP, NPU, ISP e subsistemas de memória dentro do sistema alvo no chip (SoC). Gerenciar essas tarefas em processadores heterogêneos modernos é um desafio significativo de engenharia, mas permite grandes vantagens de energia, latência e gerenciamento térmico em comparação com arquiteturas dependentes da nuvem. Em apenas algumas gerações de processadores, os SoCs avançados mudaram de nós de classe de 10 nm para designs de classe de 7 nm, 5 nm e 4 nm, resultando em desempenho substancialmente aprimorado por watt.

Tabela 1 – Processadores e módulos de IA de borda incorporada representativos

O processamento de sinais de imagem e os algoritmos de detecção de objetos de IA são computacionalmente caros. Por exemplo, os algoritmos avançados de remoção de ruídos e super-resolução da Teledyne FLIR OEM realizam até 100.000 operações por pixel por segundo (aproximadamente 2 trilhões de operações por segundo (TOPS) para uma entrada de resolução de 640x512 a 60 quadros por segundo (fps)) e são executados em um núcleo de GPU. A execução de modelos grandes de detecção de objetos também consome muito poder de processamento e é executada no subsistema DSP (Qualcomm®) ou GPU (NVIDIA®).

Para sistemas térmicos, o TOPS bruto é uma métrica útil, mas incompleta. O desempenho real depende da eficiência com que cada estágio do pipeline é mapeado para o recurso de computação apropriado, quantas vezes os dados de vídeo devem se mover pela memória, se o aprimoramento de imagem melhora ou degrada a confiança do detector e se o sistema completo pode sustentar as taxas de quadros necessárias sem exceder os limites de potência ou térmicos. Os projetos de IA integrados mais eficazes começam com o problema de detecção e o ambiente de implantação, não apenas com a especificação do processador.

Há muitas variáveis a considerar ao desenvolver e implantar um detector de objetos, incluindo arquitetura de processador, precisão desejada, latência ou taxa de quadros aceitável, largura de banda de memória, tempo de execução de software, tamanho do modelo e orçamento de energia/térmica. Em resposta às demandas para executar detectores de objetos em processadores incorporados, várias redes neurais de baixa potência foram desenvolvidas, incluindo You Only Look Once (YOLO) de Joseph Redmon da Universidade de Washington em 2015 e MobileNet do Google em 2017. Desde então, o cenário do detector se expandiu substancialmente para incluir modelos mais novos da família YOLO, detectores baseados em transformadores, arquiteturas sem supressão não máxima (NMS) e modelos projetados para percepção multitarefa e detecção de vocabulário aberto. Para sistemas térmicos e multiespectrais integrados, a pergunta mais importante não é simplesmente qual rede é a mais nova, mas qual modelo oferece o desempenho de detecção, latência, consumo de energia e confiabilidade de integração necessários no processador selecionado.

A YOLO revolucionou a detecção de objetos com sua abordagem de passagem única. Diferentemente das redes neurais convolucionais baseadas em região (RCNN) que envolvem vários estágios, como propostas de região seguidas por classificação, a YOLO realiza a detecção e localização em um único passe avançado da rede. Ao dividir uma imagem de entrada em uma grade e prever várias caixas delimitadoras e probabilidades de classe simultaneamente para cada célula da grade, o algoritmo YOLO oferece velocidade e precisão. Os detectores de um estágio usam uma única rede feed-forward para prever diretamente classes e locais de objetos. O Detector de Disparo Único (SSD) melhora a YOLO em vários aspectos, incluindo o uso de várias escalas de variáveis para previsão e o uso de caixas e proporções de aspecto padrão para ajuste a diferentes formas de objetos. Embora as abordagens de dois estágios geralmente produzam maior precisão, as abordagens de um estágio muitas vezes operam com maior eficiência. Os detectores mais novos continuam a melhorar esse espaço comercial por meio de uma melhor agregação de recursos, design com reconhecimento de quantização, mecanismos de atenção inspirados em transformadores e arquiteturas fáceis de implantar que reduzem a sobrecarga pós-processamento.

4. Projetando uma Rede Neural para Plataformas Incorporadas – Apresentando Pelee

Figura 1 – Arquitetura do detector de objetos (Juan R. Terven, 2023)

Projetar a detecção de objetos para câmeras termográficas requer um ponto de partida diferente da seleção de um modelo de visão de uso geral. As imagens térmicas geralmente contêm menos texturas visuais do que as imagens visíveis; os alvos podem ocupar apenas um pequeno número de pixels; e as condições ambientais podem alterar o contraste, a forma aparente e a desordem de fundo. Esses fatores tornam importante projetar o detector em conjunto com o sensor, óptica, pipeline de processamento de imagem e hardware de implantação.

A Teledyne FLIR OEM ampliou a abordagem de passagem única com o desenvolvimento de sua rede Pelee (patente pendente). As redes neurais convolucionais (CNNs) são compostas por três blocos principais: o extrator de recursos ou backbone; um agregador de recursos ou pescoço; e o detector de cabeça ou objeto. O Pelee apresenta um novo design de backbone criado com um padrão de conectividade denso para incentivar a reutilização de recursos e uma camada densa bidirecional para obter diferentes escalas de campos receptivos. O Pelee incorpora um novo bloco de fusão de recursos (FFB) baseado na Rede de Pirâmides de Recursos de Agregação de Caminhos (PANet). Projetado com a detecção de alvos pequenos em mente, o novo FFB adota uma estratégia de fusão tardia, que visa garantir que cada mapa de recursos da saída retenha as informações detalhadas aprendidas com as camadas rasas e adquira recursos semânticos de alto nível.

Tabela 2 - Recursos da estrutura principal

A rede backbone afeta diretamente a memória, a velocidade e o desempenho do detector de objetos. Na SSD CNN, mais de 90% do custo de computação é consumido pela rede backbone. A CNN da Teledyne FLIR OEM incorpora um novo design de backbone que evita o uso de um bloco de compressão e excitação, seleciona cuidadosamente as funções de ativação de acordo com o hardware e ajusta a largura e a profundidade da rede de acordo com o hardware.

Portanto, Pelee deve ser entendido como uma arquitetura de detector orientada para implantação e específica para a aplicação, e não como um vencedor de benchmark de uso geral em relação a cada nova família de modelos. Seu valor está no espaço comercial de engenharia que importa para câmeras termográficas inteligentes: desempenho de alvo pequeno, latência previsível, eficiência de memória, opções de ativação com reconhecimento de hardware e a capacidade de executar juntamente com funções Prism ISP, estabilização de vídeo, rastreamento e outras cargas de trabalho de percepção dentro de um envelope SWaP restrito.

Figura 2 - Desempenho do modelo baseado em espinha dorsal

Figura 3 – Comparação de desempenho de redes Pelee versus YOLO

5. Otimização

Quantificação

A quantificação é a compressão de valores de ponto flutuante em parâmetros de rede neural para melhorar a latência do modelo, reduzir a pegada de memória e reduzir o consumo de energia ao executar inferência. O treinamento de modelos geralmente é realizado usando dados de ponto flutuante de 32 bits em sistemas avançados baseados em GPU. A inferência em processadores integrados é então otimizada usando FP16, FP8, INT8, INT4 ou outras precisões suportadas pelo tempo de execução, dependendo do processador, da arquitetura do modelo, dos dados de calibração e das compensações de precisão aceitáveis.

O OEM da Teledyne FLIR usa o INT8 para reduzir a pegada de memória, o tempo de computação e o consumo de energia, pois continua sendo um compromisso prático entre precisão e velocidade para muitas cargas de trabalho de visão incorporadas. No entanto, a implantação agora depende cada vez mais de fluxos de trabalho de quantização explícitos, dados de calibração representativos, treinamento com reconhecimento de quantização quando necessário e geração de mecanismo específico do alvo. Os desenvolvedores devem validar as opções FP16, INT8 e de baixa precisão no hardware real porque o desempenho, a precisão, o uso da memória e o comportamento térmico podem variar significativamente entre implementações de GPU, DSP, NPU e tempo de execução específico do fornecedor. Obter recursos de computação de volta dá aos desenvolvedores a flexibilidade de adicionar mais recursos, incluindo inferência em tempo real em dois ou mais feeds de câmera.

Poda

A poda é um método usado para reduzir caminhos de dados não utilizados na rede neural, determinando a importância de cada unidade e removendo caminhos passivos. Após o treinamento, muitos dos neurônios da rede têm um valor de peso de 0, portanto, esses neurônios podem ser eliminados por meio de um processo secundário de treinamento da rede após a quantização. Os métodos atuais de poda incluem poda de peso, poda de canal e poda de neurônio, cada um com suas vantagens e desvantagens.

Os critérios para determinar a importância da unidade podem afetar a precisão. O uso de métodos de aprendizagem de restrição pode aprimorá-la, embora a implementação seja complexa. O método de busca aleatória de poda é simples de implementar, mas o desempenho do modelo de rede é limitado em comparação com outros métodos que o melhoram. Portanto, cada método precisa ser selecionado em conjunto com o cenário de aplicação real. Não há um único método que possa sintetizar a complexidade e modelar a eficiência da compressão.[i]

Gerenciamento térmico

Para muitas categorias de produtos, incluindo drones e miras de armas, o consumo de energia é uma restrição crítica de design. O alto consumo limita o tempo de operação, adiciona desafios de logística de suporte e adiciona complexidade e custos para o gerenciamento térmico. Para alguns dispositivos operados por bateria, a escolha é usar uma matriz de portas programável em campo (FPGA) ou um processador de circuito integrado de aplicação específica (ASIC) para manter a energia em um mínimo absoluto, mas análises de terceiros e software ISP não estão disponíveis, pois essas bibliotecas são normalmente compiladas para serem executadas em processadores Advanced RISC Machine (ARM) e outros núcleos usando componentes e estruturas de código aberto, como OpenCV. Embora esse não seja o caso para os produtos com maior restrição de energia, as demandas de energia dos processadores embarcados de nova geração fabricados em nós de 4 nm a 7 nm oferecem aos projetistas de sistemas muitas opções para adicionar recursos de alto valor aos produtos.

Para um sistema que executa várias câmeras e várias rotinas de recursos, como um detector de objetos, rastreador de alvo e aprimoramento de contraste local, o desenvolvedor atingirá o limite superior da taxa de transferência do processador e gerará muito calor. Para ajudar a gerenciar isso, os desenvolvedores de software podem criar parâmetros de configuração que podem ser definidos ou ajustados dinamicamente. Por exemplo, para muitas aplicações, não é necessário fazer inferência a uma taxa de quadros. Ao reduzir a saída de inferência para 10 fps ou menos, o perfil de energia de toda a pilha de software pode ser gerenciado para se ajustar ao orçamento de energia.

6. O poder do desenvolvimento rápido
de Processadores Móveis

A execução de modelos CNN e algoritmos de IC é extremamente exigente em termos computacionais. Até recentemente, os processadores integrados não tinham o poder de atender às cargas de trabalho de IA e IC. A IA requer paralelismo massivo de funções multiacumuladas. As GPUs tradicionais foram capazes de fazer paralelismo de forma semelhante para gráficos, então foram reutilizadas para aplicações de IA, especialmente para treinamento de modelos. Como resultado, a NVIDIA se estabeleceu como o participante dominante no treinamento de modelos.

Os processadores móveis e integrados de hoje são feitos incríveis de engenharia. Por exemplo, o SoC Dragonwing QCS8550 da Qualcomm é um design de 4 nm que apresenta CPU, GPU, DSP, NPU, visão computacional e recursos ISP dedicados para aplicações exigentes de IoT e IA de borda. Os recursos integrados de ISP e visão computacional suportam funções como remoção de ruídos de vídeo, estabilização, correção de imagem, balanço de branco, processamento de cores, controle automático de ganho, foco e outras funções da câmera. Essa classe de chips requer um enorme investimento em desenvolvimento e depende de capacidade avançada de fundição, ferramentas de software e suporte a ecossistemas de longo prazo.

Figura 5 - Núcleos do processador QCS 8550

A Teledyne FLIR OEM queria criar uma plataforma em que os clientes pudessem criar seus produtos e permitir a criação de pilhas de software altamente integradas e minimizar custos, latência e energia usando um único processador, quando possível. Esse tem sido o objetivo ao longo de várias gerações de plataformas, incluindo a seleção do processador Intel® Myriad .com para o módulo de câmera termográfica infravermelha (IV) OEM Boson® da Teledyne FLIR. A arquitetura de chip Myriad não conseguiu atender às necessidades de computação mais pesadas para detectores de objetos baseados em CNN ou imagens computacionais. Com a introdução do NVIDIA Xavier, dos módulos NVIDIA Jetson Orin, dos processadores Qualcomm RB5/QCS5165 e Qualcomm QCS8550-class, tornou-se prático executar várias pilhas de software distribuídas em núcleos de processadores e aceleradores específicos.

Visão geral do Sistema no Chip (SoC)

Os processadores integrados de hoje aproveitam o que há de mais recente em nós de fundição, permitindo projetos com vários núcleos com memória unificada. Os fornecedores de processadores oferecem suporte de desenvolvimento muito abrangente, e os desenvolvedores podem implantar seu código nesses processadores multinúcleos para maximizar o desempenho e atender aos orçamentos de energia e térmicos.

CPU

A funcionalidade principal da CPU é buscar instruções da memória de acesso aleatório (RAM) e, em seguida, decodificar e executar as instruções. As CPUs são processadores generalistas projetados para executar rotinas que lidam com cargas de trabalho sequenciais. Muitas CPUs têm processadores vetoriais integrados para acelerar algumas operações (por exemplo, NEON em CPUs baseadas em ARM). Vários dos recursos digitais do produto OEM da Teledyne FLIR são executados em núcleos de CPU, incluindo o rastreador de vídeo de correlação Prism ISP e estabilização de vídeo eletrônica. Devido ao grande número de núcleos de CPU disponíveis nos SoCs da geração atual, os desenvolvedores têm uma enorme flexibilidade para otimizar o desempenho e a energia. As CPUs não são adequadas para tarefas que exigem um grande número de operações matemáticas por pixel. As CPUs têm limitações de taxa de transferência e consomem energia relativamente alta por operação.

GPU

As cargas de trabalho de IA e IC são enormes, exigindo uma quantidade significativa de largura de banda e poder de processamento. Os projetistas de processadores criaram arquiteturas de chip poderosas que integram memória, segurança e conectividade de dados em tempo real. As CPUs tradicionais normalmente não têm o desempenho de processamento necessário, mas são ideais para realizar tarefas sequenciais. As GPUs podem lidar com o paralelismo das funções multiacumuladas da IA e podem ser aplicadas a aplicativos de IA. Na verdade, as GPUs podem servir como aceleradores de IA, melhorando o desempenho para redes neurais e cargas de trabalho semelhantes. As GPUs podem ter milhares de núcleos de computação e são usadas para muitas tarefas de processamento paralelo. As GPUs são especialmente úteis para modelos de treinamento. No entanto, as GPUs consomem energia significativa e têm requisitos de memória no chip mais altos. Por esse motivo, os processadores móveis modernos empregam coprocessadores de IA dedicados que usam processadores de sinal digital (DSPs) para executar inferência na borda.

DSP

Os DSPs são subsistemas SoC especializados e eficientes em termos de energia, otimizados para executar operações matemáticas. Eles utilizam palavras de instrução amplas para ajudar a maximizar o processamento por ciclo de relógio. No entanto, eles não são tão fáceis de programar e exigem familiaridade com os recursos do hardware DSP, ambiente de programação e otimização do software DSP para obter o melhor desempenho. O Processador Tensor Qualcomm Hexagon (HTP) é um acelerador de IA adequado para executar cargas de trabalho de IA computacionalmente intensivas. Para obter melhor desempenho e executar um modelo de IA em HTP, um modelo deve ser quantificado para uma das precisões compatíveis: INT4, INT8, INT16 ou FP16.

ISP

Como a fotografia digital é a linha de frente da batalha competitiva na indústria de aparelhos móveis, os fornecedores de processadores móveis incorporam blocos dedicados de propriedade intelectual (IP) de silício para realizar funções de aprimoramento de imagem, incluindo redução de ruído, correção de distorção de lente, balanceamento de branco, exposição automática, foco automático, remoção de mumosa e compressão de imagem. No nível do sistema, o ajuste do ISP normalmente é necessário para otimizar os parâmetros e vários filtros para um sensor de imagem e lente específicos. O ajuste fino do ISP é um setor em si. Muitos fornecedores de SoC oferecem bibliotecas ISP para sensores de imagem populares, economizando potencialmente o investimento significativo dos desenvolvedores de sistemas.

Há pouca justificativa para os fornecedores de processadores móveis projetarem e fabricarem um ISP de câmera térmica. Ainda assim, os benefícios do processamento de sinais de imagem são valiosos, por isso a Teledyne FLIR OEM desenvolveu um conjunto abrangente de recursos ISP, incluindo mapeamento de tons de 16 a 8 bits (controle automático de ganho), remoção de ruídos espaçotemporal, super-resolução, mitigação de turbulência e estabilização eletrônica de imagem. A maioria desses algoritmos é executada em GPUs devido às demandas significativas de processamento.

Memória

Dadas as altas taxas de dados em fluxos de vídeo digital e o fato de que os dados podem ser lidos repetidamente por vários algoritmos, a capacidade de memória e a largura de banda de memória são essenciais para o processamento eficiente de sinais. Por meio de uma combinação de maiores velocidades de clock, maior largura de banda de memória, aceleração de IA dedicada e otimização de software aprimorada, o maior modelo de IA existente do OEM da Teledyne FLIR (resolução de entrada de 768 x 768 pixels) é executado em 6 ms no Qualcomm QCS8550 versus 33 ms no QRB5165. Isso representa um aumento de mais de 5X na velocidade de inferência e fornece uma margem segura para alcançar a inferência na taxa de quadros para câmeras de resolução SXGA (1280x1024) de próxima geração.

7. Estruturas

As estruturas de IA são elementos fundamentais que moldam a forma como os sistemas inteligentes são criados, otimizados e implantados. Essas estruturas, equipadas com bibliotecas e funções pré-construídas, permitem que os desenvolvedores criem algoritmos sofisticados de IA sem ter que projetar todas as funções do zero. Em sistemas de AI de borda de produção, a discussão da estrutura agora se estende além do treinamento de modelo para incluir formatos de exportação, otimização de tempo de execução, ferramentas de quantização, compiladores específicos de hardware, testes de regressão, estratégias de atualização aérea e monitoramento de desempenho no nível da frota.

A PyTorch permanece amplamente usada para pesquisa, experimentação e desenvolvimento de modelos devido à sua flexibilidade e modelo de execução fácil de usar. Seu gráfico de computação dinâmica permite que os desenvolvedores alterem o comportamento dos modelos em tempo real e usem operações de fluxo de controle Python, tornando-o adequado para arquiteturas de modelos complexas, prototipagem rápida e experimentação iterativa.

O TensorFlow continua sendo importante em ambientes de produção e fluxos de trabalho de implantação móvel, especialmente onde o TensorFlow Lite ou o LiteRT já estão integrados. No entanto, a implantação moderna embarcada raramente é uma escolha simples do PyTorch versus TensorFlow. Um caminho de produção comum é treinar em PyTorch ou TensorFlow, exportar para ONNX ou outra representação portátil, otimizar o gráfico, quantificar o modelo, compilar para um tempo de execução, como TensorRT, ONNX Runtime, OpenVINO, LiteRT/TensorFlow Lite ou Qualcomm AI Engine Direct e, em seguida, validar latência, precisão, potência e comportamento térmico no dispositivo alvo. A melhor estrutura é, portanto, aquela que suporta todo o pipeline de implantação para o processador e aplicativo selecionados, não simplesmente aquela que é mais conveniente durante o treinamento.

8. Pipeline de processamento de vídeo

O pipeline de processamento de vídeo é onde a abordagem do OEM da Teledyne FLIR se torna mais diferenciada. Em vez de tratar a câmera, ISP, detector, rastreador e processador integrado como componentes independentes, o pipeline é projetado como um sistema conectado. Cada estágio afeta o próximo: a remoção de ruídos altera a textura do alvo, o aprimoramento de contraste altera a distribuição de entrada do modelo, a estabilização melhora a consistência temporal, a super-resolução pode melhorar os detalhes eficazes e o rastreamento converte detecções quadro a quadro em informações persistentes. Otimizar essas interações é essencial para uma percepção confiável da borda.

A Teledyne FLIR OEM desenvolveu o Prism ISP, uma coleção de bibliotecas de software de processamento de imagens térmicas que incluem aprimoramento de contraste local (LCE), redução de ruído espacial e temporal, estabilização eletrônica de imagem, mitigação de turbulência, super-resolução e várias técnicas de fusão de vídeo. Essas funções melhoram a qualidade da imagem para interpretação humana, moldando também as informações apresentadas para algoritmos de detecção e rastreamento downstream. O objetivo é fazer com que o vídeo pareça melhor e melhorar a confiabilidade, eficiência e implantação da tubulação completa de percepção térmica, minimizando os requisitos de energia e o custo. Os módulos de câmera termográfica da Teledyne FLIR OEM não incluem processadores integrados para executar o Prism ISP. Com a disponibilidade de processadores móveis e integrados modernos, agora é prático adicionar um módulo eletrônico acessório com o poder de executar algoritmos de ISP, detecção e rastreamento a taxas de quadros de vídeo úteis, atendendo às restrições térmicas e de energia do mundo real.

Figura 6 - Pipeline de processamento de vídeo Prism

As imagens térmicas são usadas em muitos casos de uso para visualizar objetos: a metros de distância para inspeção e combate a incêndios; a vários quilômetros em inteligência, vigilância e reconhecimento (ISR); e a partir de perspectivas aéreas, baseadas em torre e no nível do solo. A combinação de condições ambientais baseadas em alcance, perspectiva e dia, noite e clima cria desafios de imagem do mundo real que podem ser mitigados com as funções do algoritmo Prism ISP.

9. Funções do Prism ISP

Mitigação de turbulência

Figura 7 - comparação sem (esquerda) e com (direita) mitigação de turbulência

A turbulência atmosférica refere-se ao movimento irregular e caótico de fluido ou ar caracterizado por flutuações de velocidade, pressão e densidade. A turbulência afeta a transmissão de fótons porque o ganho solar da superfície faz com que a atmosfera se misture. Ele mexe o ar e faz com que vapor de água, fumaça e outras substâncias alterem a refração do sinal infravermelho. Técnicas avançadas removem os efeitos de distorção, mantendo a boa qualidade temporal do elemento de imagem, o que significa que os objetos em movimento não são transformados em manchas ou faixas indistinguíveis. Isso é fundamental para detectar alvos, incluindo pessoas e veículos, usando IA.

Para detecção e rastreamento por IA, a mitigação de turbulência é mais do que um recurso de qualidade de imagem. Distorção, brilho e movimento aparente podem reduzir a confiança do detector e tornar os trilhos menos estáveis. Ao melhorar a consistência temporal antes da inferência e do rastreamento, o pipeline pode fornecer informações de destino mais confiáveis sem depender exclusivamente de modelos maiores ou orçamentos de computação mais altos.

Os principais objetivos dos algoritmos de mitigação de turbulência são melhorar a qualidade do sinal, reduzir o ruído e restaurar a clareza e a estabilidade em condições turbulentas. O algoritmo Prism ISP emprega várias técnicas matemáticas e de processamento de sinais para analisar e processar os dados afetados pela turbulência.

1. Aquisição de dados: O primeiro passo é adquirir os dados afetados pela turbulência. Isso é apresentado na forma de quadros de imagem.
2. Pré-processamento: Os dados adquiridos são pré-processados para remover ruídos ou artefatos que não estejam diretamente relacionados à turbulência. Isso envolve técnicas de filtragem, redução de ruído e calibração para melhorar a qualidade do sinal.
3. Estimativa de turbulência: É essencial estimar as características de turbulência presentes nos dados. Isso envolve analisar as propriedades estatísticas das flutuações e identificar parâmetros relevantes, como intensidade da turbulência, comprimento da correlação e escalas de tempo.
4. Desconvolução ou reconstrução: As técnicas de deconvolução tentam reverter os efeitos de desfoque causados pela turbulência. Os algoritmos de deconvolução geralmente utilizam modelos matemáticos de turbulência ou conhecimento empírico para restaurar o sinal original.
5. Filtragem adaptável: As condições de turbulência podem variar ao longo do tempo e do espaço, portanto, muitos algoritmos de mitigação de turbulência empregam técnicas de filtragem adaptativa. Esses métodos ajustam dinamicamente os parâmetros de filtragem com base nos parâmetros de turbulência estimados para otimizar a compensação entre a redução de ruído e a preservação de recursos essenciais de sinal.
6. Pós-processamento: Após as etapas de mitigação de turbulência, um pós-processamento adicional pode ser realizado para melhorar ainda mais a qualidade e reduzir artefatos na saída final. Dependendo da aplicação específica, isso pode envolver técnicas como remoção de ruídos, nitidez, aprimoramento de contraste ou extração de recursos.

Super-resolução

Figura 8 – comparação sem (esquerda) e com (direita) Super Resolution

A super-resolução de vários quadros é uma técnica poderosa que visa reconstruir uma imagem de alta resolução a partir de uma ou mais imagens de baixa resolução. A resolução óptica de um sistema é limitada pelo limite de difração definido pela abertura do sistema e pela resolução de amostragem do detector. Uma abertura pequena e um sensor de baixa resolução resultarão em um sistema menor e mais barato que resultará em imagens de baixa qualidade com bordas altamente aliasadas e/ou borradas. Isso é especialmente verdadeiro quando alvos de longo alcance são capturados usando uma óptica de longa distância focal que dimensiona os efeitos da difração quando combinada com um tamanho de abertura finito. Ao empregar algoritmos sofisticados, a super-resolução reconstrui imagens de alta resolução usando dados das entradas degradadas. Embora os métodos tradicionais tenham se concentrado predominantemente em explorar as correlações espaciais inerentes em imagens de baixa resolução, os avanços recentes demonstraram a eficácia de aproveitar as técnicas de aliasing para alcançar resultados superiores.

Em um pipeline de percepção, a super-resolução também pode afetar a faixa de detecção, a classificação de alvos pequenos e a confiança do operador. O benefício deve ser avaliado no nível do sistema, pois artefatos de nitidez ou reconstrução podem ajudar na interpretação visual, mas também podem alterar a distribuição de entrada vista por um modelo de IA. Isso reforça a necessidade de ajustar o ISP e a detecção juntos, em vez de funções isoladas.

Estabilização de Imagem

Figura 9 - Aplicações típicas para estabilização eletrônica

As câmeras são frequentemente montadas em plataformas móveis, como veículos terrestres, embarcações marítimas, aeronaves, drones ou torres. O movimento da plataforma é transferido diretamente para a imagem de vídeo, o que pode levar à fadiga do espectador e à má qualidade da imagem, afetando a consciência situacional e a fidelidade das evidências. A estabilização eletrônica elimina a maior parte da distorção de imagem induzida por movimento, especialmente ao gerar imagens através de um campo de visão estreito, zoom óptico usado para imagens de longo alcance.

Para percepção automatizada, a estabilização melhora a consistência temporal e pode reduzir a iniciação de rastreamento falso, detecções perdidas e fadiga do operador. Ele também ajuda os algoritmos downstream a usar sinais de movimento de forma mais eficaz porque o movimento da imagem causado pela plataforma é reduzido antes que a detecção e o rastreamento sejam realizados.

MSX - Imagem Dinâmica Multiespectral

Figura 10 - MSX grava as bordas visíveis em imagens térmicas em tempo real

Há muitas abordagens diferentes para fusão de imagens ou combinação de imagens térmicas e visíveis em um único fluxo de vídeo com fusível. O objetivo é revelar as informações exclusivas e valiosas de cada espectro, sem exigir a transmissão de dois ou mais fluxos para análise por operadores ou sistemas humanos downstream. Isso pode ser complexo na prática devido à necessidade de registro perfeito de imagem (alinhamento) de dois ou mais canais e problemas devido aos diferentes tempos de integração para cada sensor.

A Teledyne FLIR OEM patenteou uma tecnologia exclusiva chamada MSX (Multi-Spectral Dynamic Imaging). Ao contrário da combinação de imagens (mistura de uma luz visível e imagem térmica), o MSX não remove detalhes térmicos nem reduz a transparência térmica. Em vez disso, ele aplica um filtro de alta frequência para extrair detalhes visíveis nítidos, como simbologia, incluindo contornos, palavras, números e outros detalhes de borda de alto contraste, e os sobrepõe à imagem térmica. Isso ajuda a dar definição de imagem e provou ser uma tecnologia benéfica em campos como manutenção preditiva, segurança e aplicações de ISR aérea.

AGC – Controle Automático de Ganho

Figura 11 - Aprimoramento de contraste local (vídeo fonte Boson® 640)

No contexto das imagens, contraste refere-se à diferença de intensidade entre as regiões mais claras e mais escuras. Ela desempenha um papel crucial na definição do impacto visual geral de uma imagem. O aprimoramento de contraste local, também conhecido como alongamento de contraste local, opera com o princípio de expandir a faixa dinâmica de contraste em regiões específicas de uma imagem, em vez de alterar globalmente todo o contraste da imagem.

O aprimoramento de contraste local destaca detalhes complexos, aprimora texturas e acentua recursos. A conversão de dados brutos do sensor monocromático de 16 bits na profundidade de cor de 8 bits que vemos nos displays depende de algoritmos para mapear a extensa distribuição de valores de pixels em 1 de 256 tons de cor ou cinza. Como a distribuição de valores de pixels em uma imagem raramente é linear, maximizar o contraste é altamente complexo e dinâmico de cenário para cenário. Ao contrário do aprimoramento de contraste global, que ajusta o contraste em toda a imagem uniformemente, o aprimoramento de contraste local se concentra na preservação de detalhes locais e texturas finas. Ela tem como alvo regiões menores dentro da imagem e amplifica o contraste dentro dessas regiões, mantendo as relações de contraste relativas entre as regiões vizinhas.

Para pipelines de IA, o mapeamento de tons e o aprimoramento de contraste local devem ser gerenciados cuidadosamente, pois moldam a entrada numérica para o detector. Uma configuração que parece visualmente agradável nem sempre maximiza a confiança do modelo, reduz alarmes falsos ou preserva pequenos detalhes do alvo. A abordagem de nível de pipeline do OEM da Teledyne FLIR permite que essas opções de processamento de imagem sejam avaliadas em relação aos objetivos finais do sistema de detecção, rastreamento e suporte a decisões confiáveis dentro do envelope SWaP disponível.

10. Conclusão

Houve avanços notáveis em aprendizagem profunda, processadores integrados e ferramentas de implantação de IA de produção. Para sistemas térmicos e multiespectrais, esses avanços são importantes, mas não são suficientes sozinhos. O mercado está indo além da questão de se a IA pode ser executada na borda. A questão mais importante é se o pipeline de percepção completo pode ser projetado para fornecer informações confiáveis e acionáveis em campo, atendendo às exigentes restrições de SWaP, latência, largura de banda e térmica.

A vantagem do OEM da Teledyne FLIR vai além da simples execução de IA em processadores integrados. É a capacidade de otimizar todo o pipeline de percepção térmica de dados do sensor, processamento de sinal de imagem, design de modelo, quantização, implantação de tempo de execução, rastreamento, uso de memória, gerenciamento de energia e robustez ambiental como um sistema integrado. Em aplicações práticas em defesa, autonomia, robótica, automação industrial, segurança e sistemas automotivos, a diferenciação virá dessa integração completa, em vez de apenas da seleção de modelos genéricos ou TOPS.

A próxima geração de câmeras termográficas inteligentes será, portanto, definida pelo quão bem a física de detecção, a imagem computacional, a IA integrada e a engenharia de implantação são reunidas. Combinando experiência em sensores térmicos, Prism ISP, bibliotecas de detecção e rastreamento específicas da aplicação e experiência na otimização de software em processadores heterogêneos modernos, o OEM da Teledyne FLIR ajuda os clientes a passar de demonstrações de IA de borda para sistemas de percepção implantados que funcionam em ambientes operacionais do mundo real.

[i] https://patentimages.storage.googleapis.com/f5/e3/05/021253fa9a6921/US20220019843A1.pdf

[ii] https://patents.google.com/patent/US20220019843A1/en?oq=17%2f374909

[iii] Uma Análise de Inteligência Artificial em Sistemas Incorporados https://doi.org/10.3390/mi14050897

[iv] https://opencv.org/blog/pytorch-vs-tensorflow/