Uso de Dados Sintéticos para Acelerar o Desenvolvimento de Modelos de Percepção de IA para Detecção de Objetos

BAIXAR VERSÃO DO PDF

Introdução

O conceito de operações (CONOPS) para plataformas aéreas e sistemas autônomos está evoluindo rapidamente. O congestionamento de radiofrequência (RF) agora pode interromper as comunicações e a navegação pelo sistema global de navegação por satélite (GNSS), aumentando a necessidade de detecção e rastreamento de alvos de várias classes, autonomia integrada, reconhecimento automático de alvos baseado em borda e orientação de terminais que possam operar em ambientes contestados. Para OEMs e integradores de sistemas, essa mudança está impulsionando a demanda por produtos de percepção digital que detectem, classifiquem e rastreiem objetos relevantes para a missão na borda usando câmeras eletro-ópticas (EO) e infravermelhas (IR).

Detectores de objetos generalizados podem ser suficientes para muitas aplicações de consciência situacional, mas muitas aplicações de defesa exigem classificação refinada de alvos, comportamentos e pontos de direcionamento. As soluções de percepção de IA adotam uma ontologia semelhante à percepção humana após três níveis de percepção: detecção, reconhecimento e identificação. Cada nível tem um pixel no limite do alvo, e muitas vezes é muito difícil coletar dados de campo cobrindo todos os pixels nos requisitos do alvo para treinar um modelo de alto desempenho. O fator limitante são os dados, já que os dados de imagem são muitas vezes isolados em organizações militares, agências governamentais, instituições de pesquisa e prestadores de serviços de defesa, cada um com diferentes políticas de acesso e comercialização. Ao mesmo tempo, as classes alvo continuam a se expandir e condições do mundo real, como camuflagem, falsificação, modalidade do sensor, geometria de visualização e ambiente, devem ser representadas nos dados de treinamento. Atender a esses requisitos exige geração de dados e treinamento de modelo em dias, em vez de semanas ou meses. O OEM da Teledyne FLIR desenvolveu a AIMMGen (para enfrentar esse desafio como uma geração de dados sintéticos e capacidade de treinamento de modelo de IA que suporta o portfólio mais amplo de produtos digitais Prism.

Principais conclusões

• O AIMMGen acelera o desenvolvimento de modelos de objetos gerando grandes volumes de dados sintéticos rotulados de EO, IV e multiespectrais para cenários ricos em alvos.
• A cadeia de ferramentas reduz a dependência de conjuntos de dados escassos, dispendiosos ou restritos do mundo real, preservando a capacidade de aumentar os dados medidos quando disponíveis.
• O gerenciamento automatizado de metadados, a curadoria de conjuntos de dados e a otimização de modelos oferecem suporte ao desenvolvimento repetível e rastreável de modelos de percepção específicos da missão.
• Como parte do ecossistema de produtos digitais Prism, o AIMMGen ajuda a converter dados sintéticos e fluxos de trabalho de treinamento em recursos de percepção digital implantáveis para plataformas OEM.
• Os resultados de exemplo mostram uma melhoria de desempenho mensurável na detecção ar-terra e demonstram treinamento de modelo somente sintético para classificação marítima MWIR de grãos finos.

Por que os dados sintéticos são importantes agora

O valor estratégico dos dados sintéticos para o treinamento de modelos não está mais limitado a preencher lacunas de dados de treinamento. Ela está se tornando uma maneira prática de acelerar a detecção definida por software e os recursos de percepção de IA adaptáveis em campo. À medida que os requisitos de missão evoluem, os clientes precisam de modelos que possam ser expandidos para novas classes de alvos, validados entre modalidades de sensores e implantados em processadores integrados sem reiniciar campanhas de coleta e rotulagem de dados de meses.

Para a Teledyne FLIR OEM, a AIMMGen é a base da geração de modelos por trás dessa estratégia de produtos digitais. Ele ajuda a transformar imagens esparsas, caras ou difíceis de coletar em modelos de IA validados que suportam aplicações Prism para detecção, rastreamento, reconhecimento de alvos e percepção específica da missão.

Dados Sintéticos e Geração de Modelos de IA

Desenvolvedores em mercados como a condução autônoma geralmente têm acesso a grandes bibliotecas de treinamento. Por outro lado, as organizações que desenvolvem sistemas de detecção militares e de missão específica frequentemente têm acesso limitado a dados de alvos representativos. Os dados reais continuam sendo importantes para classificadores de precisão, mas os dados sintéticos oferecem uma maneira prática de aumentar os conjuntos de dados medidos ou desenvolver classificadores refinados quando os dados medidos não estão disponíveis, são restritos ou são proibitivamente caros de coletar.

O AIMMGen (Modelagem de IA e Geração de Modelos) da Teledyne FLIR OEM combina geração automatizada de dados em grande escala, recuperação inteligente de dados e otimização de modelos de IA em um único pipeline para desenvolvedores de algoritmos de Reconhecimento Automático de Alvos (Automatic Target Recognition, ATR) e integradores OEM. Dentro do ecossistema de produtos digitais Prism, o AIMMGen funciona como uma fábrica de modelos: ajuda a criar, treinar, testar e fornecer modelos de percepção de IA para aplicativos de software prontos para missões e módulos de percepção integrados. A cadeia de ferramentas gera rapidamente dados sintéticos para cenários do mundo real, incluindo tipos de objetos-alvo, posições, orientações, modalidades de sensores, configurações, trajetórias e estados ambientais. Ela pode produzir milhões de imagens rotuladas em dias, em vez das semanas ou meses normalmente necessários para a coleta de dados de campo e rotulagem manual.

O AIMMGen gera automaticamente rótulos para cada imagem e armazena metadados de coleção com o conjunto de imagens. Para dar suporte a treinamento, validação e implantação repetível em casos de uso, os metadados para cada imagem e alvo são armazenados em um data lake para rápida curadoria e construção de conjunto de dados. Esses metadados incluem parâmetros de coleta, informações sobre o alvo e parâmetros de imagem. A estrutura de treinamento extensível e independente de modelo do AIMMGen permite treinamento e otimização em escala de nuvem em uma variedade de casos de uso e tarefas. Esse fluxo de trabalho rastreável ajuda os clientes a entender não apenas o desempenho de um modelo, mas também quais dados, condições e suposições moldaram seu desenvolvimento.

De dados sintéticos à percepção digital implantável

O fluxo de trabalho AIMMGen é mais valioso quando visto como parte de um pipeline de percepção digital de ponta a ponta. A geração de dados sintéticos cria imagens rotuladas em escala. A curadoria de conjuntos de dados e o gerenciamento de metadados tornam os dados pesquisáveis e reutilizáveis. Treinamento e otimização automatizados convertem dados selecionados em modelos. Os testes de validação e desempenho fornecem evidências de que o modelo pode suportar uma aplicação em campo. No ecossistema Prism, essas saídas podem suportar produtos e módulos de software que realizam detecção, rastreamento, classificação, imagem computacional e reconhecimento de alvo na borda.

Para clientes OEM, o desafio raramente é apenas o treinamento modelo. O objetivo maior é reduzir o risco de desenvolvimento, encurtar o tempo até a capacidade e adaptar o software de percepção à medida que os alvos, sensores, plataformas de implantação e requisitos de missão mudam.

Etapa 1: Processo de geração de dados sintéticos AIMMGen

O primeiro estágio do processo AIMMGen é a geração de dados, que começa com especificações para tipos de localização, resolução do sensor, tipos de objeto alvo, condições de imagem, configurações do sensor e o número desejado de imagens. Combinações randomizadas dessas especificações são criadas até que o número total de imagens atenda ou exceda o número desejado. O pipeline de geração de dados envolve um mecanismo de simulação geoespecífico que inclui terreno preciso para o mundo, define as condições ambientais, insere alvos amostrados de mais de 20.000 modelos exclusivos e começa a coletar dados. A verdade básica é gerada automaticamente como metadados e armazenada junto com metadados alvo.

Figura 1. Os dados de treinamento sintético são gerados em minutos e a baixo custo

Metadados de imagem, incluindo o URI final de cada local de imagem e metadados de alvo associados, são capturados e armazenados em um banco de dados Elasticsearch. Esses metadados são armazenados em índices separados e vinculados por identificadores exclusivos, permitindo que os usuários visualizem, filtrem e pesquisem subconjuntos de dados. Após a geração, os dados podem ser curados por meio de ferramentas de visualização para apoiar o design experimental e o desenvolvimento de conjuntos de dados.

Etapa 2: Treinamento e otimização do modelo AIMMGen

O segundo estágio é o treinamento e a otimização automatizados de modelos. Os usuários especificam conjuntos de dados, características de desempenho do modelo desejado e métricas de otimização. O AIMMGen orquestra um cluster de nós de treinamento de IA para treinar, avaliar e produzir modelos otimizados em relação às métricas de linha de base e definidas pelo usuário. Como a estrutura de treinamento é independente do modelo, os usuários podem criar pipelines de dados personalizados e arquiteturas de modelo no AIMMGen. Os modelos de saída são rastreados e armazenados em um banco de dados para apoiar a rastreabilidade, reprodutibilidade e refinamento futuro à medida que as missões do cliente ou conjuntos de alvos evoluem.

Figura 2. Treinamento e otimização automáticos

Métricas de desempenho de linha de base para otimização de modelo de percepção de IA

No desenvolvimento de modelos de percepção de IA, precisão, recuperação e F1-score são métricas-chave para avaliar quão bem um modelo identifica e classifica objetos ou instâncias.

A precisão mede a precisão das previsões positivas feitas pelo modelo. É importante quando o custo de falsos positivos é alto. Em aplicações militares, a identificação incorreta de uma não ameaça como ameaça pode levar a ações desnecessárias.

Precisão = Verdadeiros positivos/(Verdadeiros positivos + Falso positivos)

A recuperação, também conhecida como sensibilidade ou taxa positiva real, mede a capacidade do modelo de identificar todas as instâncias relevantes. Isso é fundamental quando perder uma instância positiva tem consequências graves, como o perigo de não detectar uma ameaça real.

Recuperar = Verdadeiros positivos/(Verdadeiros positivos + Falso negativos)

A F1-Score fornece uma visão equilibrada do desempenho do modelo, garantindo que a precisão e a recuperação sejam consideradas. Essa é uma boa medida do desempenho geral do modelo ao lidar com conjuntos de dados desequilibrados e é essencial para o desenvolvimento de sistemas de percepção robustos.

F1 - Pontuação = 2 x (Precisão * Recuperar)/(Precisão + Recuperar)

Exemplos de aplicações e resultados AIMMGen

O AIMMGen foi validado em vários domínios de aplicação e sensores, incluindo detecção de ar para solo e classificação marítima refinada.

Em um experimento de detecção ar-terra, o OEM da Teledyne FLIR adicionou dados sintéticos eletro-ópticos (EO) e infravermelhos de onda longa (LWIR) a um conjunto de dados de treinamento de detecção de objetos que já incluía dados medidos de EO e IV. Com apenas alterações limitadas no esquema de treinamento, os modelos treinados AIMMGen obtiveram uma melhoria mensurável na recuperação. Isso importa operacionalmente porque detecções perdidas podem ser mais consequenciais do que falsos positivos adicionais em muitos fluxos de trabalho de vigilância, direcionamento e proteção de força. A melhoria é refletida no aumento geral na F1-score.

Tabela 1. Modelos AIMMGen em comparação com modelos treinados apenas em realidade

O AIMMGen também pode oferecer suporte à geração de modelos de IA com poucos ou nenhum dado de treinamento real, conforme demonstrado em um exemplo marítimo de infravermelho de onda média (MWIR). A identificação de objetos marítimos de grãos finos normalmente requer conjuntos de dados MWIR caros com rótulos detalhados do tipo embarcação. Com dados reais limitados, os modelos só podem distinguir entre categorias amplas, como “navio pequeno” e “navio grande”. Usando AIMMGen, no entanto, um modelo foi treinado exclusivamente em dados sintéticos e foi capaz de classificar subtipos específicos de vasos. O desempenho foi validado em várias coleções do mundo real, incluindo água doce e ambientes litorâneos, demonstrando a robustez do treinamento somente sintético e o potencial de expandir as classes de alvos quando as imagens reais são escassas ou difíceis de coletar.

Figura 3: Identificação fina em MWIR de embarcações marítimas usando modelos sintéticos de IA com treinamento de dados

Resumo

A criação de conjuntos de dados de treinamento grandes e diversificados para aplicações de EO, IV e multiespectrais continua sendo uma grande barreira para a implantação de sistemas robustos de percepção de IA. O AIMMGen aborda essa barreira com imagens sintéticas, gerenciamento automatizado de metadados, curadoria de conjuntos de dados e otimização de modelos. Como parte da estratégia mais ampla de produtos digitais Prism da Teledyne FLIR OEM, o AIMMGen é mais do que uma cadeia de ferramentas de geração de dados. Ele fornece uma base de geração de modelo para desenvolver, validar e expandir recursos de percepção de IA específicos da missão em defesa, autonomia, primeiros socorros e outras aplicações OEM.

Para obter mais informações sobre a família de software Prism e os produtos digitais OEM da Teledyne FLIR, consulte oem.flir.com/prism.