Utilisation des données synthétiques pour accélérer le développement de modèles de perception IA pour la détection d’objets

TÉLÉCHARGER LA VERSION PDF

Introduction

Le concept d’exploitation (CONOPS) des plateformes aériennes et des systèmes autonomes évolue rapidement. Le brouillage des radiofréquences (RF) peut désormais perturber les communications et la navigation dans le système mondial de navigation par satellite (GNSS), augmentant ainsi le besoin de détection et de suivi des cibles multiclasses, d’autonomie intégrée, de reconnaissance automatique des cibles basée sur la périphérie et de guidage des terminaux qui peuvent fonctionner dans les environnements contestés. Pour les OEM et les intégrateurs système, ce changement stimule la demande en produits de perception numérique qui détectent, classent et suivent les objets pertinents pour la mission à la périphérie à l’aide de caméras électro-optiques (EO) et infrarouges (IR).

Les détecteurs d’objets généralisés peuvent être suffisants pour de nombreuses applications de perception de la situation, mais de nombreuses applications de défense nécessitent une classification fine des cibles, des comportements et des points de visée. Les solutions de perception IA adoptent une ontologie similaire à la perception humaine après trois niveaux de perception : la détection, la reconnaissance et l’identification. Chaque niveau a un pixel sur le seuil cible, et il est souvent très difficile de collecter des données de terrain couvrant tous les pixels sur les exigences de cible pour entraîner un modèle haute performance. Le facteur limitant est les données, car les données d’image sont souvent cloisonnées entre les organisations militaires, les agences gouvernementales, les institutions de recherche et les entrepreneurs de la défense, chacun ayant des politiques d’accès et de commercialisation différentes. Dans le même temps, les classes cibles continuent de s’étendre, et les conditions réelles telles que le camouflage, l’usurpation d’identité, la modalité du capteur, la géométrie de visualisation et l’environnement doivent être représentées dans les données d’apprentissage. Pour répondre à ces exigences, la génération de données et l’apprentissage des modèles sont nécessaires en quelques jours plutôt qu’en plusieurs semaines ou mois. L’OEM de Teledyne FLIR a développé AIMMGen™ pour relever ce défi en tant que capacité de génération de données synthétiques et d’apprentissage de modèles d’IA qui prend en charge le portefeuille plus large de produits numériques Prism™.

Éléments clés

• AIMMGen accélère le développement de modèles d’objets en générant de grands volumes de données synthétiques étiquetées EO, IR et multispectrales pour les scénarios riches en cibles.
• La chaîne d’outils réduit la dépendance aux jeux de données rares, coûteux ou restreints du monde réel tout en préservant la possibilité d’augmenter les données mesurées lorsqu’elles sont disponibles.
• La gestion automatisée des métadonnées, la conservation des ensembles de données et l’optimisation des modèles prennent en charge le développement répétable et traçable de modèles de perception spécifiques à la mission.
• Dans le cadre de l’écosystème de produits numériques Prism, AIMMGen aide à convertir les données synthétiques et les flux de travail de formation en capacités de perception numérique déployables pour les plateformes OEM.
• Des exemples de résultats montrent une amélioration mesurable des performances dans la détection air-sol et démontrent l’apprentissage de modèles exclusivement synthétiques pour la classification maritime MWIR à grain fin.

Pourquoi les données synthétiques comptent-elles maintenant ?

La valeur stratégique des données synthétiques pour l’apprentissage des modèles ne se limite plus à combler les lacunes dans les données d’apprentissage. Elle devient un moyen pratique d’accélérer la détection définie par logiciel et les capacités de perception IA adaptables sur le terrain. À mesure que les exigences de la mission évoluent, les clients ont besoin de modèles qui peuvent être étendus à de nouvelles classes cibles, validés selon les modalités de capteurs et déployés sur des processeurs intégrés sans redémarrer des campagnes de collecte et d’étiquetage de données d’une durée de plusieurs mois.

Pour les OEM Teledyne FLIR, AIMMGen est la base de la génération de modèles de cette stratégie de produits numériques. Elle aide à transformer les images éparses, coûteuses ou difficiles à collecter en modèles d’IA validés qui prennent en charge les applications Prism pour la détection, le suivi, la reconnaissance de cible et la perception spécifique à la mission.

Génération de modèles de données synthétiques et d’IA

Les développeurs sur les marchés tels que la conduite autonome ont souvent accès à de grandes bibliothèques de formation. En revanche, les organisations développant des systèmes de détection militaires et spécifiques à une mission ont souvent un accès limité aux données cibles représentatives. Les données réelles restent importantes pour les classificateurs de précision, mais les données synthétiques offrent un moyen pratique d’augmenter les ensembles de données mesurés ou de développer des classificateurs à grain fin lorsque les données mesurées sont indisponibles, restreintes ou prohibitivement coûteuses à collecter.

L’AIMMGen (Modélisation et génération de modèles d’IA) OEM de Teledyne FLIR combine la génération automatisée de données à grande échelle, la récupération intelligente de données et l’optimisation du modèle d’IA dans un seul pipeline pour les développeurs d’algorithmes de reconnaissance automatique de cible (ATR) et les intégrateurs OEM. Au sein de l’écosystème de produits numériques Prism, AIMMGen fonctionne comme une usine de modèles : elle aide à créer, former, tester et fournir des modèles de perception IA pour les applications logicielles prêtes à la mission et les modules de perception intégrés. La chaîne d’outils génère rapidement des données synthétiques pour des scénarios réels, y compris les types d’objets cibles, les positions, les orientations, les modalités de capteur, les configurations, les trajectoires et les états environnementaux. Elle peut produire des millions d’images étiquetées en quelques jours, plutôt que les semaines ou les mois généralement nécessaires pour la collecte de données sur le terrain et l’étiquetage manuel.

AIMMGen génère automatiquement des étiquettes pour chaque image et stocke les métadonnées de la collection avec l’ensemble d’images. Pour prendre en charge la formation, la validation et le déploiement reproductible dans les cas d’utilisation, les métadonnées de chaque image et cible sont stockées dans un lac de données pour une conservation et une construction rapides des ensembles de données. Ces métadonnées comprennent les paramètres de collecte, les informations sur la cible et les paramètres d’image. Le cadre de formation extensible et indépendant du modèle d’AIMMGen permet ensuite une formation et une optimisation à l’échelle du cloud dans une gamme de cas d’utilisation et de tâches. Ce flux de travail traçable aide les clients à comprendre non seulement comment un modèle fonctionne, mais également quelles données, conditions et hypothèses ont façonné son développement.

Des données synthétiques à la perception numérique déployable

Le flux de travail AIMMGen est plus utile lorsqu’il est considéré comme faisant partie d’un pipeline de perception numérique de bout en bout. La génération de données synthétiques crée des images étiquetées à grande échelle. La conservation des jeux de données et la gestion des métadonnées rendent les données consultables et réutilisables. La formation et l’optimisation automatisées convertissent les données sélectionnées en modèles. Les tests de validation et de performance fournissent la preuve que le modèle peut prendre en charge une application sur le terrain. Dans l’écosystème Prism, ces sorties peuvent prendre en charge des produits logiciels et des modules qui effectuent la détection, le suivi, la classification, l’imagerie informatique et la reconnaissance de cibles en périphérie.

Pour les clients OEM, le défi est rarement de modéliser la formation seule. L’objectif plus large est de réduire les risques de développement, de raccourcir le délai de capacité et d’adapter le logiciel de perception à mesure que les cibles, les capteurs, les plateformes de déploiement et les exigences de mission changent.

Étape 1 : Processus de génération de données synthétiques AIMMGen

La première étape du processus AIMMGen est la génération de données, qui commence par des spécifications pour les types d’emplacement, la résolution du capteur, les types d’objet cible, les conditions d’imagerie, les configurations du capteur et le nombre d’images souhaité. Des combinaisons aléatoires de ces spécifications sont créées jusqu’à ce que le nombre total d’images atteigne ou dépasse le nombre souhaité. Le pipeline de génération de données engage un moteur de simulation géospécifique qui comprend un terrain précis pour le monde entier, définit les conditions environnementales, insère des cibles échantillonnées à partir de plus de 20 000 modèles uniques et commence à collecter des données. La vérité au sol est automatiquement générée sous forme de métadonnées et stockée avec les métadonnées cibles.

Figure 1. Les données de formation synthétiques sont générées en quelques minutes et à faible coût

Les métadonnées d’image, y compris l’URI final de chaque emplacement d’image et les métadonnées cibles associées, sont capturées et stockées dans une base de données Elasticsearch. Ces métadonnées sont stockées dans des index distincts et liées via des identifiants uniques, ce qui permet aux utilisateurs de visualiser, filtrer et rechercher dans les sous-ensembles de données. Après la génération, les données peuvent être conservées à l’aide d’outils de visualisation pour prendre en charge la conception d’expériences et le développement de jeux de données.

Étape 2 : Formation et optimisation du modèle AIMMGen

La deuxième étape est l’apprentissage et l’optimisation automatisés des modèles. Les utilisateurs spécifient les jeux de données, les caractéristiques de performance du modèle souhaitées et les mesures d’optimisation. AIMMGen orchestre un cluster de nœuds d’entraînement IA pour entraîner, évaluer et produire des modèles optimisés par rapport aux mesures de référence et définies par l’utilisateur. Étant donné que le cadre de formation est indépendant du modèle, les utilisateurs peuvent créer des pipelines de données et des architectures de modèle personnalisés dans AIMMGen. Les modèles de sortie sont suivis et stockés dans une base de données pour faciliter la traçabilité, la reproductibilité et l’affinage futur à mesure que les missions des clients ou les ensembles de cibles évoluent.

Figure 2. Formation et optimisation automatiques

Mesures de performance de base pour l’optimisation du modèle de perception de l’IA

Dans le développement de modèles de perception IA, la précision, le rappel et F1-score sont des mesures clés pour évaluer la façon dont un modèle identifie et classe les objets ou les instances.

La précision mesure la précision des prédictions positives faites par le modèle. Il est important lorsque le coût des faux positifs est élevé. Dans les applications militaires, le fait de mal identifier une non-menace comme une menace peut entraîner des actions inutiles.

Précision = vrais positifs/(vrai positifs + faux positifs)

Recall, également appelé sensibilité ou taux de vrais positifs, mesure la capacité du modèle à identifier toutes les instances pertinentes. Cela est essentiel lorsqu’une instance positive est manquante a de graves conséquences, comme le risque de ne pas détecter une menace réelle.

Rappel = vrais positifs/(vrai positifs + faux négatifs)

Le F1-Score fournit une vue équilibrée des performances du modèle, garantissant à la fois la précision et le rappel. Il s’agit d’une bonne mesure des performances globales du modèle lorsqu’il s’agit de jeux de données déséquilibrés et elle est essentielle pour développer des systèmes de perception robustes.

F1 - Score = 2 x (Précision * Rappel)/(Précision + Rappel)

Exemples d’applications et de résultats AIMMGen

AIMMGen a été validé dans plusieurs domaines d’application et de capteurs, y compris la détection air-sol et la classification maritime à grain fin.

Lors d’une expérience de détection air-sol, l’OEM de Teledyne FLIR a ajouté des données synthétiques électro-optiques (EO) et infrarouges à ondes longues (LWIR) à un ensemble de données d’apprentissage de la détection d’objets qui comprenait déjà des données EO et IR mesurées. Avec seulement peu de modifications apportées au programme de formation, les modèles formés à l’AIMMGen ont obtenu une amélioration mesurable du rappel. Cela est important sur le plan opérationnel, car les détections manquées peuvent être plus conséquentes que les faux positifs supplémentaires dans de nombreux flux de travail de surveillance, de ciblage et de protection de la force. L’amélioration se reflète dans l’augmentation globale du F1-score.

Tableau 1. Modèles AIMMGen par rapport aux modèles entraînés en temps réel

AIMMGen peut également prendre en charge la génération de modèles d’IA avec peu ou pas de données d’apprentissage réelles, comme démontré dans un exemple maritime infrarouge à ondes moyennes (MWIR). L’identification fine des objets maritimes nécessite généralement des ensembles de données MWIR coûteux avec des étiquettes détaillées de type navire. Avec des données réelles limitées, les modèles ne peuvent faire la distinction entre de grandes catégories telles que « petit navire » et « grand navire ». Cependant, à l’aide d’AIMMGen, un modèle a été formé exclusivement sur les données synthétiques et a pu classer des sous-types de vaisseaux spécifiques. Les performances ont été validées dans plusieurs collections réelles, y compris les environnements d’eau douce et de littoral, démontrant la robustesse de la formation exclusivement synthétique et le potentiel d’élargir les classes cibles lorsque les images réelles sont rares ou difficiles à collecter.

Figure 3: Identification fine dans le MWIR des navires maritimes à l’aide de modèles d’IA synthétiques formés aux données

Résumé

La création de jeux de données d’apprentissage larges et diversifiés pour les applications EO, IR et multispectrales reste un obstacle majeur au déploiement de systèmes de perception IA robustes. L’AIMMGen résout cette barrière avec l’imagerie synthétique, la gestion automatisée des métadonnées, la conservation des jeux de données et l’optimisation des modèles. Dans le cadre de la stratégie plus large de produits numériques Prism de Teledyne FLIR OEM, AIMMGen est plus qu’une chaîne d’outils de génération de données. Il fournit une base de génération de modèle pour développer, valider et étendre les capacités de perception de l’IA spécifiques à la mission dans la défense, l’autonomie, les premiers secours et d’autres applications OEM.

Pour plus d’informations sur la famille de logiciels Prism et les produits numériques OEM Teledyne FLIR, veuillez consulter oem.flir.com/prism.