Extraction d'informations à partir de fiches de contrôle industriel marquées à la main

Créer un pipeline pour construire un système d'extraction d'informations pour les fiches d'inspection des machines, en mappant les zones de la machine au code manuscrit à l'aide de techniques de pointe d'apprentissage en profondeur et de vision par ordinateur.

Localisation et cartographie des zones machine, flèches et texte, pour extraire les informations des fiches d'inspection étiquetées manuellement.

Afin de détecter efficacement les pannes et d'entretenir les machines lourdes, une pratique courante dans plusieurs organisations consiste à effectuer des inspections manuelles régulières. La procédure pour effectuer de telles inspections nécessite le marquage des composants endommagés sur une feuille d'inspection normalisée, qui est ensuite scannée par caméra. Ces feuilles sont marquées pour différents défauts dans les zones machine correspondantes à l'aide de flèches dessinées à la main et de texte. En conséquence, l'environnement de lecture est très peu structuré et nécessite un expert du domaine lors de l'extraction des informations marquées manuellement. Nous avons proposé un nouveau pipeline pour construire un système d'extraction d'informations pour de telles feuilles d'inspection de machines, en utilisant des techniques de pointe d'apprentissage en profondeur et de vision par ordinateur. Le pipeline se déroule selon les étapes suivantes : (1) localisation des différentes zones de la machine, des flèches et du texte à l'aide d'une combinaison de correspondance de modèles, d'apprentissage en profondeur et de composants connectés, et (2) mappage de la zone de la machine sur la tête de flèche correspondante et le segment de texte à la queue de la flèche, puis associez-les pour obtenir le code de dommage correct pour chaque zone. La méthode proposée donne une précision de 83,2 % à la fin du pipeline. L'organisation dispose de deux millions de feuilles de ce type qui sont traitées manuellement. Ce projet permettrait des économies considérables en termes de temps et de main-d'œuvre car il faut environ 5 minutes par feuille pour le processus manuel. Le système d'IA traiterait une feuille en 20 s et peut être parallélisé pour une accélération supplémentaire.