Une approche rentable pour le prélèvement aléatoire de produits en vrac

Avec l'automatisation croissante des lignes de production, de nombreuses tâches complexes, autrefois réservées aux opérateurs humains, sont désormais effectuées par des machines. L'une des tâches les plus complexes est le prélèvement aléatoire de produits dans des bacs (bin picking). Il s'agit de la capacité à examiner le contenu d'un bac rempli de composants en vrac, puis d'identifier et de récupérer celui qui correspond à la prochaine tâche de la chaîne de production — même s'il est partiellement dissimulé sous une pile d'autres composants.

Les applications de prélèvement aléatoire de produits en vrac s'étendent du chargement de machines au kitting et au tri, et cette technologie est largement utilisée dans les secteurs de l'automobile, de l'électronique, du commerce électronique et des dispositifs médicaux. Bien que la tâche soit relativement simple pour une personne, le bras robotisé affecté à cette tâche doit exploiter des algorithmes de visionique 3D haute vitesse, de reconnaissance des formes et de planification de trajectoire pour réussir. Les approches d'apprentissage automatique plus récentes contribuent également à améliorer l'identification et la récupération réussie des composants dans les bacs.

Différences entre lumière structurée et balayage laser

Bien que l'utilisation de la lumière laser pour scanner et cartographier méthodiquement les surfaces soit bien connue, la plupart des systèmes modernes de prélèvement aléatoire exploitent des approches de « lumière structurée », plus rapides, plus sûres et plus rentables que la cartographie laser. Au-delà du prélèvement de produits en vrac, le balayage à lumière structurée est largement utilisé dans des domaines tels que la conception industrielle, le contrôle qualité, les jeux en réalité augmentée et l'imagerie médicale. Les conditions d'éclairage ambiant et les surfaces réfléchissantes des composants sont des facteurs de complication potentiels.

La lumière structurée consiste à projeter rapidement une série de motifs, tels que des rayures et des grilles (Figure 1), sur le contenu d'un bac. Sous un angle différent de celui du projecteur, les motifs sont déformés. Ces déformations, qui révèlent la complexité tridimensionnelle du contenu du bac, sont capturées dans une série d'images fixes, d'où la nécessité d'une connectivité à haut débit et d'une puissance de calcul élevée.

Figure 1 : En capturant et en analysant les images créées par la projection de motifs clairs et foncés dans un bac rempli de composants, le balayage à lumière structurée révèle la nature, l'emplacement et l'orientation des différentes pièces contenues dans le bac. (Source de l'image : Lattice Semiconductor)

Les FPGA prennent en charge les tâches répétitives

La plupart des solutions de lumière structurée sont composées de deux modules connectés via Ethernet : un module de capteur et un module de calcul. Le module de capteur est connecté à un projecteur et déclenche la projection d'une série de motifs lumineux structurés dans le bac. Une caméra positionnée hors axe par rapport au projecteur capture les images résultantes. Dans le cas de la solution à lumière structurée de Lattice Semiconductor, une série de 41 images discrètes est générée, comprenant des motifs positifs, négatifs, horizontaux et verticaux. La séquence d'images capturées par la caméra revient au module de capteur via une liaison MIPI CSI (Camera Serial Interface).

Le module de capteur inclut également des ressources FPGA qui codent la série de 41 images en une seule image codée 10 bits, avec l'emplacement d'un « pixel correspondant » commun depuis les images générées indiqué. Cette image codée est ensuite transmise au module de calcul via une liaison Ethernet. Ce codage augmente considérablement la vitesse de transmission vers le module de calcul, ainsi que la réactivité et les performances du système global. Par exemple, l'envoi de 41 images brutes d'une résolution de 1920 x 1080 pixels représente 680 Mo de trafic de données, tandis qu'une seule image codée ne représente que 41 Mo de données. Cela se traduit par une réduction du volume de données d'un facteur 16 et par une augmentation correspondante des performances du système.

Des FPGA supplémentaires dans le module de capteur permettent de décharger davantage de tâches du module de calcul en générant la carte de profondeur pixel par pixel qui délimite efficacement les objets individuels dans le bac et aide le module de calcul à calculer une cible de point de prélèvement optimale pour le bras robotisé associé. Il s'agit d'une tâche très répétitive qui peut être effectuée en parallèle pour chaque pixel. Alternativement, l'utilisateur peut exploiter la même ressource de module de calcul, mais ajouter des capacités supplémentaires. De même, le FPGA peut effectuer tout ou partie des tâches de détection et de segmentation d'objets basées sur l'apprentissage automatique afin de décharger davantage le module de calcul.

Matériel ou logiciel

La raison pour laquelle une combinaison de FPGA dans le module de capteur et de processeurs (CPU)/processeurs graphiques (GPU) dans le module de calcul fonctionne si bien dans cette application réside dans les forces complémentaires de chaque plateforme. Les FPGA excellent dans les tâches hautement répétitives, telles que le traitement spécifique au capteur et la synchronisation au niveau image, nécessaires pour consolider les informations de 41 images en une seule image codée. Ce type de tâche se prête bien à une implémentation matérielle configurable. Parallèlement, la force des CPU/GPU réside dans les calculs complexes de haut niveau, tels que l'optimisation et la prise de décision, qui sont plus faciles à implémenter dans un logiciel (Figure 2).

Figure 2 : En répartissant judicieusement la charge de calcul entre les ressources FPGA et CPU/GPU, l'approche de prélèvement aléatoire de produits en vrac dans des bacs de Lattice Semiconductor optimise les performances du système et réduit les coûts du point de vue de la nomenclature. (Source de l'image : Lattice Semiconductor)

Dans le cas de l'application de prélèvement aléatoire dans des bacs, le codage FPGA local au niveau du module de capteur réduit considérablement les données devant être envoyées au module de calcul, augmentant ainsi la vitesse d'exécution du prélèvement. Dans le même temps, le FPGA réduit également les exigences de calcul des CPU/GPU intégrés au module de calcul, permettant ainsi l'utilisation d'un processeur à plus faible coût.

Le facteur de forme compact et la faible consommation d'énergie des FPGA permettent également d'intégrer le module de capteur dans un boîtier en plastique relativement petit, sans avoir besoin de dispositifs de dissipation de puissance tels qu'un ventilateur ou un dissipateur thermique. L'effet net global est une réduction de la nomenclature pour la solution complète.

Boucler la boucle

Une fois l'image codée transférée du module de capteur au module de calcul, le CPU/GPU utilise la triangulation pour générer une image de profondeur à partir de l'image codée, un peu comme une carte topographique du fond de l'océan. Cette image de profondeur est ensuite utilisée pour la détection d'objets (segmentation) et les calculs ultérieurs des points de prélèvement. Si la vision par ordinateur joue un rôle primordial dans l'identification des objets et le calcul des points de prélèvement, dans les applications plus complexes, des modèles CAO sont parfois utilisés pour faciliter la détection d'objets par correspondance géométrique. Plus récemment, des approches basées sur l'apprentissage automatique ont été développées pour gérer des scénarios plus complexes, et certaines exploitent l'apprentissage profond pour améliorer les performances en fonction des résultats de chaque prélèvement progressif.

Enfin, lorsque le rendu 3D du contenu du bac est terminé et qu'un point de prélèvement approprié a été sélectionné pour récupérer le composant suivant, les instructions sont communiquées au robot pour exécution. Une fois le prélèvement aléatoire effectué, le cycle recommence.

Conclusion

La lumière structurée est à la fois plus sûre et plus efficace que les lasers pour les applications de prélèvement aléatoire de produits en vrac. En outre, une approche hybride exploitant à la fois les ressources FPGA et CPU/GPU s'avère la plus performante et la plus rentable du point de vue de la nomenclature. Cela s'explique par la répartition appropriée des tâches entre les deux technologies de semi-conducteurs et par la consommation d'énergie relativement faible des FPGA dans le module de capteur, éliminant le besoin de mesures de refroidissement auxiliaires.