Préhension robotique d'objets

Utilisez l'apprentissage par renforcement pour entraîner le robot à saisir divers. objets en simulation et transférer cet apprentissage à des robots réels.

Sortie de la vitesse de l'effecteur terminal et du vecteur de rotation en réponse à la vue d'une caméra de profondeur rouge vert bleu (RGB-D) située sur le poignet d'un robot.

Il peut être très difficile et long pour les utilisateurs d'effectuer des mouvements fins avec un bras de robot, comme saisir divers objets ménagers. Pour atténuer ce problème, des tentatives sont faites pour donner aux utilisateurs la possibilité de contrôler le bras à un niveau d'abstraction plus élevé ; ainsi, plutôt que de spécifier chaque translation et rotation du bras, on aimerait qu'ils puissent sélectionner un objet à saisir, et que le bras le saisisse automatiquement. Cela nécessite un certain degré de vision par ordinateur 41 pour pouvoir détecter des objets dans le champ de vision du robot (une caméra serait fixée à son poignet). Une fois cela réalisé, nous pourrions nous concentrer sur la saisie d'un objet sélectionné parmi les détections. Sur la base de la littérature actuelle sur la préhension robotique, on peut être tenté de partir d'une approche heuristique, géométrique ; c'est-à-dire utiliser un ensemble de règles préétablies pour ramasser des objets - par exemple, exécuter des prises en pince par le haut le long de la dimension la plus fine de l'objet qui n'est pas trop étroite pour être saisie. De telles approches fonctionnent raisonnablement bien dans des conditions qui correspondent aux hypothèses restrictives sur lesquelles les règles sont construites, mais échouent lorsqu'elles rencontrent même de petits écarts par rapport à ces conditions (par exemple, elles ne s'adaptent pas bien à l'encombrement). Tenter de répertorier et de planifier une réponse appropriée à tous ces cas d'échec de manière heuristique serait un exercice futile. En revanche, les approches basées sur l'apprentissage automatique peuvent se généraliser à des situations imprévues ou nouvelles et, comme dans le cas de la détection d'objets, fonctionnent généralement mieux que les solutions heuristiques. Les approches basées sur l'apprentissage automatique pour saisir et manipuler des objets varient considérablement. Au niveau le plus simple, nous pouvons prédire la probabilité de réussite de la saisie en fonction d'un patch d'image d'un objet et d'un angle d'approche donné. Le contrôle du robot, dans de tels cas, dépasse le cadre du modèle d'apprentissage automatique. Cependant, les méthodes peuvent évoluer vers des systèmes de bout en bout qui apprennent à contrôler le robot au niveau de ses actionneurs articulaires en réponse à un stimulus visuel consistant en une vue à vol d'oiseau du bras et de plusieurs objets placés dans une poubelle.