Les chercheurs d’Adobe présentent un cadre d’IA qui permet de former un réseau de neurones pour apprendre un a priori basé sur les données pour la segmentation de maillage sensible à la distorsion

Source : https://threedle.github.io/DA-Wand/

L’extraction d’un patch de surface important entourant un point pouvant être mappé avec précision sur le plan 2D est nécessaire pour de nombreux flux de travail interactifs tels que le décalcomanie, la texturation ou la peinture sur un modèle 3D. Parce qu’ils sont intrinsèquement interactifs avec l’utilisateur, peuvent obtenir une distorsion plus faible que leurs équivalents mondiaux et sont plus efficaces en termes de calcul, les paramétrisations locales sont souhaitables dans certains contextes de modélisation. Mais jusqu’à présent, les méthodes de recherche de patchs de surface pouvant être paramétrés localement dépendaient principalement d’algorithmes qui établissent un équilibre entre la compacité, la taille du patch et les priors de développabilité. Cette étude se concentre sur la segmentation d’une petite sous-région autour d’un point d’intérêt sur un maillage pour la paramétrisation au lieu de techniques de paramétrisation globale qui mappent l’ensemble du maillage en 2D tout en introduisant le moins de coupes possible.

Au lieu de cela, les segmentations locales sensibles à la distorsion qui sont les meilleures pour la paramétrisation locale sont apprises dans cette étude en utilisant une méthodologie basée sur les données. Leur système suggéré prédit un patch entourant un point et sa carte UV qui l’accompagne à l’aide d’une couche de paramétrisation différenciable unique. Cela permet une formation auto-supervisée, ce qui nous permet d’éviter la pénurie d’ensembles de données étiquetés par paramétrage en encourageant leur réseau à prévoir les patchs maximisant la zone et minimisant la distorsion grâce à une séquence de priors correctement conçus. Leur approche, qu’ils appellent Distortion-Aware Wand (DA Wand), produit des probabilités de segmentation douces à partir d’un maillage d’entrée et d’une sélection initiale de triangle. En créant une variante pondérée de la technique de paramétrage traditionnelle LSCM, qu’ils appellent wLSCM, ils incluent ces probabilités dans leur couche de paramétrage.

Une paramétrisation guidée par la probabilité résulte de cette adaptation, sur laquelle l’énergie de distorsion peut être calculée pour permettre un apprentissage auto-supervisé. Ils montrent la relation directe entre les probabilités et la segmentation binaire dans le contexte de paramétrisation en prouvant la théorie selon laquelle la carte UV wLSCM converge vers la carte UV LSCM lorsque les probabilités souples convergent vers un masque de segmentation binaire. Comme la distorsion UV augmente de manière monotone avec la taille du patch, la réduction de la distorsion de la carte UV et l’augmentation de la zone de segmentation sont des objectifs concurrents. Ils atteignent ces objectifs en harmonie en créant une perte de distorsion seuillée unique qui pénalise les triangles avec une distorsion supérieure à un seuil spécifié par l’utilisateur. La simple addition de ces objectifs entraîne une optimisation inférieure à la normale avec des minima locaux indésirables.

Ils créent un tout nouvel ensemble de données de segmentation qui est presque développable, ainsi qu’une technique de création automatisée qui peut être utilisée immédiatement et pré-formée pour établir les poids de leur réseau de segmentation. Le réseau est ensuite formé de bout en bout en utilisant sa couche de paramétrage avec des priors de distorsion et de compacité sur un ensemble de données de formes naturelles non étiquetées. Ils utilisent une dorsale MeshCNN pour apprendre directement de la triangulation des données d’entrée, ce qui permet une sensibilité aux caractéristiques nettes et un grand champ réceptif qui permet l’expansion des patchs. De plus, leur approche maintient l’invariance de la transformation rigide en utilisant les propriétés intrinsèques du maillage comme entrée. De plus, ils favorisent la compacité en utilisant une perte de lissage modélisée d’après la technique des graphcuts.

Figure 1 : Grâce à une sélection conditionnelle de correctifs locaux sensibles à la distorsion, DA Wand permet un décalcomanie interactif. Notre technique localise de grands patchs qui se traduisent par une paramétrisation à faible distorsion dans les emplacements développables et à forte courbure.

Un utilisateur peut choisir de manière interactive un triangle sur le maillage à l’aide de DA Wand pour obtenir une région importante et significative autour de la sélection qui peut être paramétrée par UV avec peu de distorsion. Contrairement aux approches heuristiques actuelles, qui s’arrêtent aux limites des zones à forte courbure, elles démontrent que le réseau de neurones peut prolonger la segmentation avec le moins de gain de distorsion. Leur approche surpasse les approches concurrentes en produisant une segmentation conditionnée par l’utilisateur à des vitesses interactives. Dans la figure 1 ci-dessus, ils montrent une application interactive engageante de la baguette DA où diverses zones du maillage du chapeau de tri sont successivement sélectionnées et décalquées. Le code du framework est disponible gratuitement sur GitHub.


Vérifiez Projet. Tout le crédit pour cette recherche va aux chercheurs sur ce projet. N’oubliez pas non plus de vous inscrire notre page Reddit et canal de discordeoù nous partageons les dernières nouvelles sur la recherche en IA, des projets d’IA sympas, et plus encore.


Aneesh Tickoo est consultante stagiaire chez MarktechPost. Il poursuit actuellement ses études de premier cycle en science des données et en intelligence artificielle à l’Indian Institute of Technology (IIT) de Bhilai. Il passe la plupart de son temps à travailler sur des projets visant à exploiter la puissance de l’apprentissage automatique. Son intérêt de recherche est le traitement d’images et est passionné par la construction de solutions autour de celui-ci. Il aime se connecter avec les gens et collaborer sur des projets intéressants.


Leave a Comment