Emprunter à la loi pour filtrer les données de formation pour les modèles de base

Les modèles de base sont souvent formés sur ce qui est essentiellement l’intégralité d’Internet. En apprenant à partir d’un ensemble de données aussi vaste, ils peuvent mémoriser et reproduire de manière impressionnante les informations que nous voulons qu’ils apprennent. Par exemple, ils pourraient apprendre à répondre avec précision à des questions factuelles telles que « Qui est le président des États-Unis ?

Dans le même temps, cependant, les modèles de fondation peuvent mémoriser et reproduire des informations cela pourrait être nocif. Par exemple, ils peuvent divulguer les numéros de sécurité sociale, les informations de carte de crédit ou les casiers judiciaires des personnes, ou répondre aux questions sur les musulmans en suggérant qu’ils sont les terroristes.

Ce sont des problèmes que les créateurs de modèles de fondation doivent résoudre, déclare Peter Henderson, JD/Ph.D. étudiant à Stanford : “Nous ne voulons pas que les modèles associent les gens à leur contenu privé ou à des caractéristiques nuisibles.”

Pour éviter de telles conséquences, les créateurs de modèles de base essaient parfois de filtrer le contenu privé ou toxique avant d’utiliser un ensemble de données pour former un modèle. Mais essayer de supprimer tout – ou même la plupart – du contenu privé ou toxique de l’intégralité d’Internet est extrêmement difficile. Une raison : le contexte compte. Les attentes en matière de confidentialité diffèrent selon les cultures et même dans le temps. Et décider si une phrase est toxique peut dépendre de qui parle, pourquoi ils utilisent une phrase particulière et les attentes des lecteurs. En résumé : il s’agit d’un exercice d’équilibre, et différents chercheurs appliquent différentes normes.

“Nous nous sommes demandé s’il existait un moyen plus fondé de filtrer les données de pré-formation”, déclare Henderson. Lui et ses collègues, dont Mark Krass, également étudiant au JD/PhD, ont eu une idée : se tourner vers la loi. Les tribunaux établissent depuis longtemps des normes en matière de divulgation d’informations, alors pourquoi ne pas importer ces normes dans l’environnement d’apprentissage automatique (ML) ?

Pour tester leur idée, Henderson et ses collègues ont réuni Pile de loiun vaste ensemble de données d’opinions judiciaires et administratives, de code juridique, de recueils de jurisprudence et d’autres documents juridiques. Ils ont ensuite exploré si Pile of Law pouvait aider à identifier une manière raisonnée de filtrer les données de pré-formation avec un accent particulier sur la confidentialité et la toxicité.

Basé sur l’équipe expériences initialesPile of Law offre des opportunités intéressantes : premièrement, il peut aider les chercheurs à s’assurer que leurs données de formation répondent aux normes légales minimales. Et deuxièmement, cela peut révéler des problèmes avec les normes de filtrage courantes, comme dans le domaine de la toxicité.

Filtrage pour la confidentialité

Lorsque Henderson et Krass ont examiné pour la première fois les ensembles de données actuellement utilisés pour former modèles de fondationils n’en ont trouvé aucun qui ait été explicitement filtré pour les informations personnelles sensibles. Ils ont donc décidé d’identifier les normes que les tribunaux et les gouvernements utilisent pour équilibrer la confidentialité et la transparence, puis de tester si l’utilisation implicite de ces normes dans Pile of Law pourrait les orienter vers une approche nuancée du filtrage des données.

L’équipe a d’abord répertorié les différentes façons dont les tribunaux ont traité les problèmes de confidentialité. Ils ont trouvé des règles claires que les concepteurs de modèles pourraient adapter pour filtrer leurs données de formation. Par exemple, aucune juridiction américaine ne révèle les noms, numéros de sécurité sociale, numéros de compte financier ou dates de naissance des mineurs.

Mais ils ont également trouvé des approches plus contextuelles. Par exemple, les tribunaux américains divulguent généralement les casiers judiciaires des personnes ou les noms des justiciables dans les affaires civiles, mais il existe des exceptions. Dans les affaires d’agression sexuelle, par exemple, les noms des victimes sont souvent pseudonymisés. De même, les juges de droit administratif utilisent leur pouvoir discrétionnaire pour protéger les noms des personnes qui se présentent devant eux dans des contextes tels que la demande de prestations d’invalidité ou d’asile politique.

L’existence de ces normes contextuelles signifie que certains sous-ensembles de Pile of Law sont déjà implicitement filtrés pour protéger la vie privée de certaines personnes. Dans le contexte de l’immigration, par exemple, les demandeurs d’asile qui affirment avoir été torturés dans leur propre pays ont probablement reçu des pseudonymes dans les archives publiques.

Henderson et son équipe ont décidé de tester si un modèle pouvait apprendre ces normes contextualisées en utilisant Pile of Law comme données de formation. Le résultat : un modèle qui prédit avec une précision de 80 % si un paragraphe dans un cas d’immigration doit utiliser un pseudonyme ou non. Et ils ont montré que ces prédictions étaient conformes à la loi : les phrases faisant référence à l’asile et à la torture étaient plus susceptibles de déclencher un pseudonymat que les phrases faisant référence à des infractions pénales.

Ces expériences et plusieurs autres suggèrent que Pile of Law peut aider les chercheurs à développer des filtres de confidentialité adaptés au contexte, dit Henderson. Ensuite, l’équipe aimerait étendre ces efforts au-delà du domaine juridique : un modèle pourrait-il apprendre à pseudonymiser les noms des demandeurs d’asile dans un ensemble de données qui comprend l’intégralité d’Internet ?

Filtrage de la toxicité

Dans le domaine de la toxicité, Henderson et Krass ont trouvé un paysage différent. Les filtres existants sont largement utilisés et vont bien au-delà de ce que suggéreraient les normes des tribunaux. En effet, l’application des filtres de toxicité actuels à Pile of Law pourrait filtrer des parties importantes de certains précédents juridiques clés de l’ère des droits civils, y compris Brown c.Conseil de l’éducationune affaire importante qui a conduit à la déségrégation des écoles aux États-Unis.

De plus, l’équipe a découvert que les filtres existants peuvent supprimer le contenu toxique de portions de texte plus courtes tout en le laissant en place s’il apparaît dans un travail écrit plus long – un résultat inexpliqué qui est potentiellement problématique.

“La leçon est de réfléchir plus attentivement avant de retirer un filtre du commerce pour filtrer les données avant la formation”, déclare Henderson. “Nous appelons donc à davantage de recherches pour traiter correctement la toxicité dans les données de formation.”

Suivant : Raisonnement juridique

Alors que Henderson et Krass espèrent que Pile of Law contribuera à rendre le filtrage des données moins ad hoc qu’il ne l’est aujourd’hui, ils ont également un deuxième objectif : utiliser Pile of Law pour construire des modèles de base capables de raisonnement juridique.

L’équipe a déjà montréwn que les modèles de base font un travail moche pour comprendre comment appliquer la loi à un ensemble de faits. Mais Henderson espère que les systèmes d’IA amélioreront un jour l’efficacité et la rigueur des avocats, par exemple en vérifiant leurs citations et en identifiant tous les arguments pertinents dans une affaire. L’objectif, dit-il, est d’améliorer l’accès à la justice pour les personnes qui n’ont pas les moyens de payer un avocat.

« C’est un défi difficile, mais pourquoi ne pas viser un problème difficile à résoudre ? » il dit. “Et un qui peut réellement aider les gens.”

Katharine Miller est rédactrice pour le Institut de Stanford pour l’IA centrée sur l’humain.

Cette histoire est apparue à l’origine sur Hai.stanford.edu. Droits d’auteur 2022