Fine-Tuning

Nur auf einem Umweg: Ein trainiertes Modell hält keine einzelnen Datensätze vor, die sich herausnehmen ließen. Bleibt, die Angabe aus der Beispielsammlung zu streichen und das Nachtraining von der Grundversion aus zu wiederholen. Für das Verlangen nach Artikel 17 DSGVO setzt Artikel 12 Absatz 3 einen Monat an, verlängerbar um zwei weitere Monate. Der Europäische Datenschutzausschuss hält in seiner Stellungnahme 28/2024 vom 18. Dezember 2024 fest, dass ein mit personenbezogenen Daten trainiertes Modell nicht ohne Weiteres als anonym gilt.

Ein Auftragsverarbeitungsvertrag nach Artikel 28 DSGVO, sobald in den Beispielen personenbezogene Daten stehen – geschlossen vor der ersten Übertragung, nicht nach dem ersten Trainingslauf. Sitzt der Anbieter außerhalb der EU, kommen die Übermittlungsregeln der Artikel 44 bis 49 hinzu. Ausdrücklich auszuschließen ist die Nutzung der Beispiele für fremde Modelle: Wer als Auftragsverarbeiter über eigene Zwecke entscheidet, gilt nach Artikel 28 Absatz 10 DSGVO insoweit selbst als Verantwortlicher.

Ja. Carlini und Mitautoren gewannen 2020 aus einem Sprachmodell hunderte Textfolgen wörtlich zurück – darunter Namen, Gesprächsverläufe und Programmcode – obwohl einzelne Folgen nur in einem Dokument der Trainingsmenge standen. Für nachtrainierte Modelle wiegt das schwerer, weil die Beispielsammlung typischerweise heiklere Daten enthält als die Vortrainingsmenge. Wer Beispiele aus echten Vorgängen zieht, streicht vorher Namen, Nummern und Zugangsdaten.

Alles, was in den Beispielen nicht vorkommt: Wird auf eine einzige Aufgabe nachtrainiert, fallen vorher verlässliche Leistungen ab – in der Fachliteratur katastrophales Vergessen genannt. Betroffen sind auch die Schutzvorkehrungen: Qi und Mitautoren zeigten 2023, dass zehn gezielt gebaute Beispiele die Sicherheitsausrichtung eines Modells aushebeln und dass selbst harmlose Datensätze sie messbar schwächen. Für die Abnahme folgt daraus: Der Test muss die Aufgaben enthalten, die vorher schon funktionierten.