In Schweden sorgt ein umstrittener Algorithmus, der seit 2018 das Risiko von Betrugsfällen im Sozialsystem bewertet, für massive Diskussionen. Der Algorithmus stuft Frauen eher als verdächtig ein als Männer, Migranten als potenzielle Betrüger im Vergleich zu Einheimischen und Geringverdiener im Vergleich zu Wohlhabenden.

Die Realität zeigt, dass Betrug im System eher die Ausnahme als die Regel ist. Dennoch wird eine große Anzahl von Personen, die Sozialleistungen beantragen, als verdächtig markiert und muss sich einer teils invasiven Prüfung unterziehen, und das, ohne je etwas Illegales gemacht zu haben. Viele Betroffene sind ahnungslos über die stigmatisierenden Bewertungen, die über ihren Kopf hinweg gefällt werden.

Die schwedischen Behörden, insbesondere die Sozialversicherungsbehörde Försäkringskassan, hatten jahrelang keine Auskünfte über die Funktionsweise des Algorithmus gegeben und bezeichneten ihn als gut gehütetes Geheimnis. Trotz jahrzehntelanger Berichterstattung durch die schwedische Tageszeitung „Svenska Dagbladet“ und das Investigativmedium „Lighthouse Reports“, wurden Anfragen nach Informationen und Einsicht in interne Datenbarschaften stets abgelehnt.

Nach jahrelangem Druck und zwei Gerichtsverfahren konnten die Journalisten durch einen geleakten Datensatz herausfinden, dass der Algorithmus diskriminierende Tendenzen aufweist. Eine detaillierte Analyse hat gezeigt, dass Frauen 1,7-mal, Migranten sogar 2,3-mal häufiger als verdächtig eingestuft werden als entsprechende Vergleichsgruppen aus der Bevölkerung.

Die Folgen dieser Bewertungen sind gravierend: Antragsteller bleiben oft ohne finanzielle Unterstützung, da Auszahlungen verzögert oder gar eingestellt werden, während sie gleichzeitig in invasive Prüfungen verwickelt werden. Amnesty International hatte die Medien in ihrer Untersuchung unterstützt und warnte vor den menschenrechtlichen Konsequenzen.

David Nolan, Senior Investigative Researcher bei Amnesty International, beschreibt das KI-System als eine moderne Hexenjagd, die das Recht auf soziale Sicherheit, Gleichheit und Datenschutz massiv verletzt. Eine menschliche Überprüfung, die formal über den Algorithmus hinausgeht, ist oft nicht mehr als ein Formalismus. Prüfer sind dazu befugt, die Social-Media-Aktivitäten von Antragstellern zu analysieren, Informationen von Schulen und Banken einzuholen und Nachbarn zu befragen – alles ohne das Wissen der Betroffenen.

Bereits 2018 hatte die Kontrollbehörde ISF (Inspectorate for Social Security) gewarnt, dass der Algorithmus in seiner aktuellen Form nicht dem Gleichbehandlungsgebot entspricht. Ein ehemaliger Datenschutzbeauftragter kündigte 2020 an, dass die Praktiken der Behörde gegen die europäische Datenschutzverordnung verstoßen. Schweden steht nun vor der Herausforderung, die Vorwürfe ernst zu nehmen, da das Land Gefahr läuft, in einen ähnlichen Skandal verwickelt zu werden wie die Niederlande 2019, als Tausenden zu Unrecht das Kindergeld entzogen wurde.

Amnesty International drängt auf einen sofortigen Stopp der diskriminierenden Praktiken. Experten weisen darauf hin, dass unklar bleibt, ob das schwedische KI-System den neuen europäischen Richtlinien für Künstliche Intelligenz entspricht. Es gibt jedoch überwältigende Beweise dafür, dass die diskriminierenden Vorgänge umgehend eingestellt werden müssen, um grundlegende Menschenrechte zu wahren.