Министерството на правосъдието в САЩ започва проверка на противоречив инструмент за изкуствен интелект, използван от агенция за закрила на детето в Питсбърг поради опасения, че той може да доведе до дискриминация на семейства с увреждания, научи “Associated Press”.
Интересът от страна на федералните адвокати по гражданските права е бил привлечен, след като разследване на “Associated Press” е разкрило потенциални проблеми, свързани с предубедеността и прозрачността на непрозрачния алгоритъм, който е предназначен за оценка на нивото на риск за деца в едно семейство. Конкретните случаи, за които е докладвано, че са налице такива проблеми, се касаят за деца в риск в окръг Алегени. През есента са били подадени няколко жалби за нарушаване на гражданските права във връзка с инструмента за проследяване на ситуацията на семейства в Алегени, който се използва, за да помогне на социалните работници да решат кои семейства да проучат и подпомогнат по-обстойно.
Двама източници, пожелали анонимност, споделят, че адвокатите от отдела за граждански права на Министерството на правосъдието са цитирали разследването на “Associated Press”, когато са ги призовали да подадат официални жалби, в които подробно да изложат опасенията си за това как алгоритъмът може да задълбочи предубежденията към хората с увреждания, включително семействата с психични проблеми. Трето лице заяви пред медията, че същата група федерални адвокати по граждански права са разговаряли с него през ноември като част от по-подробен разговор за това как алгоритмичните инструменти могат потенциално да изострят неравенствата, включително за хората с увреждания. В този разговор са били разгледани форматът и концепцията на въпросния противоречив алгоритъм в окръг Алегени, въпреки че пълният обхват на намесата на Министерството на правосъдието все още не е известен. Всички източници твърдят, че са разговаряли с медията при условие за анонимност, като са заявили, че Министерството на правосъдието ги е помолило да не обсъждат поверителните теми, а двама от тях се страхуват и от негативни мерки срещу тях.
Екип на “Associated Press” за първи път е разкрил расовите предубеждения и опасенията за прозрачност в своя статия от април миналата година, която е фокусирана върху инструмента на Алегени и начина, по който неговите статистически изчисления помагат на социалните работници да решат кои семейства трябва да бъдат разследвани за небрежност – нюансиран термин, който може да включва всичко от неподходящо жилище до лоша хигиена, но е различна категория от физическото или сексуалното насилие, което се разследва отделно в Пенсилвания и не е обект на алгоритъма.
Прилагането на този алгоритъм би могло да помогне на уязвимите семейства да получат повече подкрепа и услуги, но също така може да доведе до по-лесното отнемане на деца от родителите им и изпращането им в приемни семейства, а в крайна сметка и до пълно отнемане на родителските права. Журналистическият екип разполага със записи, показващи стотици конкретни променливи, които се използват за изчисляване на рисковите оценки на семействата, за които се съобщава на службите за закрила на детето, включително публичните данни, които захранват алгоритъма в окръг Алегени и други подобни инструменти, използвани в системите за закрила на детето в други части на САЩ.
Емили Пътнам-Хорнщайн и Рема Ваитианатан, които заедно са разработили противоречивия алгоритъм, както и други подобни инструменти, не пожелаха да споделят подробности за вътрешната работа на алгоритъма. В имейл те заявиха, че не знаят за никакви проверки от страна на Министерството на правосъдието, свързани с алгоритъма.
Експерти в социалната сфера също изразиха опасения, че някои от данните, захранващи алгоритмите за закрила на децата, могат да засилят историческите предразсъдъци спрямо маргинализираните хора, които са обект на подкрепа от страна на социалните служби. Това включва родители с увреждания – общност, която е защитена класа съгласно федералното законодателство за гражданските права. Законът за американските граждани с увреждания забранява дискриминацията въз основа на увреждане, което може да включва широк спектър от състояния – от диабет, рак и загуба на слуха до интелектуални затруднения и психични и поведенчески диагнози като синдром на хиперактивност с дефицит на вниманието, депресия и шизофрения.
Трейси ЛаЛиберте, експерт по въпросите за социална закрила на децата и уврежданията в Университета на Минесота, публикува изследвания, в които подробно описва как родителите с увреждания са непропорционално засегнати от системата за закрила на детето. Тя оспорва идеята за използване на данни, свързани с увреждания, в който и да е алгоритъм, тъй като според нея това оценява характеристики, които хората не могат да променят, а не тяхното поведение.
