Прогнозування програмного забезпечення, яке відображається для закріплення упередженості, не звертайт

Аналіз Gizmodo - це перша незалежна експертиза предполя, першого та найпоширеного використання програмного забезпечення для прогнозування поліцейського. На його ядрі, предполь-та інші прогностичні поліцейські програми-роботи, аналізуючи останні злочини та патрульні дані для прогнозування майбутніх злочинів, надаючи агентствам ідею того, де спрямовувати свої ресурси. Приблизно через незабезпечене місце розташування хмари, що розміщені предполі документи та дані, публікація змогла зафіксувати 7,8 мільйона індивідуальних прогнозів для 70 різних юрисдикцій у Сполучених Штатах. Gizmodo звузив зосередитися до 38 міських та окружних агентств з принаймні шістьма місяцями даних, а потім підтвердив, що ті агентства фактично використовують предполь перед початком свого аналізу. Блоки, визначені в рамках юрисдикцій у цих агентствах, потім були розбиті демографічним шляхом, використовуючи огляд американського співтовариства 2018 року.

Повне дослідження - це кілька сторінок, але це підтверджує, що багато хто з нас довгий підозрював: прогнозування програмного забезпечення, спрямовані на спільноти з низьким рівнем доходу та спільнот кольору, в основному залишаючи вищих доходів та білих спільнот.

Коли це спустилося до даних гонки та етнічної приналежності, дослідження Гізмодо виявили, що "найцікавіші блок-групи мали вищу чорну або латиноамериканську популяцію, тоді як блокують групи, які ніколи не були або не рідко спрямовані на тенденцію, щоб мати вищу білу популяцію". Хоча азіатські жителі не були настільки ж сильно, вони все ще були націлені на більше, ніж білі мешканці, а громади були, з азіатськими популяціями в найбільшцільових блочних групах, що перевищують середню азіатську азіатську юрисдикцію приблизно на третину вивчених блоків.

"Дані свідчать, що як кількість прогнозів у групі блоку збільшується, чорна та латиноамериканська частка населення збільшується, а біла та азіатська частка населення зменшується", - читає дослідження.

У більшості юрисдикцій у DataSet Gizmodo, блоки найбільш сильно орієнтованих також містять більш високу частку домогосподарств з низьким рівнем доходу (45 000 доларів США на рік або менше, а публікація вважалася федеральною лінією бідності у розмірі 26 600 доларів США занадто низькою, щоб точно захопити кількість Домогосподарства борються фінансово).

Як це відбувається? Алгоритм предполя безпосередньо не включає в себе дані гонки, але вона базується на його випуск у минулому поліцейських моделях. Якщо расові ухил є фактором у минулому поліцейських моделях, він неминуче буде запечений у прогнози, що робить.

І гонка була фактором в американській практиці поліції з самого початку. Спільноти кольору підлягають непропорційному рівні моніторингу та контролю над їх рухом, як історично, так і в сучасному дні, навіть якщо рівень злочинності не вищаються в районах, де вони живуть. Предпол заперечує своє програмне забезпечення таким чином, але доказ є власними результатами.

Одне дослідження, опубліковане в 2018 році (під керівництвом одного з власних засновників Предполя) виявив, що різні реалізації алгоритму призвели до дуже різних результатів. Індивідуальний алгоритм за замовчуванням призвело б до латиноамериканських популяцій, отримавши "200-400 відсотків, кількість патрулювання, як білі популяції", коли застосовуються до даних, поставлених з Індіанаполіса з 2012-2013 років.

Це дослідження виявило, що алгоритм може бути налаштований, щоб розповсюджувати патрулювання більш справедливо по місту, але це вплинуло на точність, або успішно надсилати патрулювання до областей, в яких злочини фактично були вчинені. Загальна точність під налаштованою моделлю "справедливості", як і раніше, вищою, ніж втручання людини, що може сказати щось про власні упередження людини у поліції. (Завжди, так звані "білкові вікна", яка спрямована на території з видимими ознаками злочину, тому цілюється з низькими доходами, - це людська практика, яка була піддана критиці за її запечені упередження. ) "

Це проблема, хоча: якщо алгоритм буде робити передбачення на основі попередніх даних, то дані повинні бути вільними від упередженості. Це надзвичайно важко зробити з будь-яким набором даних, але особливо важким у сфері правоохоронних органів, з урахуванням все, що ми дізналися про упередження в поліції протягом останнього року. Простіше, брудні дані дорівнює брудному програмному забезпеченню.

Після перегляду аналізу Гізмодо, Предпол заявив, що він базується на "помилкових" та "неповних" даних, незважаючи на підтвердження того, що доповіді аналізу базувався, фактично створюється предполом. Гізмодо каже, що компанія не виправдовувала своїх претензій.

Деякі правоохоронні органи відмовилися використовувати або припинити використання інтелектуального поліцейського програмного забезпечення на підставі марності або надмірності (що може вказувати на хороший знак або поганий, залежно від того, як ви дивитеся на це). Інші повідомили Gizmodo, що вони використовують програмне забезпечення як відправну точку, а не так. Але одна річ напевно: якщо правозастосування має намір вирішити свою історію з расовою та економічною упередженою, предполь не може бути дивовижним місцем для початку.