Amazon попыталась продать ICE свою неисправную технику распознавания лиц

Новые документы, полученные в соответствии с запросом Закона о свободе информации от Проекта по государственному надзору (POGO), показали, что Amazon встретилась с Департаментом иммиграции и таможенного контроля США и приняла решение о внедрении технологии распознавания лиц с его признанием.

В письме от 15 июня торговый представитель Amazon поблагодарил ICE за встречу с ним в офисах консалтинговой фирмы McKinsey в Редвуд-Сити, Калифорния, согласно The Daily Beast. «Мы готовы и готовы поддержать жизненно важную миссию HSI», - писал консультант.

Теперь, чтобы быть понятным, HSI - Homeland Security Investigations - отделена от операции ICO ERO (принудительное исполнение и удаление), которая является подразделением, ответственным за многие виды деятельности, которые вызвали наибольшее возмущение у многих американцев, включая обеспечение соблюдения плана содержания под стражей семьи Трампа , Тем не менее, есть серьезные опасения по поводу того, что Amazon лицензирует свое программное обеспечение «Rekognition» любому правоохранительному органу - касается собственных сотрудников компании, поднятых через шесть дней после отправки этого письма. ACLU опубликовал результаты расследования в мае, которое продемонстрировало, как Amazon активно рекламирует свои продукты для правоохранительных органов. Компания уже давно занимается косвенным наблюдением - система наблюдения Palantir работает на базе AWS. Вступление в наблюдение прямо должно было казаться естественным шагом.

Но в то время как HSI и ERO могут быть разными подразделениями DHS, существует гораздо более непосредственная, простая причина противостоять развертыванию этих программ или их продаже правоохранительным органам: они не работают хорошо. Если вы белы, программа, подобная Rekognition, точно до 99 процентов. Если вы не так, кратеры точности. Согласно испытаниям, выполненным MIT Media Lab, программные решения для распознавания лиц от IBM, Microsoft и Face ++, ошибочно идентифицированных темнокожих женщин, как мужчин в 35% случаев. Мужчины с более темными тонами кожи были в 12 процентах случаев провинились, до 7 процентов - у женщин с более светлой кожей и в 1 процент случаев у людей с более светлой кожей. Как я уже писал ранее, люди слишком склонны полагать, что компьютеры непогрешимы для передачи программного обеспечения, в котором от 1 до 3 и 1 из 14 человек могут ошибочно ошибочно идентифицироваться или помечены ошибочно.

Хотя эти тесты не включали Rekognition, ACLU проверил решение Amazon в июле, запустив членов Конгресса через базу данных Rekognition. Тест привел к 28 ложным срабатываниям за преступления. Люди цвета представляют 20 процентов Конгресса, но на 40 процентов ложных срабатываний система Rekognition отброшена назад.

Это кристально ясно демонстрирует, как предположительно нейтральные алгоритмы могут вызывать расистское поведение, как вы могли себе представить. Поскольку набор данных для обучения распознаванию лиц в подавляющем большинстве белый и мужской (один популярный набор составляет более 75 процентов мужчин и более 80 процентов белого), система только учится читать белые мужские лица. Поскольку он не может читать лица, которые не являются белыми и мужскими, его частота ошибок значительно выше, когда применяется к кому-либо еще. Поскольку эта информация не раскрывается или не становится очевидной, когда правоохранительные органы развертывают эти системы, - и Rekognition уже используется правоохранительными органами по всей стране - у вас есть якобы нейтральный алгоритм, делающий вопиющие расистские решения в силу того, что был обучен распознавать белые лица хорошо и черные лица плохо. И хотя нет абсолютно никаких доказательств того, что Amazon сделал это намеренно, сообщите об этом тому, кто был арестован, потому что компьютер правоохранительных органов говорит, что они были на месте преступления, они были, на самом деле, нигде рядом.

Отдельно от этого, бывшие официальные лица ICE сообщили «Дейли Зверю», что есть хорошие шансы, что система будет использоваться ERO, хотя, возможно, существует политика, требующая особых условий для того, чтобы ICE захватил людей в «чувствительных» местах, таких как больницы, церкви и школы , В действительности, количество изъятий в таких местах заметно возросло за последние годы. Сотрудники Amazon опротестовали потенциальную продажу Rekognition правоохранительным органам как по вопросам прав человека, так и по техническим проблемам, связанным с функцией продукта и его способностью выполнять задачи, которые компания заявляет в своих маркетинговых материалах.

Неточное программное обеспечение распознавания лиц, которое правильно идентифицирует белых людей, но неправильно обвиняет лиц в преступлениях, которые они не совершали, является расистским программным обеспечением. Честно говоря, немного странно писать так, но это будет неумолимо влиять на использование любого такого продукта. Люди более светлой кожи будут точно идентифицированы как человек, представляющий интерес (или не представляющий интереса) в преступлениях, в то время как людей с более темной кожей не будет. Тот факт, что Amazon был готов начать продавать этот продукт правоохранительным органам без упреждающего обеспечения его точности, абсолютно ничего не говорит о приоритетах компании или ее приверженности обеспечению того, чтобы ее продукция не использовалась для терроризации законопослушных граждан любого пола или этнической принадлежности.

До и до тех пор, пока Amazon (или любой другой поставщик) не сможет развернуть технологию распознавания лиц с 99-процентной минимальной точностью при тестировании против людей всех цветов, форм, размеров, пола и физического описания, в том числе в сложных сценариях анализа, у него нет бизнес, который коммерчески продается как инструмент для правоохранительных органов. Это буквально тип инструмента, который можно было бы использовать для оправдания ногами в дверях подозреваемого в качестве части рейда без детонации и завершения убийства невиновного человека. Ставки высоки. Требования к развертыванию также должны быть чрезвычайно высокими.

Читать далее

Бывшие сотрудники Tesla предупреждают неисправную модель 3 батареи

Некоторые бывшие сотрудники Tesla сообщают, что многие батареи модели 3 были собраны вручную, и могут быть проблемы с качеством, которые делают их более склонными к сбою. Тем не менее Тесла отрицает это.

Орбитальная станция разведки Марса в режиме ожидания после неисправности батареи

Орбитальная разведка Марса (MRO) - важный инструмент для ученых, изучающих красную планету. Именно поэтому Лаборатория реактивного движения НАСА предприняла активные действия на прошлой неделе, когда спутник сообщил о неисправности.

Неисправности системы противоракетной обороны США, аварии в столице Саудовской Аравии

Новое видео показывает, что система противоракетной обороны «Патриот» не работает, когда силы Саудовской Аравии попытались сбить входящие ракеты «Хьюти».

Samsung откладывает запуск Galaxy Fold для устранения неисправностей

Samsung отодвигает запуск Galaxy Fold. Новая дата запуска не была указана.