Невозможность узнать, на чём основывается решение компьютерного алгоритма, является лишь одним из недостатков программы, объясняет портал Techdirt. Так, COMPAS подозревают в предвзятости по отношению к темнокожим гражданам. После расследования, проведённого СМИ, выяснилось, что программа компании Northpointe чаще совершала ошибки в отношении чернокожих, утверждая, что они способны к совершению новых преступлений, в то время как белых она, наоборот, часто ошибочно называла безопасными для общества.
Эрик Лумис, которого приговорили к шести годам тюрьмы за попытку сбежать при задержании, попытался узнать, на каких именно факторах основывается решение программы COMPAS, которая посчитала его способным к совершению преступлений в будущем. Ему отказали в объяснениях под предлогом, что права на алгоритм принадлежат частной компании и технология не может быть разглашена.
«При правильном использовании с соблюдением ограничений и мер предосторожности, изложенных здесь, рассмотрение окружным судом оценки COMPAS при вынесении приговора не нарушает прав обвиняемого», — ответили в верховном суде штата Висконсин на жалобу Лумиса.
«Окружной суд объяснил, что оценка риска совершения этим обвиняемым новых преступлений, данная программой COMPAS, была подтверждена другими, независимыми факторами и что она не имела определяющего значения, когда суд решал, можно ли безопасно и эффективно контролировать Лумиса в обществе», — заявили в Верховном суде.
Так или иначе, обвиняемые не могут узнать, что предопределило вердикт судьи: он просто принял к сведению результаты оценки риска программой COMPAS или же его вердикт базировался на этих результатах. А без доступа к программе COMPAS у них нет возможности узнать, на основе какой информации был сделан тот или иной вывод и не является ли он предвзятым по отношению к тем или иным социальным группам.