面部识别软件轻松IDS白人,但是错误的黑人女性飙升

即使有一个体面的数据集学习,软件也会变得更糟,越暗了你的皮肤


更新 商业AI非常擅长承认白人的性别,但对黑人女性做同样的工作并不那么擅长。

这是一个结论 新研究,“性别色调:商业性别分类中的交叉准确性差异”,与Microsoft,IBM和中国启动面部++开发的性别分类器相比(也称为Megvii)。

该研究发现,所有三项服务始终如一对皮肤深刻,尤其是女性的人表现较差。

本文发现识别白人男性仅0.8%时最差的错误率,由面部++记录的数字。 IBM的模特遇到了34.7%的黑人女性。

MIT Media Lab的研究员Joy Buolamwini和Microsoft的博士后研究员Timnit Gebru,联系了他们被称为飞行员议会基准(PPB)的数据集。 DataSet包括来自卢旺达,塞内加尔,南非,冰岛,芬兰,瑞典的1,270名男性和女性议员。作者断言所产生的图像集反映了世界人口的公平近似。

其他数据集如 IJB-A, 用于美国国家标准与技术研究所(NIST)设立的面部识别比赛, 大气用于性别和年龄分类的人既绝对偏向肌肤较浅的人。

赢家是......没有人

在测试三个性别认可的AS-Service API Microsoft,IBM和Face ++之后,他们发现Microsoft最佳,IBM是最糟糕的。

微软在识别PPB数据集中的白人男性是完美的,而是为白人女性分别筹集1.7%。较深的皮肤恶化的数字:对于黑色雄性,错误率达到六百百分:黑人女性为20.8%。

在第二个地方是面部++,与女性相比,与女性相比,在肤色的情况下也要更好。黑色男性的白色男性的错误率为0.8%,为黑色雄性为0.7%,但对于白人女性为6%,黑人女性为34.5%。

IBM挣扎着最暗的肤色。结果报告白人男性的0.3%的错误率,适用于白色女性7.1%,黑色男性为12%,黑色女性为34.7。

作者认为,面部识别软件是“很可能”用于识别犯罪嫌疑人。因此,商业识别服务输出中的算法错误可能导致可怕的后果,人们可能被错误地被判犯罪或免于安全镜头。

因此,作者争辩说透明度更大,并呼吁公司提供有关用于培训AI模型的人口统计和表型图像的信息,以及对每个不同子组的报告性能水平。

他们的 (PDF)已经 公认 为了 公平,问责和透明度会议 在本月晚些时候在纽约发生。

企业技术新闻 联系了所有三家公司进行评论。 ®

更新以添加

大蓝已经击中了一个 大博客文章.

“在过去的九个月内,IBM一直在努力提高其新的Watson视觉识别服务对面部分析的准确性,这现在使用更广泛的训练数据集和比本研究中的服务更强大的识别能力,”Ruchir Puri ,首席建筑师和IBM Wats IBM Watson和云平台。

“我们将于2月23日发布的新服务展示了在与Buolamwini和Gebru纸上类似的测试集时测量的面部分析的差分速率下降近10倍。”


咬住它的手©1998-2021