S velkou slávou představil letos v srpnu technologický gigant Apple společně s investičně bankovní společnosti Goldman Sachs novou službu pro své zákazníky. Marketingové heslo kreditní karty zní „vyrobeno Applem, ne bankou“.
Platební systém má fungovat na základě aplikace Apple Pay (psali jsme zde). Obě firmy se v létě chlubily, že karta bude k dispozici i těm zákazníkům, pro které je obtížnější získat úvěr, protože nemají kreditní historii.
Po třech měsících od uvedení na americký trh se ale služba potýká s obviněním z diskriminace. V sobotu zveřejnil technologický podnikatel David Heinmeier Hansson status na Twitteru, ve kterém popisuje, jak mu kreditní karta od Applu nabízí dvacetkrát vyšší úvěrový limit než jeho drahé polovičce.
The @AppleCard is such a fucking sexist program. My wife and I filed joint tax returns, live in a community-property state, and have been married for a long time. Yet Apple’s black box algorithm thinks I deserve 20x the credit limit she does. No appeals work.
Jeho další tweet je plný ironie. „Jsem překvapený, že ženám vůbec dovolují zažádat si o kartu bez písemného dovolení manžela? Můžeme dnes vůbec věřit ženám s kreditními kartami??!“
Stejný problém potkal i spoluzakladatele Applu Steva Wozniaka. Ten reagoval na Hanssonův tweet a uvedl, že jeho úvěrový limit byl desetkrát vyšší než u jeho manželky, ačkoli sdílejí veškerá aktiva a účty.
@dedwards93 @dhh @AppleCard I'm a current Apple employee and founder of the company and the same thing happened to us (10x) despite not having any separate assets or accounts. Some say the blame is on Goldman Sachs but the way Apple is attached, they should share responsibility.
Algoritmus před soudem
Případ prošetřuje Oddělení finančních služeb v New Yorku. Jejich cílem je zjistit, zdali nedošlo k porušení práva. Podle oddělení je totiž jakákoli diskriminace, ať záměrná či neúmyslná, porušením newyorských zákonů.
Banka Goldman Sachs v sobotu popřela, že „by se rozhodnutí algoritmů ohledně udílení úvěrových limitů řídilo faktory jako je gender, rasa, věk nebo sexuální orientace,” napsal Bloomberg.
Podle Hanssona celá situace jasně dokazuje, že nejen lidé, ale i umělá inteligence může diskriminovat. Příkladem z minulosti je incident z roku 2016. Tehdy sestavila americká firma Northpointe software, který měl poznat budoucí kriminálníky, respektive vyhodnotit pravděpodobnost kriminálního jednání u jednotlivců. Později se přišlo na to, že software byl zaujatý proti Afroameričanům.
Zeptejme se umělé inteligence
Proč se v případě manželek podnikatelů Hanssona a Wozniaka chovaly algoritmy zaujatě, vysvětluje technologický redaktor BBC Leo Kelion. Podle něj je možné, že byly příslušné algoritmy proškoleny na datech, ve kterých ženy skutečně představovaly větší finanční riziko než muži.
Dalším možným důvodem jsou data, se kterými algoritmy pracují nyní. V manželství to jsou totiž většinou muži, kteří si berou velké půjčky výhradně na svoje jméno. Což znamená, že by algoritmy logicky nabízely vyšší úrokové limity právě jim.
Jak ale Kelion uvádí, „bez přístupu k počítačům společnosti Goldman Sachs si nikdy nemůžeme být jisti tím, co se vlastně stalo.“ Nemůžeme se zeptat ani algoritmů, proč učinily taková rozhodnutí.
Připomíná to trochu scénu ze sci-fi filmu „Já, robot“ z roku 2004. V ní si má robot vybrat, zdali z potápějícího se auta zachrání dvanáctiletou dívku, nebo dospělého muže. Spočítá si, kolik mají oba šancí na přežití, a nakonec z vody vytáhne muže.
Apple představil svou vlastní kreditní kartu (červenec 2019):
19. července 2019 |
