V roce 2018 Joy Buolamwini a Timnit Gebru publikovaly průlomovou studii Gender Shades, odhalující, že komerční systémy rozpoznávání obličejů od IBM, Microsoftu a Face++ měly chybovost až 34,7 % u žen s tmavou pletí, oproti méně než 1 % u mužů se světlou pletí. Tento výzkum odhalil systémový vzorec: AI systémy trénované převážně na datech z určitých demografických skupin dramaticky selhávají u ostatních (Buolamwini & Gebru, 2018).
Problém sahá daleko za rozpoznávání obličejů. Ve zdravotnictví bylo zjištěno, že široce používaný algoritmus v amerických nemocnicích systematicky podhodnocoval zdravotní potřeby černošských pacientů. Systém používal výdaje na zdravotní péči jako proxy pro nemoc, ale protože černošští pacienti měli historicky menší přístup k péči, algoritmus fakticky doporučoval méně léčby pro nemocnější pacienty. Odhadem 45 % medicínských AI modelů vykazuje zaujatost související s nespravedlivými trénovacími daty (Obermeyer et al., 2019).
V náboru a HR se vzorec opakuje. Amazon v roce 2018 stáhl svůj AI nástroj pro nábor poté, co zjistil, že penalizoval životopisy obsahující slovo „women's". Novější výzkumy z let 2024–2025 ukazují, že analytické nástroje řízené AI nadále diskriminují ženy, nebinární osoby, rasové menšiny a osoby se zdravotním postižením (ScienceDirect, 2025).
Zasažen je i právní systém. Nástroj COMPAS pro predikci recidivy, používaný americkými soudy, byl podle ProPublica dvakrát pravděpodobnější v nesprávném označení černošských obžalovaných jako budoucích kriminálníků ve srovnání s bělošskými obžalovanými. Odhadem 60 % AI modelů trestní justice vykazuje zaujatost, protože se opírají o historická data o kriminalitě (ProPublica, 2016).
Právní důsledky narůstají. V roce 2024 bylo dosaženo vyrovnání v hromadné žalobě ve výši 2,3 milionu dolarů poté, co žalobci prokázali, že systémy AI pro screening nájemníků nepřiměřeně vyřazovaly nízkopříjmové černošské a hispánské uchazeče. EU AI Act, účinný od roku 2025, klasifikuje AI v HR a trestní justici jako vysoce rizikové aplikace vyžadující přísné audity spravedlnosti (EU AI Act, 2024).
Klíčové zdroje
- Buolamwini J., Gebru T. (2018). Gender Shades. Proceedings of MLR, 81.
- Obermeyer Z. et al. (2019). Dissecting racial bias. Science, 366(6464).
- Angwin J. et al. (2016). Machine Bias. ProPublica.
- EU AI Act (2024). Regulation (EU) 2024/1689.