V březnu 2021 Emily Bender, Timnit Gebru, Angelina McMillan-Major a Margaret Mitchell publikovaly na konferenci ACM FAccT článek s provokativním názvem: „On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?" Článek se stal jedním z nejvlivnějších — a nejkontroverznějších — AI výzkumných prací dekády (Bender et al., 2021).
Jádro argumentu bylo klamavě jednoduché: velké jazykové modely (LLM) produkují text, který zní smysluplně, ale je generován statistickým porovnáváním vzorců, nikoli skutečným porozuměním. Autorky přirovnaly tyto modely ke „stochastickým papouškům" — systémům, které přesvědčivě opakují a rekombinují jazykové vzorce bez porozumění tomu, co říkají.
Článek identifikoval čtyři hlavní rizika, která se ukázala jako pozoruhodně prorocká. Za prvé, environmentální náklady: trénování stále větších modelů spotřebovává obrovské množství energie a vody. Za druhé, zaujatost trénovacích dat: modely trénované na internetovém textu absorbují a zesilují existující předsudky. Za třetí, „iluze významu": když modely generují koherentní text, uživatelé předpokládají, že je přesný a dobře zdůvodněný. Za čtvrté, koncentrace moci: pouze nejbohatší organizace mohou trénovat frontier modely.
Publikace měla obrovské osobní náklady. Timnit Gebru, tehdy spoluvédoucí týmu etické AI v Googlu, byla propuštěna v prosinci 2020 poté, co se společnost pokusila článek potlačit. Margaret Mitchell, druhá spoluvédoucí, byla propuštěna o měsíce později. Propuštění vyvolala globální debatu o korporátní kontrole nad výzkumem etiky AI (New York Times, 2020; Wired, 2021).
V následujících letech se prakticky každá obava vznesená v článku materializovala ve velkém měřítku. Halucinace ChatGPT, deepfake dezinformace, algoritmická zaujatost — vše předvídaly Bender a Gebru. Článek „Stochastic Parrots" stojí jako vědecký přínos i varování, které AI průmysl rozhodl se nedbat.
Klíčové zdroje
- Bender E.M. et al. (2021). On the Dangers of Stochastic Parrots. FAccT '21.
- Strubell E. et al. (2019). Energy and Policy Considerations for Deep Learning in NLP.