Patterson et al. (2021) z Google poskytli komplexní analýzu uhlíkové stopy tréninku velkých neuronových sítí:
- Trénink GPT-3: ~552 tun CO2 ekvivalentu
- Emise rostou přibližně lineárně s velikostí modelu
- Použití obnovitelných zdrojů může stopu snížit až 100x
Kontext
Studie navazuje na Strubell et al. (2019). Zatímco problém je reálný, je řešitelný prostřednictvím zelené infrastruktury.
Zdroj
Patterson, D. et al. (2021). Carbon Emissions and Large Neural Network Training. arXiv:2104.10350.