Die Tatsache, dass eine Infrastruktur neu errichtet werden muss.

Und zwar eine, die Spitzenlasten - nämlich die, welche zum Feierabend auftreten werden - ohne weiteres schlucken kann.
Und die wird richtig teuer - ganz abgesehen vom Materialbedarf.

Ergänzung:
Für ca. 100 E-Autos benötigt man 1 Windrad mit ~3MW Leistung (Annahme Wechselstromladung, bei Gleichstrom sind es nur 10 Autos). Wir haben ca. 48 Mio zugelassene PkW in D.
Will man die vollständig(!) auf E umrüsten, werden bei einer durchschnittlichen Ladedauer von 30min/d zusätzlich(!) 10.000(!!!) Windräder nur für Autos benötigt!
Das aber nur dann, wenn man es hinbekommt, dass die Fahrzeuge "smart", also gestaffelt geladen werden und es keine Flauten gibt.

p.s.: Derzeit gibt es in D rund 30.000 WEA.