Viele - die meisten? - KI-Projekte sind einfach schlecht konzipiert. Das Projekt mit der Gesichtserkennung in Berlin fällt einem da ein, oder eben die Bewerberauswahl bei Amazon.
Wenn das zu lösende Problem nicht gut definiert ist, wenn es keine guten Daten gibt, oder wenn die Trainingsdomain und die Vorhersagedomain sich stark unterscheiden, hat der beste Algorithmus keine Chance.
Noch schwerer wiegt allerdings, dass die KI in der Regel konsistent entscheidet und damit Probleme aufzeigt, die vorher unentdeckt blieben.
Wenn der eine Autofahrer zufällig links ausweicht und es gibt einen Unfall, und der andere rechts ebenfalls einen Unfall produziert, ist das halt Pech. Wenn man eine KI die Autos immer nach rechts schickt (weil das objektiv geringere Schäden verursacht) und Unfälle produziert, dann hat die KI versagt (siehe Diskussion um Unfälle von selbstfahrenden Autos - die KI wird nicht mit menschlichen Fahrern verglichen, sondern mit hypothetischen Idealszenarien).