Das stimmt.
Es kann auch der Fall vorkommen, daß durch einen Gendefekt bei XY die Entwicklung zum Mann nicht oder nicht vollständig passiert. Das führt dann bspw. zu innenliegenden Hoden o.ä.
ABER: Das sind sehr, sehr seltene Fälle, und außerdem auch kein neues Geschlecht. Diese Menschen sind irgendwo dazwischen.
Sauberer ist daher die Definition über die Keimzellen (also den Phänotypus):
Ein Mensch mit den Anlagen zur Produktion von Eizellen ist eine Frau.
Ein Mensch mit den Anlagen zur Produktion von Samenzellen ist ein Mann.
Weitere Keimzellentypen gibt es nicht (oder fallen Ihnen welche ein?), daher gibt es auch nur zwei Geschlechter.