Comienza a jugar al tenis a los cinco años de edad en una cancha que había en su barrio, teniéndose que enfrentar a la segregación racial y a las reticencias de la conservadora sociedad estadounidense de los años 50, que no ve con buenos ojos que un negro juegue a este deporte.
Ashe decide luchar por su sueño y consigue llamar la atención de Robert Walter Johnson, un entrenador que pule su juego hasta lo sublime.
A los quince años alcanza las semifinales del campeonato nacional junior, para posteriormente recibir una beca de la Universidad de Los Ángeles California (UCLA) donde inicia años más tarde sus estudios de Administración de Empresas.
En 1963, se convierte en el primer jugador afroamericano en formar parte del equipo estadounidense de Copa Davis.