De acuerdo, otros han respondido bien, así que me enfocaré en otro aspecto de la respuesta:
Se fue porque no le gustaba estar cerca, simple y llanamente. No solo se vería como un niño corregido después de una rabieta, sino que también debe enfrentar las miradas de personas como Naruto cuando era un niño. Si bien Sasuke es fuerte y nada podría afectarlo, ese tipo de cosas se contagia a una persona cuando sucede durante años y meses. Por lo tanto, Sasuke decide no estar en la Villa durante más de unos días como máximo. Incluso si no lo miran, Sasuke lo percibirá así. Porque no le gusta su lado emocional tanto como su lado más racional. Él ha aprendido a permitir que sus emociones estén en lugar de enfurecerse, por lo que no las procesará más cuando lo ofendan, pero tampoco quiere volver a irritarse a esos niveles.
Por lo tanto, ha desarrollado una solución intermedia: a menos que Konoha lo necesite, no estará allí.