[Asumiendo que estamos discutiendo la sucesión al Trono de Hierro, específicamente] El hermano menor tendría éxito si el señor / rey no tuviera un problema masculino que heredar. Esto se basa en el Gran Consejo de 101 AC, convocado por Jaehaerys, que no tenía herederos varones sobrevivientes, y pidió a los señores del reino que eligieran a su heredero entre varios demandantes. Los señores decidieron colectivamente que el heredero debería descender de la línea masculina, y un reclamante distante de la línea masculina tendría prioridad sobre un reclamante mucho más cercano de una línea femenina.
En general, se da más importancia a la línea masculina que al descenso directo en Westeros. Un hermano siempre tendrá prioridad sobre una hija, o incluso un nieto nacido de la hija (a menos que el padre de ese nieto también sea hijo del señor o rey, algo que no estaba fuera de discusión con los Targaryens, que a menudo se casaban hermano y hermana para mantener las líneas de sangre puras).
[Considerando otras partes de la cultura Westerosi, y señoríos distintos del Trono de Hierro] Dorne es una notable excepción en que la primogenitura se basa estrictamente en el orden de nacimiento; un heredero puede ser hombre o mujer, pero siempre es el descendiente sobreviviente más viejo. Por ejemplo (en los libros), considere a Arianne y Quentyn Martell: Arianne es la hija mayor, pero Quentyn es un hombre. Arianne es el sucesor legítimo del Príncipe Doran, pero cree que su padre tiene planes de dejarla de lado y hacer de Quentyn su heredero (en verdad, creo que las cartas que Arianne encontró fueron para preparar a Quentyn para ser la consorte de Danaerys Targaryen cuando ella reclamó el Trono de Hierro para los Targaryens, y no que él fuera el Señor de la Lanza del Sol).
También hay algunos casos, especialmente entre los Primeros Hombres (y todavía se observan de vez en cuando en el Norte, donde las tradiciones de los Primeros Hombres nunca cambiaron mucho por las invasiones de Andal) donde las mujeres tienen éxito, pero generalmente los hijos vienen antes que las hijas, e hijas vendrán antes que otros demandantes masculinos (como tíos, nietos o primos). También hay algunos títulos que pasan a una demandante femenina por necesidad, como con los mormones: sin vástagos masculinos vivos de esa familia, está prácticamente condenado a extinguirse, ya que no hay hombres para continuar con el apellido. (Hay algunos ejemplos extremos en los que esto no sucedería, pero se basan en políticas de clase en lugar de líneas de sangre; por ejemplo, una Lady Mormont podría casarse con un señor menor que ella, o posiblemente un comerciante, y su descendencia podría tomar el Mormont nombre, para sostener la casa para el futuro).
[Editado para aclarar varias suposiciones que hice en mi respuesta original. Gracias a Quora User por señalar las deficiencias en mi respuesta original.]