A me pare del tutto normale che geometry si comporti come tu lamenti; se chiami prima geometry esso fissa una certo \baselineskip per avere 40 righe nella gabbia, ma quando chiami fontspec carichi di default i font opentype Latin Modern (quelli di default) con che ti viene impostato il valore di \baselineskip di default con quei font, cioè 12pt con il corpo di default di 10pt. Se poi usi \linespread con un valore diverso da 1, cambi il fattore moltiplicativo di \baselineskip che ovviamente cambia ancora il numero di righe.
Quindi per avere 40 righe devi prima chiamare fontspec, poi impostare \linespread (meglio non impostarlo affatto, ma se proprio devi…), poi chiamare geometry.
Se non sei convinto inserisci una coppia di comandi \show\linespread e \shpwthe\baselineskip prima e dopo aver chiamato ciascuno dei pacchetti e vedrai sullo schermo i valori che queste grandezze assumono via via (ogni volta la compilazione si ferma con un punto interrogativo come se avessi commesso un errore; premi
Ciao
Claudio