Cara @MaSara,
ho provato il tuo esempio minimo, che riproduce esattamente l’ option clash che tu lamenti.
mathspec invoca fontspec con certe opzioni, ma secondo me lo invoca in modo errato; ho provato a copiare mathspec cambaindogli ome e modificandolo, per correggere questi errori, ma ho eleimato quell’errore e ne sono emersi altri più avanti.
Ho il sospetto che ti convenga usare fontspec normalmente, il pacchetto unicode-math e selezionare come math font XITSMath; La forma dei segni di questo font matematico si accorda beneisimo con quelli di Linux Libertine, quindi non ci sono questioni di compatibilità estetica.
Probabilmente, una volta selezionato fontspec e unicode-math, scegliere come math font lo stesso Linux Libertine è possibile, perché anche se non ha una dotazione completa di glifi matematici come XITSMath, ne ha già molti e probabilmente ti è sufficiente.
Non ho provato questa soluzione, ma se non funzinasse, ci sempre i font XITSMath.
Ciao
Claudio