Ti posso dire che il tuo file è un file predisposto per pdflatex e composto con xelatex; non mi sembra il modo migliore di usare xelatex. Leggi introxelatex.pdf di Enrico e vedrai perché.
Solo per fare esempi non devi usare babel, ma polyglossia; non devi chiamare amssymb, devi usare fontspec; devi definire i font che vuoi usare, al limite i semplici Latin Modern Math, per la matematica e lasciare i font di default per il testo(Latin Modern); probabilmente così facendo potrai usare \mathbb senza richiamre nessun pacchetto ulteriore, ma devi leggere con attenzione quell’Introdizione a XeLaTeX di Enrico; non dico che tutto ciò sia necessario, ma XeLaTeX non è sempre compatibile con lo stesso file sorgente che potrebbe funzionarti correttamente con pdflatex.