Se XeLaTeX si arrabbia e si arresta durante le note in latino e, appunto, il testo latino è solo nelle note, potrei avanzare il dubbio che l’ambiente \begin{latin}…\end{latin} sia fragile negli apparati critici di ledmac. Prova a definrti un comando robusto del tipo:
`
\DeclareRobustCommand\latino[1]{\begin{otherlanguage*}{latin}#1\end{otherlanguage*}}
` e vedi se il fenomeno si ripete se dentro la nota che contiene testo latino inserici quest’ultimo con il comando suddetto.
Può darsi che io ti stia dicendo una corbelleria, ma quello sarebbe il primo esperimento che mi verrebbe in mente di fare se il guao fosse capito a me.
Per mia esperienza con molte diverse lingue, polyglossia funziona benissimo, quindi sarei sorpreso se il tutto fosse colpa di polyglossia.