Per gli operatori matematici utilizza il comando [tt]\DeclareMathOperator[/tt] del pacchetto [tt]amsmath[/tt] in questo modo:
`
\usepackage{amsmath}
\DeclareMathOperator{\sat}{sat}
\DeclareMathOperator{\tr}{tr}
`
In tal modo saranno scritti in tondo e verrà posta la corretta spaziatura attorno.
Per la formula, stai abusando del comando [tt]\ensuremath[/tt] troppo, a mio parere, è inutile metterli uno dentro l’altro. Io la scriverei così (seguendo anche i consigli posti da @OldClaudio).
`
\documentclass{article}
\usepackage{amsmath,booktabs}
\DeclareMathOperator{\sat}{sat}
\DeclareMathOperator{\tr}{tr}
\[
\begin{array}{l}
P \sat S(\tr) \\
\midrule
a \rightarrow P \sat (\tr = \langle\rangle \lor (\tr = \langle a\rangle \frown \tr' \land S(\tr')))
\end{array}
\]
`
Ho caricato anche il pacchetto [tt]booktabs[/tt] per usare il filetto orizzontale [tt]\midrule[/tt] 😀