Margini sfondati

a me non sfonda né con il corpo di default di 10pt , né con 11, né con 12. con quest’ultimo corpo forse il numero dell’equazione sfonda dal margine di default, ma con l’ambiente \[…\] non lo fa.
Il mio codice è:
`
\documentclass[10pt,draft]{book}
\usepackage{amsmath}

\newenvironment{sistema}%
{\left\lbrace\begin{array}{@{}l@{}}}%
{\end{array}\right.}

\begin{document}
\begin{equation}
\begin{sistema}
\biggl( \dfrac{1}{3} \dfrac{H}{E I_p} + \dfrac{1}{3} \dfrac{L}{E I_t} \biggr) X_A – \dfrac{1}{6} \dfrac{L}{E I_t} X_B – \dfrac{1}{6} \dfrac{H}{E I_p} X_C – \dfrac{\eta}{H} + \dfrac{P H^2}{16 E I_p} = 0 \\[2.5ex]

\dfrac{1}{6} \dfrac{L}{E I_t} X_A – \biggl( \dfrac{1}{3} \dfrac{L}{E I_t} + \dfrac{1}{3} \dfrac{H}{E I_p} \biggr) X_B + \dfrac{1}{6} \dfrac{H}{E I_p} X_D + \dfrac{\eta}{H} – \dfrac{p H^2}{16 E I_p} = 0 \\[2.5ex]

\dfrac{1}{6} \dfrac{H}{E I_p} X_A – \dfrac{1}{3} \dfrac{H}{E I_p} X_C + \dfrac{\eta}{H} + \dfrac{P H^2}{16 E I_p} = 0 \\[2.5ex]

– \dfrac{1}{6} \dfrac{H}{E I_p} X_B + \dfrac{1}{3} \dfrac{H}{E I_p} X_D – \dfrac{\eta}{H} – \dfrac{P H^2}{16 E I_p} = 0 \\[2.5ex]

-2 F – P + \dfrac{X_A + X_B + X_C + X_D}{H} = 0 \\[1.0ex]
\end{sistema}
\end{equation}
\end{document}
`
identico al tuo, salvo il preambolo completo e il cambio di \[…\] in \begin e \end {equation}

A me non sfonda nemmeno con 12pt e itemize: prova il mio codice:
`
\documentclass[12pt,draft]{book}
\usepackage{amsmath}

\newenvironment{sistema}%
{\left\lbrace\begin{array}{@{}l@{}}}%
{\end{array}\right.}

\begin{document}

\begin{itemize}
\item Ecco il primo sistema di equazioni:
\begin{equation*}
\begin{sistema}
\biggl( \dfrac{1}{3} \dfrac{H}{E I_p} + \dfrac{1}{3} \dfrac{L}{E I_t} \biggr) X_A – \dfrac{1}{6} \dfrac{L}{E I_t} X_B – \dfrac{1}{6} \dfrac{H}{E I_p} X_C – \dfrac{\eta}{H} + \dfrac{P H^2}{16 E I_p} = 0 \\[2.5ex]

\dfrac{1}{6} \dfrac{L}{E I_t} X_A – \biggl( \dfrac{1}{3} \dfrac{L}{E I_t} + \dfrac{1}{3} \dfrac{H}{E I_p} \biggr) X_B + \dfrac{1}{6} \dfrac{H}{E I_p} X_D + \dfrac{\eta}{H} – \dfrac{p H^2}{16 E I_p} = 0 \\[2.5ex]

\dfrac{1}{6} \dfrac{H}{E I_p} X_A – \dfrac{1}{3} \dfrac{H}{E I_p} X_C + \dfrac{\eta}{H} + \dfrac{P H^2}{16 E I_p} = 0 \\[2.5ex]

– \dfrac{1}{6} \dfrac{H}{E I_p} X_B + \dfrac{1}{3} \dfrac{H}{E I_p} X_D – \dfrac{\eta}{H} – \dfrac{P H^2}{16 E I_p} = 0 \\[2.5ex]

-2 F – P + \dfrac{X_A + X_B + X_C + X_D}{H} = 0 \\[1.0ex]
\end{sistema}
\end{equation*}
\end{itemize}
\end{document}
`

Il meglio che sono riuscito a fare è scendere a 10pt dichiarando localmente \footnotesize; poi ho giocato ocn le scatole:
`
\documentclass[12pt,draft]{book}
\usepackage{amsmath}

\newenvironment{sistema}%
{\left\lbrace\begin{array}{@{}l@{}}}%
{\end{array}\right.}

\begin{document}

\begin{itemize}
\item Ecco il primo sistema di equazioni:\\[1ex]
\makebox[\linewidth][r]{%
\footnotesize
\(
\begin{sistema}
\biggl( \dfrac{1}{3} \dfrac{H}{E I_p} + \dfrac{1}{3} \dfrac{L}{E I_t} \biggr) X_A – \dfrac{1}{6} \dfrac{L}{E I_t} X_B – \dfrac{1}{6} \dfrac{H}{E I_p} X_C – \dfrac{\eta}{H} + \dfrac{q L^3}{24 E I_t} + \dfrac{7 p h^3}{360 E I_p} + \dfrac{p_p h^3}{24 E I_p} = 0 \\[2.5ex]

\dfrac{1}{6} \dfrac{L}{E I_t} X_A – \biggl( \dfrac{1}{3} \dfrac{L}{E I_t} + \dfrac{1}{3} \dfrac{H}{E I_p} \biggr) X_B + \dfrac{1}{6} \dfrac{H}{E I_p} X_D + \dfrac{\eta}{H} + \dfrac{q L^3}{24 E I_t} + \dfrac{7 p h^3}{360 E I_p} + \dfrac{p_p h^3}{24 E I_p} = 0 \\[2.5ex]

\dfrac{1}{6} \dfrac{H}{E I_p} X_A – \biggl( \dfrac{1}{3} \dfrac{H}{E I_p} + \dfrac{1}{K} \biggr) X_C + \dfrac{\eta}{H} + \dfrac{p h^3}{45 E I_p} + \dfrac{p_p h^3}{24 E I_p} = 0 \\[2.5ex]

– \dfrac{1}{6} \dfrac{H}{E I_p} X_B + \biggl( \dfrac{1}{3} \dfrac{H}{E I_p} + \dfrac{1}{K} \biggr) X_D – \dfrac{\eta}{H} + \dfrac{p h^3}{45 E I_p} + \dfrac{p_p h^3}{24 E I_p} = 0 \\[2.5ex]

\dfrac{X_A + X_B + X_C + X_D}{H} = 0 \\[1.0ex]
\end{sistema}
\)%
}\\[1ex]

da cui si ricavano:\\[1ex]

\makebox[\linewidth][c]{%
\footnotesize
\(
\begin{sistema}
X_A = -\dfrac{1}{60} \dfrac{30q E L^3 I_p^2 + 10 q L^3 I_p H K + 14 I_p H^3 I_t E p + 30 I_p h^3 I_t E p_p + 5 p_p h^4 I_t K + 2 p H^4 I_t K}{6 E I_p^2 L + 4 E I_p I_t H + 2 H K L I_p + H^2 I_t K} \\[2.5ex]

X_B = – X_A \\[2.5ex]

X_C = \dfrac{1}{60} \dfrac{HK (8 I_p L p H^2 + 15 I_p L p_p H^2 – 5 I_p q L^3 + 3 I_t H^3 p + 5 I_t H^3 p_p)}{6 E I_p^2 L + 4 E I_p I_t H + 2 H K L I_p + H^2 I_t K} \\[2.5ex]

X_D = -X_C\\[2.5ex]

\eta = 0\\[1.0ex]
\end{sistema}
\)%
}
\end{itemize}
\end{document}
`

Però se riesci a fattorizzare almeno il numeratore della prima frazione del secondo sistema, probabilmente si riesce a fare di meglio; altrimenti quello è tutto quello che si può fare; non è lecito infatti spezzare una frazione; al massimo potresti scrivere quel numeratore con tutti i suoi termini disposti su due righe, ma credo che stia molto peggio di come si ottiene con la brutta soluzione che ti suggerisco.