Il meglio che sono riuscito a fare è scendere a 10pt dichiarando localmente \footnotesize; poi ho giocato ocn le scatole:
`
\documentclass[12pt,draft]{book}
\usepackage{amsmath}
\newenvironment{sistema}%
{\left\lbrace\begin{array}{@{}l@{}}}%
{\end{array}\right.}
\begin{document}
\begin{itemize}
\item Ecco il primo sistema di equazioni:\\[1ex]
\makebox[\linewidth][r]{%
\footnotesize
\(
\begin{sistema}
\biggl( \dfrac{1}{3} \dfrac{H}{E I_p} + \dfrac{1}{3} \dfrac{L}{E I_t} \biggr) X_A – \dfrac{1}{6} \dfrac{L}{E I_t} X_B – \dfrac{1}{6} \dfrac{H}{E I_p} X_C – \dfrac{\eta}{H} + \dfrac{q L^3}{24 E I_t} + \dfrac{7 p h^3}{360 E I_p} + \dfrac{p_p h^3}{24 E I_p} = 0 \\[2.5ex]
\dfrac{1}{6} \dfrac{L}{E I_t} X_A – \biggl( \dfrac{1}{3} \dfrac{L}{E I_t} + \dfrac{1}{3} \dfrac{H}{E I_p} \biggr) X_B + \dfrac{1}{6} \dfrac{H}{E I_p} X_D + \dfrac{\eta}{H} + \dfrac{q L^3}{24 E I_t} + \dfrac{7 p h^3}{360 E I_p} + \dfrac{p_p h^3}{24 E I_p} = 0 \\[2.5ex]
\dfrac{1}{6} \dfrac{H}{E I_p} X_A – \biggl( \dfrac{1}{3} \dfrac{H}{E I_p} + \dfrac{1}{K} \biggr) X_C + \dfrac{\eta}{H} + \dfrac{p h^3}{45 E I_p} + \dfrac{p_p h^3}{24 E I_p} = 0 \\[2.5ex]
– \dfrac{1}{6} \dfrac{H}{E I_p} X_B + \biggl( \dfrac{1}{3} \dfrac{H}{E I_p} + \dfrac{1}{K} \biggr) X_D – \dfrac{\eta}{H} + \dfrac{p h^3}{45 E I_p} + \dfrac{p_p h^3}{24 E I_p} = 0 \\[2.5ex]
\dfrac{X_A + X_B + X_C + X_D}{H} = 0 \\[1.0ex]
\end{sistema}
\)%
}\\[1ex]
da cui si ricavano:\\[1ex]
\makebox[\linewidth][c]{%
\footnotesize
\(
\begin{sistema}
X_A = -\dfrac{1}{60} \dfrac{30q E L^3 I_p^2 + 10 q L^3 I_p H K + 14 I_p H^3 I_t E p + 30 I_p h^3 I_t E p_p + 5 p_p h^4 I_t K + 2 p H^4 I_t K}{6 E I_p^2 L + 4 E I_p I_t H + 2 H K L I_p + H^2 I_t K} \\[2.5ex]
X_B = – X_A \\[2.5ex]
X_C = \dfrac{1}{60} \dfrac{HK (8 I_p L p H^2 + 15 I_p L p_p H^2 – 5 I_p q L^3 + 3 I_t H^3 p + 5 I_t H^3 p_p)}{6 E I_p^2 L + 4 E I_p I_t H + 2 H K L I_p + H^2 I_t K} \\[2.5ex]
X_D = -X_C\\[2.5ex]
\eta = 0\\[1.0ex]
\end{sistema}
\)%
}
\end{itemize}
\end{document}
`
Però se riesci a fattorizzare almeno il numeratore della prima frazione del secondo sistema, probabilmente si riesce a fare di meglio; altrimenti quello è tutto quello che si può fare; non è lecito infatti spezzare una frazione; al massimo potresti scrivere quel numeratore con tutti i suoi termini disposti su due righe, ma credo che stia molto peggio di come si ottiene con la brutta soluzione che ti suggerisco.