Le cose si ricoprono perché non hai personalizzato le testatine; non serve chiamare il pacchetto fancyhdr se poi non ne usi le funzionalità. Scegliendo
[tt]\pagestyle{fancy}[/tt] ha scelto i default di quel pacchetto, non di book, e quello che ottieni è esattamante quello che devi aspettati con un titolo di capitolo così lungo: prova con:
`\documentclass[11pt,a4paper,openright,twoside]{book}
%Pacchetti per la lingua italiana
\usepackage[italian]{babel}
\usepackage[T1]{fontenc}
\usepackage[utf8]{inputenc}
%Pacchetti per i caratteri matematici
\usepackage{amsmath}
\usepackage{amssymb}
%Pacchetti layout
\usepackage{lmodern}
\usepackage{fancyhdr}
\pagestyle{fancy}
\fancyhf{}
\fancyhead[ER]{\leftmark}
\fancyhead[OR]{\rightmark}
\fancyfoot[EC,OC]{\thepage}
\begin{document}
\title{Documento di Prova}
\maketitle
\tableofcontents
\chapter{Prova per l'intestazione}
Questa è una prova
\newpage
\section{Primo paragrafo}
prova intestazione 1.
\newpage
Prova intestazione 2.
\newpage
\section{Secondo paragrafo}
prova intestazione 3.
\newpage
\subsection{Sotto paragrafo}
\end{document}
`
e poi personalizza come meglio credi, oppure cancella sia \usepackage{fancyhdr} sia \pagestyle{fancy} e usa il default della classe book.
Inoltre togli le due codifiche; non ha senso, o usi latin1 o usi utf8 (ti conisglio quest’ultima, sempre che il tuo editore ti salvi le cose con questa codifica.