Intanto non usare l’ambiente displaymath, casomai \[…\]; in particolare usa il pacchetto amsmath, dove le spaziature sono particolarmente curate; non so se memoir gli ridefinisca le spaziature prima o dopo, ma certamente, se leggi la documentazione di amsmath (texdoc amsmath dal tuo terminal) trovi che definisce \allowdisplaybrak e il comando \displaybreak.
Il primo è un comando globale che vale per tutto il documento; il secondo è locale e va usato solo negli “incolonnamenti” di equazioni dove tu e solo tu autorizzi di cambiare pagina a meta “incolonnamento”.
Ho messo incolonnamento fra virgolette, perché amsmath non solo provvede ad ambienti alternativi a eqnarray (bacato da tutte le parti da un punto di vista tipografico) ma anche ad ambienti adatti per comporre lunghe formule spezzandole su più righe e anche a mettere incolonnamenti di espressioni matematiche dentro altri incolonnamenti. Gli unici incolonnamenti che amsmath non può spezzare sono quelli contenuti dentro l’ambiente cases, a causa della parentesi graffa che raggruppa i vari casi. Naturalmente amsmath ti dà molto di più degli incolonnamente di espressioni matematiche, e lo puoi vedere leggendo la documentazione del pacchetto;
Ti suggerisco anche di leggere con attenzione la lista di pacchetti che memoir simula e che non è opportuno caricare; si trova in fondo alla pagina 29, nel paragrafo Packages; come potrai vedere i pacchetti simulati, quindi le funzionalità già presenti dentro memoir sono sterminate e caricare altri pacchetti che possano fare le stesse coso potrebbe produrre danni (amsmath non è fra i pacchetti che possono produrre danni).
Per altro nella pagina 5 della documentazione vis si dice:
In order to maintain a constant height it may stretch or shrink some vertical spaces (e.g., between paragraphs, around headings or around floats or other inserts like displayed maths). This may have a deleterious effect on the color of some pages.
quindi mi pare improbabile che lo stretching delle tue pagine avvenga solo prima dei sezionamenti, e non anche prima o dopo le equazioni; probabilmente questo succede con gli incolonnamenti che non vengono spezzati, ma con \allowdisplaybreak oppure \displaybreak ti risolvi il problema.