Mah, secondo me le cose seguendo le indicazioni del manuale vanno fatte diversamante, perché far precedere ‘houppercaseheads alla dichiarazione \pagestyle, vale, a quanto pare solo pre gli stili già definiti, ma se tu ti ridefinisci il tuo allora va premesso alla tua definizione; in fatti il codice seguente:
`
% !TEX TS-program = pdflatex
% !TEX encoding = UTF-8 Unicode
\documentclass{memoir}
\usepackage{lipsum}
\nouppercaseheads
\makepagestyle{myheadings}
\createmark{chapter}{both}{nonumber}{}{}
\makeevenhead{myheadings}{\thepage}{}{\scshape\leftmark}
\makeoddhead{myheadings}{\small\scshape\rightmark}{}{\thepage}
\begin{document}
\pagestyle{myheadings}
\chapter{Prova della testina personalizzata}
\lipsum[1-5]
\section{Prova delle testatine dispari}
\lipsum[6-10]
\end{document}
`
funziona come desiderato.
Ho cambiato \mdseries in \scshape nella testatina dispari solo per essere sicuro che entrambe le testate ricevessero lo stesso trattamento. Tu naturalmente fai come credi.