Usa il pacchetto geometry; leggi la documentazione aprendo un terminale o un prompt dei comandi e digitando texdoc geometry, poi premi il tasto invio e ti si apre la documentazione; puoi specificare il formato della carta a tuo piacimento, e se le dimensioni sono giuste puoi poi stampare il tuo libretto attraverso il pacchetto pdfpages (documentazione texdoc pdfpages) in modo da stampare in modo corretto le segnature del tuo libretto.
Devo dire che 114mm per 172mm sono dimensioni molto strane, decisamente strane; esamina la possibilità di usare il formato B5 (176mm per 250mm) o il formato UNI A5 (146mm per 210mm); specialmente con A5 ci stanno esattamente due pagine in un foglio UNI A4. Gli atri formati di carta richiedono uno spreco di carta per rifilarli come si deve.