Siccome non ho capito la risposta di Ivan:
Se hai solo un’appendice non ha molto senso numerarla, il che avviene, appunto, se togli \backmatter e lasci \appendix.
ti mando un altro esempio; che tu puoi provare lasciando commentata la riga che comincia con \backmatter, oppure togliendo il segno di commento; in ognuno dei due casi devi compilare due volte, perché l’indice e la lista delel figure risultino aggiornate.`\documentclass[12pt]{book}
\usepackage{pict2e}
\usepackage{kantlipsum}
\newcommand*\fakepicture{{\centering
\unitlength=0.01\textwidth
\begin{picture}(70,50)
\put(0,0){\framebox(70,50){}}
\Line(0,0)(70,50)\Line(70,0)(0,50)
\end{picture}
\par}}
\begin{document}
\tableofcontents
\listoffigures
\mainmatter
\chapter{Capitolo sulle figure}
\kant[1]
\begin{figure}
\fakepicture
\caption{Prima figura}
\end{figure}
\begin{figure}
\fakepicture
\caption{Seconda figura}
\end{figure}
%\backmatter\setcounter{figure}{0}
\appendix
\chapter{Appendice sulle figure}
\kant[2]
\begin{figure}
\fakepicture
\caption{Prima figura dell'appendice}
\end{figure}
\begin{figure}
\fakepicture
\caption{Seconda figura dell'appendice}
\end{figure}
\end{document}`
Siccome la presenza di \backmatter annulla la numerazione dei capitoli e delle appendici, il contatore delle figure non viene reimpostato e bisogna reimpostarlo esplitamente, altrimenti ti succede come nle primo messaggio che hai inviato.
Se lasci appendix il contatore dei capitoli diventa letterale, quindi la prima appanedice diventa “Appendix A”.
Se commenti sia la riga che contiene \backmatter, sia quella che contiene \appendix, il capitolo intitolato Appendice sulle figure, viene numerato come “Chapter 2} e le figure risultano numerate 2,, 2.2, ecc.
Se lasci la riga con \backmatter e togli appendix o lasci appendicx il capitolo non viene numerato e le figure vengono numerate 1, 2, 3, ecc.
Quindi questo piccolo file di prova ti consente di provare con 4 impostazioni diverse:
1) \backmatter si; \appendix si
2) \backmatter no; \appendix si
3) \backmatter no; \appendix no
4) \backmatter si; \appendix no
Scegli tuo la maniera che ti appare più confacente al tuo testo.