Apri il gestore pacchetti di MikTeX, cerca [tt]xparse[/tt] ed installalo. Certamente avrai installato la versione base, che scarica solo un ristretto numero di pacchetti.
Ti consiglio di passare a TeXlive 2013, oppure di installare la versione completa di MikTeX. Occupa 2G di memoria circa, ma almeno se provi dei pacchetti di estensione nuovi, non sei sempre costretto a scaricare tutti quelli che ti servono (fidati, ho provato sulla mia pelle ;)).
PS: Su CTAN non trovi il pacchetto in formato .sty perché i file che devi utilizzare sono proprio .dtx e .ins. Compili il file .ins con pdflatex, questo genera sia la documentazione che il pacchetto .sty da andare a posizionare nelle giuste cartelle dell’albero di MikTeX. Detto questo, non seguire la via dell’installazione manuale di pacchetti del CTAN, ma usa gli strumenti forniti da MikTeX (o TeXlive 2013 se decidi di passare a tale distribuzione).
E leggiti l’Arte di scrivere con LaTeX, nei primi capitoli introduce alle distribuzioni e alla gestione dei pacchetti.