Leggiti la documentazione del pacchetto titlesec.
Ma prima di agire, pensa a quello che fai; incorniciare i titoli dei paragrafi (section in inglese) con una riga sopra e magari una riga sotto, è possibile, ma devi comunque mettere il titolo senza decorazioni nell’argomento facoltativo e il titolo decorato come modificato dagli opportuni comandi di titlesec. Altrimenti ti prendi la definizione operativa interna di LaTeX, te la metti in un tuo file .sty personale, da immettere nel preambolo con \usepackage, e modifichi quella definizione come ti pare (in fondo è quello che fa titlesec, ma facendolo a mano hai maggiore libertà di azione).
Ti raccomando, però di pensarci bene; dipende molto da che tipo di documento stai componendo. Se si tratta di una tesi, io lascerei perdere. Se si tratta di un rapporto interno, forse ci potrebbe stare; anche in un manuale. Ma pensaci bene lo stesso.