En algún momento anterior debieron de recibir una de esas cartas y la destruyeron. Petunia y Vernon debieron de jurar (swear) que la magia no pertenece a su casa porque la consideran peligrosa. En este momento se hacen la misma pregunta (o se la hacen a Harry) en forma de pregunta retórica. “Didn’t we swear it when we received and destroyed this dangerous silly little thing?” No sé si te ha ayudado. Sin más contexto es lo que yo creo que puede significar. No estoy seguro al 100%.