São sinônimos, ou seja, não há diferença quanto ao significado, embora a palavra "detalhe(s)" seja usada com mais frequência e "pormenores" seja usado em contextos mais específicos, relacionados à conversas, ocorrências e fatos". Na dúvida, use "detalhe (s)".
Ex: "me conte os pormenores da discussão de ontem";
"eu gostaria de saber os pormenores dos termos deste contrato, quais são os riscos envolvidos?"
"repare em todos os detalhes desta obra de arte... todas as suas cores, e texturas"