Olá, Jiamei Li.
Ambas as expressões são usadas num discurso informal. Mas, gramaticalmente, o correto para referência passada seria "poderia ter sido pior".
"Poderia ser pior" pode ser usada com uma hipótese futura. Exemplo: "Isso poderia ser pior?" (ou seja, ainda teria a possibilidade de isso ficar pior?) ou "Isso ainda pode ser/ficar pior?"
Abraços.