It depends on the time -> 8:00 p.m. - 11:59 p.m. -> it is вчера вечером. 0:00 a.m. - 5:00 a.m. -> it is прошлой ночью.

Прошлой ночью is correct

You can use both these expressions

Прошлой ночью.is last night Вчера вечером is yesterday in the evening