natural suena "ayer". yo diria que "el dia de ayer" suele usarse para narrar hechos de una manera tal vez formal u oficial
"El dia de ayer, mientras nos encontrabamos esperando la salida del tren hacia XY, una persona se cruzó....etc"
Normalmente cuando se habla informalmente, se dice "ayer cuando estaba esperando el tren a XY, una persona/alguien se cruzó..."