En la mayoría de los casos suena más natural decir "ayer". Quizás"el día de ayer" se utiliza más para referirse a la totalidad del día, por ejemplo: "María estuvo estudiando todo el día de ayer" (Eso fue lo que ella hizo en todo el día)

natural suena "ayer". yo diria que "el dia de ayer" suele usarse para narrar hechos de una manera tal vez formal u oficial "El dia de ayer, mientras nos encontrabamos esperando la salida del tren hacia XY, una persona se cruzó....etc" Normalmente cuando se habla informalmente, se dice "ayer cuando estaba esperando el tren a XY, una persona/alguien se cruzó..."