Tanto se pode dizer um como o outro e têm significados ligeiramente diferentes.
Na maior parte das situações "à" fica mais natural pois "à" dá mais a ideia de "ao chegar a" e "de" dá mais a ideia de "durante a". Na maior parte das situações os dois são possíveis, mas há situações que só fica natural um deles.
"Gostas mais de ter aulas de manhã ou de tarde?"
"Eu vou ler este livro à tarde."
Repare que por causa disso não se diz "à manhã" mas só "de manhã", pois só se chega à manhã no dia seguinte "amanhã" que entretanto mudou ligeiramente de significado abarcando o dia seguinte todo.