Creo que sería...."espero que hayas estudiado"

You must always use the subjunctive with the phrase "espero que", but the tense depends on the relationship with the moment of speaking. If it has no relationship with it, beacause it is in a period of time already finished (last week, two months ago) you would use imperfecto de subjuntivo, for example; " espero que fueras al Louvre cuando estuviste en París" (4 years ago). If what you are telling is in the same period of time which you are speaking, you would use perfecto de subjuntivo: espero que hayas visto a María, porque ha estado aquí todo el día (today). Your example would depend on the context, then. If you are going to make the exam in the near future, you would say "espero que hayas estudiado". If you had an important exam last week and you tell a friend about it today, she could say: "espero que estudiaras, porque te jugabas mucho".

En este caso hay que utilizar el modo subjuntivo y, por el significado contextual de la frase, se debe usar el pretérito perfecto de subjuntivo : haya + participio, ya que se trata de una acción que, aunque ya pasada, aún tiene vinculación con el presente. La frase correcta quedaría así: "Espero que hayas estudiado".

Espero que estudiaras o estudiases. (Imperfecto de subjuntivo)