Entrambi sono corretti. Dipende da quello che vuoi dire. Ti lascio alcuni esempi, così puoi vedere le due preposizioni in un contesto.
- Nella biblioteca ci sono un bar e una zona per studiare.
- Nella biblioteca non si può fumare.
- Vado a studiare alla biblioteca centrale.
- Oggi sono andato alla biblioteca dell'università.
Così è più chiaro? :)