No son intercambiables. Las personas tardan tiempo en hacer cosas. A las personas les lleva tiempo hacer cosas. Tus ejemplos: Ayer tardamos cinco horas en viajar//ir de Madrid a Valencia. Ayer nos llevó cinco horas viajar//ir de Madrid a Valencia. También puedes decir: Ayer, el viaje de Madrid a Valencia nos llevó cinco horas.

También puedes usar "llevamos", para hablar en presente, por ejemplo: Llevamos cinco horas viajando para realizar el trayecto de Madrid a Valencia. Otro ejemplo: Llevo una hora esperándote en la puerta de mi casa. ( Ha pasado una hora). Si tardas mucho me voy. ( el tiempo aún no ha pasado). Espero haberte ayudado.