Tu primera oración es la correcta, porque típicamente se usa el infinitivo después de una preposición cuando no hay cambio de sujeto. También sería posible prescindir del verbo, para evitar la repetición: “Voy a ir al cine después de la biblioteca.
Teóricamente, podrías usar un verbo conjugado en el subjuntivo, pero en tu ejemplo, sólo sería apropiado si quisieras cambiar de sujeto. “Vamos a ir al cine después de que mi amigo termine (o “haya terminado”) su tarea.”