Ich bin nicht Muttersprachler, aber ich glaube, dass du recht hast. Man benutzt Akkusativ, wenn die Frage sich um "Wohin?" handelt. In deinen Beispielen, antworten die Frage "Wo hast du geschwommen?" Du bist nicht ins Wasser (into the water) geschwommen, sondern du hast im Wasser (in the water) geschwommen. (NB. Bist geschwommen vs. Hast geschwommen).
Deswegen, benutzt man "ins Kino" (to the movies), und nicht "im Kino" (at the movies).