"Can I come to your house?" si significa: ¿puedo ir a tu casa?
Pero nos fuimos es diferente a nosotros fuimos. Se tratan de dos verbos distintos. Nos fuimos lo utilizas cuando quieres decir que tú y alguien más se marcharon de un lugar, se fueron de un sitio. Ya que se trataría de la conjugación en pasado del verbo ir.
En cambio, "nosotros fuimos" quiere decir que tu y otras personas hicieron alguna acción en el tiempo pasado.

Espero que esto haya aclarado tu duda, sino la proxima vez intentaré ser un poco más explicita.
Nos vemos,
Andrea n.n