Não está correto.
Primeiramente, a preposição correta para o verbo "falar" é "com": "falei com".
Observe que é possível dizer "fala a alguém algo"'. Ex: falei ao homem para ir embora".
Em segundo lugar "ao" é a junção de uma preposição (a) mais um artigo definido (o). Não se deve utilizar um artigo definido seguido por um artigo indefinido (um).
Portanto, sua frase pode ser escrita do seguinte modo:
Eu falei com um homem francês e ele me disse/perguntou "como vai você" e então ele foi para casa.