Если брать изолированные предложения вне контекста, то я как носитель языка понимаю первое предложение: Он говорил мне. - это повторялось в прошлом несколько раз, много раз, неоднократно ... Он сказал мне. - это было один раз в прошлом, т.е. однократное действие в прошлом.

He was saying me, - past continuous tense He said me.

Говорил - несовершенный вид. Сказал - совершенный вид.

These are interchangeable expressions. The difference lies in grammar which was explained by Leonid, that is, perfective/imperfective verbs. In English it's simply 'He told me'.