Если брать изолированные предложения вне контекста, то я как носитель языка понимаю первое предложение:
Он говорил мне. - это повторялось в прошлом несколько раз, много раз, неоднократно ...
Он сказал мне. - это было один раз в прошлом, т.е. однократное действие в прошлом.