En español usamos <em>me/te/le/nos/os</em> para sustituir a la persona, por ejemplo 'me gusta', 'le gusta', 'te gusta'.
Cuando decimos 'le diríais' it means 'vosotros le diríais a él' so 'le' represents 'that man'.
Por ejemplo, If you say: <em>¿Qué diríais sobre este tema?</em><em> (what would you say about this topic?) </em>
Here you dont say 'le' because you are not saying something to somebody, there is no subject. Yo just use this personal pronouns when the action goes to somebody.
I hope this helps ;)