Comme Patrice, j'étais un peu incertain de trouver une règle, mais je pense que la chose suivante s'applique. Regarder s'il y a un complément au verbe (COD ou COI) et s'il n'y en a pas de voir quel est le type de complément naturel du verbe.
Si le verbe est affecté d'un complément on va utiliser "difficile de" dans tous les cas :
- Il est difficile de lire ce livre (livre = cod)
- C'est difficile de répondre à cette question (question = coi)
- c'est difficile de t'avouer (t' = coi)
Si le verbe est seul on utilise "à" pour les verbes à cod et "de" pour les verbes à coi :
- Ce livre est difficile à lire (on lit qqch)
- C'est difficile de répondre (on répond à qqch)
- Dans ces circonstances c'est difficile de parler (parler à qq'un)
- Le français est une langue difficile à parler (parler qqch)