En fait ce n'est pas le verbe à l'infinitif qui détermine si tu dois utiliser 'à' ou 'de', c'est le verbe ou le groupe verbal qui précèdent. Et effectivement, il faut apprendre par coeur comment les utiliser. Ce sont des expressions figées. ♦ Certains verbes se construisent directement (sans préposition) ♦ Certains se construisent avec à, de, ou d'autres prépositions (sur, pour, envers, contre...) ♦ Certains verbes ont des sens différents selon qu'ils se construisent avec à, avec de, et s'ils sont pronominaux ou pas. Ex : avoir besoin de (dormir, manger, penser...) avoir quelquechose à (faire, voir....) s'habituer à

I suppose it's a bit like in English: when you use "to" for "à" or "de" I've got lots of problems with German too (but with accus, datif.....) don't worry about saying things wrong, just speak and make mistakes, there si no other way: it will come (that's what I think......)

Une chance sur deux ! Les verbes d'action plutôt de....

For me, the only way is to practice and practice. There is no fixed rule and you will get accustomed to it over time