Bom Dia,
A expressão "to prefer" expressa uma preferência geral e "would rather" expressa uma preferencia específica.
Por exemplo, se alguem te perguntasse: "Do you like to walk to work?"
A resposta será: "I prefer to drive."
Porque nesse momento você está falando do que você prefira geralmente.
Mas, se alguem te perguntasse: "Would you like to walk to work today?"
A resposta será: "No, I would rather drive."
Porque você está falando do que você quer fazer nesse momento.
O verbo "to prefer" pode expressar também uma preferência específica se voce usar no tempo condicional, então "I would rather" = "I would prefer".
Espero que você entenda!