I think it depends on which way you are using it. If you are saying "I can't afford this shirt," then I usually say "No puedo pagar por esta camisa." If you are saying something more idiomatic like "I can't afford to take a risk," then permitir would be your best bet. "No puedo permitirme que correr un riesgo."

Pienso que depende de que manera uses esas dos palabras. Por ejemplo si dices: "Quiero comprarme un auto pero no puedo permitirme ese lujo en este momento" pero si dices algo como: "Quiero ir de vacaciones a Europa pero no puedo pagar por los voletos de avion en este momento" en ese caso estas usando la palabra en terminos de precio. Espero que te ayude mi explicacion.