No necesariamente se relaciona con la sexualidad, también con la exactitud:
Cuando alguien dice que algo está A PELO también se refiere a que eso está exacto, justo o que llega en el momento preciso, así como en la frase:
• Hoy el día esta tan frío que ese café me cayó a pelo.