Если рассматривать это слово как ругательство, то его используют когда кто-то поступает к тебе крайне неуважительно. Например грубо толкнул проходя мимо, и не собирается извиняться.
Называя так человека не имеют в виду что он некрасив, это скорее что он в мыслях (душе) урод, если считает грубое поведение нормальным. То есть человек вызывает антипатию и отвращение, как будто он урод, хотя выглядит хорошо.
Не представляю ситуации, где это слово звучит как шутка.
В качестве безобидного ругательства используют "дурак".