Никто никогда не дает кому-то разрешения говорить грубо, поэтому, часто эту фразу говорят, когда возмущены тоном или словами собеседника, когда кто-то кому-то что-то грубое сказал. Думаю,чаще эту фразу говорят старшие младшим, своим детям,например. Что - мал ты еще,чтобы со мной так разговаривать. Или грубит кто-то из персонала, как правило, дают понять, что человек не по статусу своему позволяет себе многое в речи.

Эта фраза означает, что ты не давал собеседнику разрешения, говорить с тобой грубо или неуважительно, тебе это не нравится.