口調にもよりますが、「別に」だけで返事をされると、いやな気持になります。 「あなたと話をしたくない」、「答えたくない」と思っているように聞こえるからです。 「別に」の後に「いい」が省略されているわけではなく、「別に（どうでもいい）」、「別に（興味ないし）」の意味のことが多いです。 こちらの目を見ずに、ぶっきらぼうにあるいは乱暴に、「別に」という場合は、”Nothing." や "Whatever" に近いのではないでしょうか。 または、相手に対して怒っていて、その理由をはっきり言いたくないけど察してほしいとき、 「怒ってるの？」 「別に。（あんたのせいでしょ）」 「別にいいけど」よりも「別に」の方が negative な感じがします。