Потому что это обращение из прошлого века. Если вы обратитесь "сударь" или "сударыня", люди могут тоже посчитать, что вы немного издеваетесь над ними.
К тому же, и товарищ, и товарищи - это были редкие обращения в повседневной жизни между людьми, как дома, так и на работе.
Это обращение использовали на собраниях, митингах, демонстрациях и т.д.
Не надо так никого называть, тем более, если это не нравится.