¡Hola Haru!
Si tu intención es que suene rudo puedes decir "No es tu problema", y si tu intención es decirlo de buena manera puedes decir "No te preocupes por eso".
Una manera "intermedia" de decirlo es "Este asunto no lo involucra"
If your intencion is make it sound in a bad way, you can say "No es tu problema", if your intencion is make it sound in a good way, you can say "No te preocupes por eso". Also you can say "Este asunto no lo involucra", this form isn't a good or bad way.
Espero haberte ayudado. Cualquier otra pregunta no dudes en contactarme.
Saludos!