안 그래도 is a colloquial form of 그렇지 않아도.
그렇지 않아도 literally means "even if you wouldn't do such thing,"
it means "as a matter of fact; as it is; already"
1. 뒤의 부정적인 내용이 한층 더 심해질 때 쓰여 앞뒤 어구나 문장을 이어 주는 말.
e.g.
그렇지 않아도 글씨를 못 쓰는데 급하게 써서 더 알아보기 힘들었다
My normally[already] poor handwriting became even harder to read from writing hastily.
제발 나 좀 힘들게 하지 말아요. 안 그래도 요즘 너무 힘들단 말이에요.
Come on. Don't give me a hard time. Things are tough enough for me as it is.
2. 상대방이 말하거나 행동하기 전에 이미 생각해 두었다는 뜻으로 앞뒤 어구나 문장을 이어 주는 말.
e.g.
안 그래도 이미 예약해 뒀어.
I already made an appointment.
그렇지 않아도 전화하려고 했습니다
The thing is I was about to call you[give you a call].