Your sentence "Mój dziadek był z Polski"
"...was from Poland" It's the past form, so:
"był" z Polski (male form) - Mój Dziadek BYŁ z Polski
"była" z Polski (female form) - Moja Babcia BYŁA z Polski
Addition:
Now :
"Is from Poland"
jest z Polski (female and male form) - Moja Bacia/Mój dziadek JEST z Polski
"dziadek"- grandfather and "babcia" - grandmother of course :)