Generally, grote belongs to DE words and groot belongs to HET words. Unfortunately that's just a small part of the story, so have a look at the following examples:
De deur - Het raam
Een grote deur - Een groot raam (after EEN, DE words are preceded by grote and HET words are preceded by groot)
De grote deur - Het grote raam (after the articles DE or HET, grote is used for both types of words)
De deur is groot - Het raam is groot (adjective is not before the noun it describes -> use groot)
De deuren - De ramen
Grote deuren - Grote ramen (plurals are always DE words, so use grote)
Het deurtje - Het raampje
Een groot deurtje - Een groot raampje (diminutives are always HET words, so use groot after EEN...)
Het grote deurtje - Het grote raampje (...but remember that after DE or HET, it always becomes grote...)
Het deurtje is groot - Het raampje is groot (... and use groot when the adjective is not before the noun)
Hoe groot is de deur? - Hoe groot is het raam? (in these questions the adjective is also not next to the noun, so use groot)