В вашем случае "I've remembered I need to go..." (я вспомнил, что я дожен был бы...) применяется не эта форма модального глагола как "must", а другая "had (to)" или "was (to)": (1) I remembered that I had to go there yesterday = Я вспомнил, что я должен был пойти туда. или (2) I remembered that I was to send him a letter, but I forgot = Я вспомнил, что я должен бы послать ему письмо, но я забыл.