Creo que es una de las dudas gramaticales más difíciles de explicar sin ser muy técnico. Desde luego es normal que tengas dudas. El verbo "olvidar" admite varias construcciones: 1.- verbo transitivo -> Yo olvidé la cartera en casa -> El sujeto "yo" es quien olvida, objeto directo "la cartera" es lo olvidado. 2.- verbo intransitivo pronominal (olvidarse)-> Se me olvidó la cartera en casa -> El sujeto "la cartera" es lo olvidado, el objeto indirecto"me" es quien olvida; "se" forma parte del verbo y no tiene función gramatical. 3.- verbo intransitivo pronominal + de -> Yo me olvidé de traer la cartera -> el sujeto "yo" es quien olvida, lo olvidado viene introducido por "de"; "me" forma parte del verbo y no tiene función gramatical. La buena noticia es que todas significan lo mismo y puedes usar la que más te guste. I hope it is clear enough. Anyway, if you need a better explanation in english, let me know

El "se" representa una acción que recae a ti mismo. En cuanto a las oraciones, el significado de "olvidar" es el mismo, simplemente es usado en diferentes tiempos.