В целом, это слова-синонимы, но есть и некоторые тонкости (как. впрочнем, и всегда))
Разница
1. Несходство, различие в чём-либо (в возрасте, в образовании, во взглядах, в цене, в весе).
2. Величина, являющаяся разностью между двумя другими (в окладах, заработной плате). (Получить, выплатить разницу).
* Какая разница? (разг.) — не всё ли равно?
* Две большие разницы (разг. шутл.) - очень большая разница.
* Без разницы что кому (разг.) — безразлично, всё равно, не имеет никакого значения.
* Ехать или оставаться, ему без разницы.
Отличие
1. Признак, создающий разницу, различие между кем-чем-либо (Существенное или Незначительные отличия).
2. Употребляется в некоторых выражениях для обозначения награды, поощрения какой-либо деятельности. (Эпохи отличия. Диплом с отличием).
* В отличие (от кого-чего, предлог с родительным падежом) — не как кто-либо/что-либо, иначе, чем кто-либо/что-либо. (В отличие от других он поступил решительно).
(Словарь Ожегова)