初めて is used for a 'first (for the first time)' whilst 始める is used for 'starting/beginning' ex: 1) 初めてのデート -> first date 2) 始めてよろしいでしょうか。-> OK. Can I start? The difference can easily be distinguished when you learn the grammar. (ex: ～し始める; ～の初め）