Im Gebrauch kein Unterschied.
Vortrag: von "etwas vortragen", also "etwas vor die Zuhörer tragen" = über ein Thema vor Zuhöreren reden.
Referat: von lateinisch "re-ferre", d.h. "zurück-tragen" und damit "berichten". Also über ein bestimmtes Thema berichten.
Ein Vortrag ist immer mündlich, ein Referat kann schriftlich oder mündlich sein.
Eine Organisationseinheit in einer Behörde kann ebenfalls "Referat" heißen, das hat mit "Vortrag" aber nichts zu tun.