I just finished working = Acabo de terminar de trabajar / Justo terminé de trabajar.
En tales casos: acabo/justo = just, pero quizá te sea más fácil relacionar "just" con "justo", por su similitud.
En este caso "working" = ...de trabajar. Decir "...mi trabajo" sería la traducción de "...my work", que no es lo mismo.
Tus dos ejemplos (acabé de trabajar o acabo de trabajar) están gramaticamente correctos, sin embargo, no expresar exactamente lo que quieres decir.
Saludos!