In the sense of 'other than' ,when excluding things or persons ,they are almost synonyms,that you can interchange as in:
لن يستطيع أحد غيره إصلاح هذا الجهاز
لن يستطيع أحد سواه إصلاح هذا الجهاز
لن يستطيع أحد إلا هو إصلاح هذا الجهاز
The only difference is in the grammatical structure, in the case of both سوي و غير the succeeding pronoun is attached to them ,while in the case of إلا it is always separate.
Sometimes they are not interchangeable though as in River's third example:
الكل يحب الموسيقي إلا سارة
You can also say interchangeably:
الكل يحب الموسيقي سوي سارة
However you can't say :
الكل يحب الموسيقي غير سارة