Grammatikalisch korrekt müsste der erste Satz heißen: Ich habe mit keinem gesprochen außer mit deinem Bruder. "Ich habe mit keinem gesprochen als mit deinem Bruder" wird umgangssprachlich oft benutzt. Viele Deutsche tun sich ja schwer mit ihrer Grammatik :-). "außer" ist eine Präposition, die mit dem Dativ steht (Englisch: except for). "als" kann eine temporale Konjunktion sein ("Als es aufhörte zu regnen, gingen wir hinaus") oder eine komparative Konjunktion ("Er benimmt sich, als wäre er allein auf der Welt"). Außerdem wird "als" bei Vergleichen verwendet ("Peter ist größer als Mark") oder in Konstruktionen wie "Er arbeitete als Manager", wo es meist wie das englische "as" benutzt wird.