En aquel momento él quería hablar con alguien, pero no con nosotros sino con otras personas. Lo entenderás más fácilmente si usas "quien". No era con nosotros con quien (=nosotros) quería hablar en aquel momento

It wasn't with us with whom he/she wanted to talk :)