Vous avez trouvé la bonne explication. Cela aurait peut-être été plus clair s'il avait été écrit "il vit dans son milieu". Chaque groupe de pairs est effectivement considéré comme un milieu. De ce fait, on peut être amené à fréquenter, ou côtoyer des "milieux" très différents au cours de sa vie, ou se cantonner à "son milieu".