Le "si" de ta phrase permet de construire une subordonnée exprimant une nuance de concession : "oui, il y avait des personnes avec de jeunes enfants, MAIS la plupart ... étaient âgés". On aurait pu écrire : j'admet qu'il y avait..., MAIS la plupart étaient âgées. Ou "pour être fidèle à la vérité, j'admets qu'il y avait des personnes avec de...., MAIS ...".
Le mot "si" peut être utilisé afin d'introduire plusieurs sortes de subordonnées. Pas seulement des conditionnelles classiques comme : "s'il pleut, je resterai à la maison".
C'est le genre de phrase qui est, en effet, difficile, et pas seulement pour des non francophones.