The first one is correct, not the second one "Un peu d'attention" is when you say something like "un peu d'attention s'il vous plaît" (similar to the "May I have your attention please") or "Je lui ai demandé un peu d'attention"

The first one is ok : il faut que je fasse un peu attention.