Я уже тебе писал как то, что в русском языке в сложносоставном сказуемом, второй глагол всегда в инфинитиве. Здесь слова "У нас" = "We have" выполняют роль первого глагола. Можно перефразировать - "Мы не имеем времени ждать (ожидать)"="у нас нет времени ждать" (но последняя фраза звучит более натурально на русском). Поэтому второй глагол в инфинитиве. Сравни, в английском то же самое - We don't have time to wait