Desconocía la palabra "cacica", como ya todos lo han mencionado, no es común, tanto que es la primera vez que la escucho, en toda mi vida. Yo diría: "Una cacique" Hay palabras que se utilizan para ambos géneros, y la manera de diferenciarlas es con el uso de artículos, por ejemplo; El líder del equipo de natación - La líder del partido político Un mártir - Una mártir.

Como dijo José Manuel, es una palabra poco utilizada, y me imagino porque la mayoría de caciques han sido hombres. Creo que la palabra se forma, como muchos femeninos, al cambiar la última vocal por una "a", y, como es necesario mantener el sonido /k/ y como la secuencia "qua" no se considera correcta, se reemplaza por "ca" que conserva el sonido: cacique -> /ka.'si.ke/ cacica -> /ka.'si.ka/

Cuando quieras saber algo sobre una palabra en castellano puedes consultar el diccionario de la Real academia de la lengua:http://dle.rae.es/?id=6ZP63uo

Lo cierto es que, al menos en España, la palabra cacica practicamente no se usa. Los femeninos de las palabras se construyen frecuentemente añadiendo una a al final; Conductor-conductora, autor-autora...