more formal in spain is "hubiese " .

the more formal is "hubiese".
but in these senteces:
- "Si lo HUBIERA sabido, HUBIESE reaccionado de otra manera" .
- "Si hubiese sido fumador, no hubiera sobrevivido al infarto".
the mix sounds better because there isn't redundancy.

I think "hubiese" is a bit more formal, but both are very useful in any context. I agree with Alfredo respect to the alternation of both words to avoid redundancies, for example:
- "Si yo lo HUBIESE sabido antes, si alguien me HUBIERA advertido, yo habría reaccionado de otra manera"
:)

Well I think both are the same thing i am mexican I use say bothe... "hubiera ido ala escuela" "hubiese ido ala escuela" "le hubiera dicho que la amo" le hubiese dicho que la amor" "me hubiera sentido mejor si no la hubiese/hubiera besado" To me they´re the same thing So I hope does that help.

"Hubiese" sound more like the formal word but is just because isn't usual as "hubiera", more people use "hubiera" than "hubiese" in an ordinary conversation.

es mas formal hubiese por ejemplo si yo hubiese ido. pero de ambas formas esta bien.

Habría ayudado a Pepe si hubiese sabido que tuvo el accidente.
Hubiese ayudado a Pepe si hubiese sabido que tuvo el accidente.
Habría ayudado a Pepe si habría sabido que tuvo el accidente. (incorrecto)
Hubiese ayudado a Pepe si habría sabido que tuvo el accidente. (incorrecto)

La manera más fácil de darse cuenta es pensando en el nombre del tiempo verbal. Se llama condicional, sí. Pero se llama también pospretérito.

O sea necesita, forzosamente, una referencia previa en el pasado. Generalmente, una condición.
Decir "habría" sin una acción pasada de la cual dependa lo que estamos diciendo es lo incorrecto.

También se llama al tiempo verbal "potencial", porque expresa una posibilidad. "Hubiera" no expresa posibilidad.

O sea:
Habría ayudado, si hubiese sabido. = Tal vez hubiese ayudado, si hubiese sabido. (No es seguro)
Hubiese ayudado, si hubiese sabido. = De haber sabido, ayudaba. (100% seguro)

Hubiese ayudado, si habría sabido (incorrecto)

No puedo afirmar algo, basado en algo previo que es una posibilidad, es como decir:
Hubiese ayudado, si tal vez hubiese sabido.

A lo sumo:
Tal vez hubiese ayudado (o habría ayudado), si hubiese sabido.

Acerca del hubiera:
Eso depende de la intención del que habla. Si yo creo que es una posibilidad y no una certeza, tengo que usar habría. El mal uso de habría es siempre el mismo juntarlo con un "si", "cuando", etc. Siempre va después de la condición (temporalmente hablando, no me refiero al orden en la oración).

Para ver la diferencia también sirve usar otro verbo:
Aunque comiese mucho, no dejaría de ser flaco.
Comería si tuviese hambre.
Aunque comería mucho, no dejaría de ser flaco. (incorrecto, no tiene sentido)

hubiera o hubiese, ambas formas son preterito imperfecto del subjuntivo, por lo que se pueden utilizar ambas, respecto a lo de mas formal, estoy de acuerdo con lyohka, en cada pais "suena" una mas formal que otra pero ambas son correctas.
espero haber servido de ayuda

En el español que se habla y escribe en España no existe ninguna diferencia entre hubiera o hubiese. Son exactamente igual de formales o informales y quizá por no reiterar sonidos se pueda utilizar una u otra palabra. Para mi suena mejor Si usted fuera Segundo que Si usted fuese Segundo. Pero para otros puede ser al revés. Desde luego la frase en español de Iana Rivera está más dentro de la norma que la de Alfredín.

Después he pensado que con FORMAL se refiere a correcto y no al tratamiento de cortesía. Si es así, las dos formas son igual de correctas en cualquier situación.

the context: what is the phrase?