Je pense que je parlerais de "français approximatif", mais ça sous-entend que la personne fait des fautes de grammaire (plutôt nombreuses), mais que l'on comprend quand même.
Il y a aussi "parler dans un français laborieux", mais il me semble que ton niveau est trop élevé pour cela...
Comme ton français est excellent à l'écrit, si tu as des difficultés à l'oral, tu peux parler de "français hésitant" (ce qui signifie que tu dois réfléchir avant de parler).
Par contre, je ne dirais jamais "cassé". La seule expression que j'utilise où "cassé" est au sens figuré est "Je suis cassée" qui signifie "Je suis fatiguée".