About your example, the correct is むかし(or ずっと前から)から日本語を勉強していたのに、この文法は難しかったと思った。or ずっと前から日本語を勉強しているのに、この文法は難しいと思った。If you use ので, it would be 日本語を勉強し始めたばかりなので、この文法は難しいと思った。One more small thing, I would say: 日本語ではどのように「ので」と「のに」を使えば良いですか。Good luck to your Japanese!