Conclusion first:
>It's correct if I just say 日本語で話そうとする ?
No, it is not correct. It means another thing.
OK: 日本語で話したい : want to speak in Japanese
OK: 日本語で話してみたい: want to try to speak in Japanese
OK: 日本語で話そうとする: have an intention to speak in Japanese (properly) and actually do it
NG: 日本語で話そうとしたい
(Sounds like "want to have a will / intention to...". Symantically OK, but Semantically making little sense, or redundant, or a loop logic).
------------------------
OK:今度、日本に行きます。せっかく日本語を勉強したのだし、(少しは)日本語で話したいですね。
OK:今度、日本に行きます。せっかく日本語を勉強したのだし、(少しは)日本語で話してみたいですね。
NG:今度、日本に行きます。せっかく日本語を勉強したのだし、(少しは)日本語で話そうとしますね。
NG:今度、日本に行きます。せっかく日本語を勉強したのだし、(少しは)日本語で話そうとしたいですね。
OK:日本語で話そうとするのはいい。でも、ていねい語で話さないと。
I appreciate your intention and trial to speak in Japanese, however you should use "ていねい語" (* implying "you use too casual words")
OK: 私、ほんとうは日本語なんて話したくないんです。でも、話そうとしてみるぐらいの、そういう態度は一応、見せておいたほうがいいですよね。
------------------------
話したい = 話し(連用形 of 話す) + たい(want)
→ want to speak
話してみたい(見たい)=話し + て(marker for completion, fix) + み(見:see)+たい(want)
→ speak and want to see (what happens)
→ want to try to speak.
話そうとする=話さ+む+と+する
=話さ(未然形of 話す)+む(particle to indicate "intention", "guess") +と (marker for cocentration point of the action) +する(do)
→doing things concentrating on "intention to speak"
*implying "trying to speak properly but cannot"
------------------------