「先頃」は今日から少し前のこと recently 「近頃」はこのごろ、最近のこと recently 「現在」はちょうど今のこと just now 「最近」は少し前から現在までのこと recently So you can't use 現在 in this sentence. But I use 先頃 when an accident or something new occurred. But it's too formal, I never hear this word besides news. I use 近頃 when a phenomenon iterates. We often use 最近 because it's more casual, but you can use at formal occasions. So 「最近カリフォルニアへ行きました。」 is the most natural.

(1) and (3) sound a little bit awkward to me. I use "先ごろ" for something happened minutes ago or hours ago. So, if you go to California and you go to a different place hours later, then, maybe you can say "先ごろカリフォルニアに行きました"。(3) isn't correct, because, like Keijiro said, "現在" means "now", so you can't use it with past tense verbs like "行きました". (2) and (4) sound natural. I think there isn't much difference between "近ごろ" and "最近". I hope I could be of some help to you :)

辞書によると、「最近」の意味は、次の2つがあります。（A)現在より少し前のある時、時点。また、（B)少し前から現在までの間、期間。 これは、まさにrecentlyと同じだと思います。 （A)最近、カリフォルニアに行きました。＝Recently I went to California. (B)最近、日本語を勉強しています。＝I recently have been learning Japanese. 「先ごろ」は、（A)の意味でのみ使われます。ニュースなどフォーマルな場面でのみ使われます。 ですから、（１）は少し不自然というか大げさな感じがします。 ・先ごろ、日本政府はTPPへの参加を表明しました。 「近頃（ごろ）」は、（B)の意味で使われることがほとんどです。さらに言うと「最近」より、少しその期間が短いように思います。 ですから、（２）は間違いではありませんが、あまりこういう言い方はしないと思います。 ・近頃、どうも眠りが浅くて困っています。 「現在」は、nowなので、（３）のような書き方はしません。 「このごろ」も（B)の意味で会話でよく使われる言葉です。 これらの中では、「最近」がいずれの意味でもよく使われ、フォーマルでもカジュアルでも使える便利な言葉だと思います。 ですから、4つの文章の中では、Keijiroさんも書かれているように、（４）が一番自然だと思います。 以上、お役にたてば幸いです。

1,2,4→ok 3，現在カリフォルニアへ行きました。→No 　　今、カリフォルニアにいます。→ok ↓ 理由<cause> 　 現在＝今、この瞬間　<Now> 行きました＝went <Past> 　Now　is not Past.