Если коротко, то это синонимы, так же как и try и attempt. И так же как и try и attempt оба эти слова могут значить и "делать попытку", и "стараться".
Если подлиннее, то "пробовать" - это позднее заимствование из латыни (probare) через польский (próba, próbować) или же немецкий (Probe).
А "пытать(ся)" - славянское слово означающее "спрашивать". Однако же в современном русском языке "пытать" обыкновенно означает "допрос с пристрастием" (torture), а "пытаться" - как раз синоним "пробовать". "Пытать" в значении "спрашивать" встречается довольно редко.