Creo que "don't quote me on that" se usa más de manera improvisada, relajada y no muy seria. Se dice casi como broma. Es decir que rara vez implica una consecuencia concreta o grave. Muchas veces se usa una persona que tiene ganas de aventurar una opinión, pero está muy vacilante en cuanto a la veracidad de dicha opinión.
Ejemplos:
I heard he speaks 3 languages, but don't quote me on that.
I believe the Civil War was in the 1860s, but don't quote me on that.
I think Chipotle is open, but don't quote me on that.
Tomando eso en cuenta, crees que las expresiones en español son demasiado fuertes? O sea, busco una frase que exprese lo mencionado de manera trivial.