Живу в Петербурге и впервые слышу, чтобы его так называли.

Интересный вопрос. Если это связано с "Преступлением и наказанием", то да, в романе много раз упоминается жёлтый цвет - обычно в контексте описания общей гнетущей атмосферы. К слову, существует выражение "жёлтый дом" - это значит "больница" (чаще всего психиатрическая). Связано это с тем, что в дореволюционной России фасады больниц часто красили в жёлтый цвет. Так, например, детство и юность Фёдор Достоевский провел в квартире, расположенной во флигеле московской Мариинской больницы для бедных, где его отец работал врачом. Вот так выглядит сама больница: https://goo.gl/cy9ZTp А вот так - тот самый флигель, в котором сейчас располагается Музей-квартира Ф.М. Достоевского: https://goo.gl/iaZETD

потому что когда-то там правил желтый император Хуан-ди :) Шутка))

Потому что очень много старых домов выцветшие и жёлтые от времени.

Да, действительно. Но учтите, что реально в разговоре о Петербурге так не говорят. Достоевский эмоционально тяжёлый писатель, и нужно очень его любить, чтобы употреблять и понимать такое сравнение. Поправлю, только следует говорить: называется "жёлтым городом".