Your phrase could be translated into Serbian as: Momak koji raznosi picu VEĆ je trebao biti ovde sa picom koju smo naručili. On kasni. (a mi umiremo od gladi). Ili: Momak koji raznosi bicu trebao je DO SADA biti ovde sa picom koju smo naručili... It is said usually "momak koji raznosi picu" or "dečko koji raznosi picu" or, a bit strange, "raznosač pice".

For your phrase I'd say "Momak koji raznosi picu (or even better: dostavljač pice") je već trebalo da bude tu (ovde) sa picom koju smo naručili. On kasni! (a mi umiremo od gladi) " to starving - umirati od gladi by now can be : " do sad" and we use it when we do not have patience any more to wait for someone/something. Also, we can use "već - already" to show our impatience. For example: Hoćeš li mi već više dati svoj broj telefona? - Would you alredy give me your phone number? Gde si do sada, zaboga? - Where are you by now, for the God's sake? If you have any further questions, feel free to ask me. Also, if you need my Serbian classes, don't hesitate to look at my profile and reserve it.

But you can just say: "trebalo je već da stigne", "odavno je već trebalo da stigne", "trebalo bi da je odavno već stigao" (odavno = long time ago). The "do sada" part is really optional, because "već" already shows your impatiance, like in "ućuti već jednom!" (will you shut up already).

"trebalo bi da je do sada već stigao", in past tense, is what you're looking for :)