"That" is referring to "what I'm referring to", not the objects themselves. Das, was ich meine (what I mean/I'm referring to), ist ein Apfel/sind zwei Äpfel.
That, what I'm referring to, is not one apple. That, what I'm referring to, are two apples.
Das ist eine Frau.
Das ist ein Mann.
Das ist ein Kind.
Das sind Menschen.