저도 아니라는 대답이 "크지않다"고 느껴집니다. 부정의 부정은 긍정이 맞긴한데, 화자의 질문이 비록 아니야? 를 쓰긴 했지만 부정으로 안느껴지기 때문에 그렇습니다~화자가 저집은 크다고 느끼고 있고, 아니야로 물어본건 단지 상대의 의견을 묻는 수단으로 쓰고 있지, 화자 자체가 저 집이 크지 않다라고 생각한다고는 느껴지지 않으므로...아니라는 대답이 부정의 부정이 아니라 긍정의 부정으로 느껴집니다~
한국말의 yes or no는 한 단어 보다는 전체 문맥에 대한 긍정 or 부정을 표현하므로...문법적으로 맞는지는 모르겠고 그냥 느껴지는 개인적인 생각입니다 ^^