꼭 neural network만 해당하는 건 아니고 binary classifier로
multi-class problem을 구현할 때 일반적으로 해당하는 문제죠.
ECOC (error-correcting output code)도 많이 쓰이지만 code
구성에 따라 어떤 문제는 binary classification이 너무 어려워
질 수 있기 때문에 비슷한 class끼리 묶어서 binary tree를
구성하는 게 더 나을 수도 있어요.
굳이 꼭 neural net을 써야 하는 게 아니면 SVM을 쓰는 게
나을 것이고, SVM의 경우는 one-vs-all 혹은 all pairs로
모델하면 대강 잘 됩니다. Multi-class SVM보다 이렇게
binary decompose하는 쪽이 나을거예요. (one-vs-all이
언급한, m개의 클래스가 있으면 뉴럴 넷에서 output node를
m개로 해서 하나만 1이 되도록 하는 거랑 비슷해요.) 근데
0,1로만 해석하지 말고 각각의 classifier output을 continuous
variable로 놓고 loss를 minimize하도록 하면 에러가 줄어들
겁니다. (Hamming decoding) 이 페이퍼 참고
http://www.informedia.cs.cmu.edu/documents/ICCV03activeLabeling.pdf