#토크나이저

바이트 단위 언어 모델, 규모 커지자 서브워드 추월

토큰 분할 없이 날 바이트를 처리하는 트랜스포머가 규모가 커질수록 기존 방식을 앞섰다. 한국어처럼 분절이 까다로운 언어에 시사점이 있다.