안녕하세요. 이번 포스팅에서 소개해드릴 것은 word aligner입니다.
자연어 처리를 공부하고 계신 분들이라면 한번 쯤 들어보셨을 텐데요.간단히 예를 들면, ["나는", "너를", "사랑해"]["I", "love", "you"]위와 같이 서로 대응되는 문장이 있을 때, "나는"은 "I"에 대응되고, "너를"은 "you"에 대응되고, "사랑해"는 "love"에 대응되죠? (문장을 간단하게 공백으로 토큰화했습니다.)
각 단어에 대응되는 정보를 담고 있는 것이 word alignment입니다.다른 언어 간에는 어순이 다르고 한 단어가 여러..........