splilt() 메서드는 토큰화의 예시이다.

split메서드는 특정 문자열을 기준으로 토큰화한다.

 

"This is a book"

["This", "is", "a", "book"]

 

내부는 보통은 단순한 for문을 이용한 구조이다. 

문자열을 선형 시간(O(n))에 처리하는 방식이다.

 

효율적인 구분자 검색을 위해 보이어-무어 알고리즘이나 KMP 알고리즘과 같은 문자열 검색 알고리즘을 사용하는 경우도 있을 수 있다.