728x90
split = 토큰화에 대한 생각을 항해 잡담방에 올렸다.
그 뒤 재밌는 질문을 받게 되었다.
그러면 StringToken방식이랑 split메서드에 차이도 크게 있을까요?? 혹은 split메서드는 배열을 따로 받아 사용하는데 메모리관점에서 비효율적인게 아닐까요?? 궁금해서 댓글 남겨요!
질문에 답변 드리기 위해 조사한 결과를 기록한다.
안녕하세요 __ 님 :) 토큰화 방식은 필요에 따라 다른 메서드를 활용하면 좋을 것 같다고 생각합니다.
조사한 내용을 공유 드립니다!
StringTokenizer는 빈 문자열을 토큰으로 인식하지 않지만 split는 빈 문자열을 토큰으로 인식하는 차이가 있습니다.
StringTokenizer는 결과값이 문자열이라면 split는 결과 값이 문자열 배열입니다.
따라서 StringTokenizer를 이용할 경우 전체 토큰을 보고싶다면 반복문을 이용해 하나하나 뽑을 수 밖에 없습니다.
참고자료 : https://dev-coco.tistory.com/94
'학습 내용 정리 > Computer Science' 카테고리의 다른 글
| LLM 대형 언어 모델 (거대 언어 모델) (0) | 2023.10.26 |
|---|---|
| 웹 호환성 (Cross Browsing) (0) | 2023.10.12 |
| 웹표준 (Web Standards) (0) | 2023.10.12 |
| 웹 접근성 (Web Accessibility) (2) | 2023.10.12 |
| 시간 복잡도 (0) | 2023.09.15 |
