-
[GenAI] 토큰, 토크나이저란? 정의, 종류, 활용
토큰과 토크나이저란?토큰(Token) 이란 프로그래밍 언어에서 문자열을 구성하는 기본 단위입니다. 예를 들어, "나는 기술 블로거입니다"라는 문장이 있다면, 이를 "나는", "기술", "블로거입니다"와 같이 개별 단어나 구에 해당하는 토큰으로 분리할 수 있습니다. 토큰은 프로그래밍 언어 뿐만 아니라 자연어 처리에서도 중요한 역할을 합니다.토크나이저(Tokenizer) 는 이러한 토큰을 생성하는 과정이나 그 과정을 수행하는 도구를 말합니다. 즉, 텍스트를 의미있는 단위로 나누는 역할을 합니다. 토크나이저는 단순히 공백이나 특정 기호를 기준으로 텍스트를 분리하는 것에서부터, 문법적, 의미적 분석을 통해 텍스트를 분리하는 복잡한 과정까지 다양한 방식을 포함합니다.토크나이저의 종류토크나이저는 크게 두 가지 유형..
🖥️ IT, 컴퓨터/🤖 GenAI_Tech
2024. 5. 5.
-
[IT] SDK (Software Development Kit)란?
SDK는 "Software Development Kit"의 약자로, 소프트웨어 개발 키트를 의미합니다. SDK는 특정 소프트웨어, 프레임워크, 하드웨어 플랫폼, 컴퓨터 시스템, 게임 콘솔, 운영 체제 또는 기타 개발 도구를 개발할 때 사용되는 일련의 도구 모음입니다. 개발자가 특정 언어(예: Java, Python, Swift 등)로 응용 프로그램을 더 쉽고 빠르게 개발할 수 있도록 설계되었습니다. SDK에는 다음과 같은 구성 요소가 포함될 수 있습니다: 라이브러리 및 프레임워크: 개발 프로세스를 가속화하기 위해 미리 작성된 코드의 모음입니다. 이를 통해 개발자는 흔히 발생하는 작업을 위해 코드를 처음부터 작성할 필요가 없습니다. 개발 도구: 컴파일러, 디버거, 텍스트 에디터 등 소프트웨어 개발에 필요한..
🖥️ IT, 컴퓨터/👩🏻💻 IT
2024. 4. 14.