분류 전체보기1320

• [GenAI] 제로 샷 학습(Zero-Shot Learning)이란?, 원리, 장점, 적용 분야 제로 샷 학습(Zero-Shot Learning)은 인공지능(AI) 분야에서 점점 더 주목받고 있는 개념입니다. 이 기술은 기계 학습 모델이 훈련 중에 본 적 없는 데이터나 작업에 대해 예측을 수행할 수 있도록 하는 것을 목표로 합니다. 즉, 제로 샷 학습을 통해 모델은 본 적 없는 새로운 상황에도 유연하게 대응할 수 있습니다. 이러한 학습 방식은 특히 데이터가 부족하거나 다양한 변형이 필요한 분야에서 유용합니다.제로 샷 학습의 원리제로 샷 학습의 핵심은 모델이 기존의 데이터와 지식을 바탕으로 새로운 상황을 추론할 수 있도록 하는 것입니다. 이를 위해 일반적으로 속성(attribute) 기반의 접근 방법이 사용됩니다. 예를 들어, 모델이 각각의 동물 사진을 '포유류', '조류' 등의 속성으로 학습했다면,.. 🖥️ IT, 컴퓨터/🤖 GenAI_Tech 2024. 5. 5.

• [GenAI] 프리트레이닝(Pre-training)이란, 장점, 과정, 필요성 프리트레이닝(Pre-training)이란 무엇인가?인공지능(AI) 분야에서, 특히 머신러닝과 딥러닝의 세계에서, "프리트레이닝"은 중요한 개념 중 하나입니다. 이 용어는 말 그대로 "사전 훈련"을 의미하며, 대규모 데이터셋을 사용하여 모델을 미리 훈련시키는 과정을 말합니다. 하지만 왜, 어떻게 이 과정이 필요한 걸까요? 이 글에서는 프리트레이닝의 개념을 쉽고 자세히 풀어보겠습니다.프리트레이닝의 필요성모델이 새로운 작업을 효과적으로 수행하려면, 일반적으로 방대한 양의 데이터가 필요합니다. 하지만 모든 작업에 대해 충분하고 특화된 데이터를 확보하는 것은 현실적으로 어렵습니다. 여기서 프리트레이닝이 해결책으로 등장합니다. 대규모 범용 데이터셋을 사용해 모델을 사전에 훈련시킴으로써, 모델이 다양한 패턴, 특징,.. 🖥️ IT, 컴퓨터/🤖 GenAI_Tech 2024. 5. 5.

• [GenAI] 파인튜닝(Fine-tuning)이란? 장점, 주의점 파인튜닝(Fine-tuning)은 머신러닝과 딥러닝에서 널리 사용되는 기법으로, 사전에 훈련된 모델(pre-trained model)을 특정 작업이나 새로운 데이터셋에 맞게 조정하는 과정을 말합니다. 이 방법은 전이 학습(Transfer Learning)의 한 형태로 볼 수 있으며, 모델이 이미 학습한 지식을 바탕으로 새로운 작업에 빠르게 적응할 수 있도록 돕습니다.파인튜닝의 기본적인 과정은 다음과 같습니다:사전 훈련된 모델 선택: 특정 작업에 적합한 구조와 파라미터를 가진 모델을 선택합니다. 예를 들어, 이미지 인식 작업에는 ResNet이나 VGG와 같은 모델이, 자연어 처리 작업에는 BERT나 GPT와 같은 모델이 자주 사용됩니다.모델 수정: 필요한 경우, 모델의 마지막 층을 새로운 작업에 맞게 조정.. 🖥️ IT, 컴퓨터/🤖 GenAI_Tech 2024. 5. 5.

• [GenAI] RAG 모델이란? 응용, 장점 RAG(Retrieval-Augmented Generation) 모델은 자연어 처리(NLP) 분야에서 사용되는 혁신적인 언어 모델의 한 종류입니다. 이 모델은 정보 검색(IR, Information Retrieval) 과정과 언어 생성 과정을 결합하여, 더 정확하고 풍부한 정보를 제공하는 텍스트를 생성할 수 있게 합니다. RAG 모델은 특히 대규모 데이터셋에서 유용한 정보를 검색하여, 그 정보를 바탕으로 새로운 텍스트를 생성하는 데 강점을 보입니다.RAG 모델의 작동 방식RAG 모델은 크게 두 부분으로 구성됩니다: 검색기(retriever)와 생성기(generator).검색기(retriever): 주어진 질문이나 입력에 가장 관련이 높은 정보를 데이터베이스나 문서 집합에서 검색합니다. 이 과정은 입력 텍.. 🖥️ IT, 컴퓨터/🤖 GenAI_Tech 2024. 5. 5.

• [GenAI] 토큰, 토크나이저란? 정의, 종류, 활용 토큰과 토크나이저란?토큰(Token) 이란 프로그래밍 언어에서 문자열을 구성하는 기본 단위입니다. 예를 들어, "나는 기술 블로거입니다"라는 문장이 있다면, 이를 "나는", "기술", "블로거입니다"와 같이 개별 단어나 구에 해당하는 토큰으로 분리할 수 있습니다. 토큰은 프로그래밍 언어 뿐만 아니라 자연어 처리에서도 중요한 역할을 합니다.토크나이저(Tokenizer) 는 이러한 토큰을 생성하는 과정이나 그 과정을 수행하는 도구를 말합니다. 즉, 텍스트를 의미있는 단위로 나누는 역할을 합니다. 토크나이저는 단순히 공백이나 특정 기호를 기준으로 텍스트를 분리하는 것에서부터, 문법적, 의미적 분석을 통해 텍스트를 분리하는 복잡한 과정까지 다양한 방식을 포함합니다.토크나이저의 종류토크나이저는 크게 두 가지 유형.. 🖥️ IT, 컴퓨터/🤖 GenAI_Tech 2024. 5. 5.

• [GenAI] 언어모델이란? 언어 모델이란 무엇인가요?언어 모델(Language Model)은 단어 시퀀스(문장이나 문단 등)에 확률을 할당하는 기술입니다. 이를 통해 컴퓨터가 인간의 언어를 이해하고 생성할 수 있도록 합니다. 예를 들어, "나는 아침에 ___ 먹었다"라는 문장이 있을 때, 빈칸에 들어갈 가장 적절한 단어를 예측하는 것이 언어 모델의 한 예시입니다.언어 모델의 역사언어 모델의 역사는 단순한 통계 모델에서부터 시작되어, 오늘날에 이르기까지 다양한 기계학습 방법론을 거쳐 발전해왔습니다. 초기에는 N-gram 모델과 같이 간단한 통계적 방법을 사용했지만, 이후 딥러닝의 발전과 함께 RNN(Recurrent Neural Network), LSTM(Long Short-Term Memory), 그리고 최근에는 Transform.. 🖥️ IT, 컴퓨터/🤖 GenAI_Tech 2024. 5. 5.

• 

  [Python] HTML에서 특정 클래스 뒤에 있는 텍스트만 추출하기 (BeautifulSoup) 문제 상황 웹에서 제공하는 표의 특정 열 부분만 복사하고 싶은데, 전체 복사만 가능함 문제 해결 개발자도구 > 표 전체를 감싸는 부분 html 코드 찾기해당 부분 우클릭 > copy하기 파이썬에서 아래의 코드 입력, 가정한 HTML 예시에 자신의 코드를 넣기 from bs4 import BeautifulSoup# 가정한 HTML 예시html_content = """ This is an original review. This is a translated review."""# HTML 파싱soup = BeautifulSoup(html_content, 'html.parser')# TranslatedReviewContent 클래스를 가진 div 태그 찾기translated_reviews = soup... 🖥️ IT, 컴퓨터/🐍 Python 2024. 4. 25.

• [IT] OCR(Optical Character Recognition, 광학 문자 인식 기술)이란? OCR(Optical Character Recognition)은 광학 문자 인식 기술로, 이미지에서 문자를 읽어내어 텍스트로 변환하는 기술입니다. 이 기술은 스캔된 문서, 사진 속 텍스트, PDF 파일 등 다양한 형태의 비구조적 데이터 소스에서 문자를 인식하고 추출하는 데 사용됩니다. OCR 기술은 여러 단계로 구성되어 있으며, 각 단계는 이미지로부터 텍스트를 추출하고 해석하는 과정을 체계화합니다. 전처리 (Pre-processing): OCR의 첫 단계로, 이미지의 품질을 향상시켜 문자 인식률을 높입니다. 이 과정에는 노이즈 제거, 명암 대비 향상, 이미지 이진화 등이 포함됩니다. 전처리의 목적은 문자가 더 명확하고 인식하기 쉽도록 만드는 것입니다. 문자 분리 (Character Segmentation.. 🖥️ IT, 컴퓨터/👩🏻‍💻 IT 2024. 4. 15.

• [GenAI] GPT-4 Turbo with Vision란? GPT-4 Turbo with Vision 개요 GPT-4 Turbo with Vision은 OpenAI가 개발한 대규모 언어 모델(LLM)로, 자연어 처리와 시각적 이해 기능을 통합하고 있습니다. 이를 통해 이미지를 처리하고 이미지에 대한 질문에 텍스트로 답변할 수 있는 기능을 제공합니다. [1] [2] GPT-4 Turbo with Vision의 주요 기능 이미지 분석: 이미지에서 객체, 텍스트, 사람 등을 식별할 수 있습니다. [4] 이미지 질문 답변: 이미지에 대한 질문에 텍스트로 답변할 수 있습니다. [1] [2] 스트리밍 기능: 사용자는 Assistants API를 통해 스트리밍 기능을 사용할 수 있습니다. [3] Azure OpenAI Service와의 연계 GPT-4 Turbo with V.. 🖥️ IT, 컴퓨터/🤖 GenAI_Tech 2024. 4. 15.

• 

  [GenAI] OpenAI의 일본 법인 및 모델 개발 공식 테크블로그 글 Introducing OpenAI Japan We are excited to announce our first office in Asia and we’re releasing a GPT-4 custom model optimized for the Japanese language. Japan Wht April 14, 2024 Authors OpenAI Announcements Editor’s note: Japanese follows English (日本語は英語の後に続きます) As we grow our operations internationally, we’re expanding into Asia with a new office in Tokyo, Japan. We are committed to collabora.. 🖥️ IT, 컴퓨터/🤖 GenAI_Tech 2024. 4. 15.

• [GenAI] OpenAI 일본 특화 모델 개발 및 일본 법인 설립 OpenAI의 일본 특화 모델 개발 💡 OpenAI는 최근 일본 시장을 겨냥한 AI 모델 개발에 주력하고 있습니다. 이는 일본 고객들의 특수한 요구사항을 충족시키기 위한 노력으로 보입니다. 일본 특화 모델의 특징 일본어 최적화: OpenAI는 일본어 번역 및 요약 성능을 향상시키고 비용 효율성을 높이기 위해 GPT-4 모델을 일본어에 맞춰 최적화했습니다. [2] 고객 맞춤형 서비스: 일본 고객의 특수한 요구사항을 반영하여 AI 서비스를 제공하는 것이 목표입니다. [1] 일본 AI 시장 동향 일본 기업의 AI 시장 진출: 일본 전자상거래 기업 라쿠텐도 자체 AI 모델을 내년 초 출시할 계획입니다. [3] AI 기술 글로벌화: 일본 기업들은 AI 기술의 글로벌화와 상용화에 힘쓰고 있습니다. 예를 들어 SCM.. 🖥️ IT, 컴퓨터/🤖 GenAI_Tech 2024. 4. 15.

• [NLP] 분당토큰수(tmp, token per minute)란? 분당토큰수(tmp)는 "토큰(단어) 당 분(token per minute)"의 약자로, 주로 소프트웨어 엔지니어링, 특히 자연어 처리나 데이터 분석 분야에서 사용되는 개념입니다. 이는 특정 시간 내에 처리할 수 있는 토큰(단어나 문자)의 수를 측정하는 단위로 사용되곤 합니다. 예를 들어, 자연어 처리 시스템에서 대량의 텍스트 데이터를 분석하거나 처리할 때, 이 시스템이 한 분 동안 얼마나 많은 토큰을 처리할 수 있는지를 나타내는 지표로 분당토큰수를 사용할 수 있습니다. 이를 통해 시스템의 성능을 평가하고, 시스템 간 성능 비교를 할 때도 활용됩니다. 분당토큰수를 측정하는 것은 다음과 같은 이유로 중요합니다: 성능 측정: 시스템이 얼마나 빠르게 텍스트를 처리할 수 있는지를 파악하고, 최적화할 부분을 찾아 .. 🖥️ IT, 컴퓨터/📁 빅데이터･인공지능 2024. 4. 15.