🖥️ IT, 컴퓨터/🤖 GenAI_Tech110

• [GenAI] 언어모델이란? 언어 모델이란 무엇인가요?언어 모델(Language Model)은 단어 시퀀스(문장이나 문단 등)에 확률을 할당하는 기술입니다. 이를 통해 컴퓨터가 인간의 언어를 이해하고 생성할 수 있도록 합니다. 예를 들어, "나는 아침에 ___ 먹었다"라는 문장이 있을 때, 빈칸에 들어갈 가장 적절한 단어를 예측하는 것이 언어 모델의 한 예시입니다.언어 모델의 역사언어 모델의 역사는 단순한 통계 모델에서부터 시작되어, 오늘날에 이르기까지 다양한 기계학습 방법론을 거쳐 발전해왔습니다. 초기에는 N-gram 모델과 같이 간단한 통계적 방법을 사용했지만, 이후 딥러닝의 발전과 함께 RNN(Recurrent Neural Network), LSTM(Long Short-Term Memory), 그리고 최근에는 Transform.. 🖥️ IT, 컴퓨터/🤖 GenAI_Tech 2024. 5. 5.

• [GenAI] GPT-4 Turbo with Vision란? GPT-4 Turbo with Vision 개요 GPT-4 Turbo with Vision은 OpenAI가 개발한 대규모 언어 모델(LLM)로, 자연어 처리와 시각적 이해 기능을 통합하고 있습니다. 이를 통해 이미지를 처리하고 이미지에 대한 질문에 텍스트로 답변할 수 있는 기능을 제공합니다. [1] [2] GPT-4 Turbo with Vision의 주요 기능 이미지 분석: 이미지에서 객체, 텍스트, 사람 등을 식별할 수 있습니다. [4] 이미지 질문 답변: 이미지에 대한 질문에 텍스트로 답변할 수 있습니다. [1] [2] 스트리밍 기능: 사용자는 Assistants API를 통해 스트리밍 기능을 사용할 수 있습니다. [3] Azure OpenAI Service와의 연계 GPT-4 Turbo with V.. 🖥️ IT, 컴퓨터/🤖 GenAI_Tech 2024. 4. 15.

• 

  [GenAI] OpenAI의 일본 법인 및 모델 개발 공식 테크블로그 글 Introducing OpenAI Japan We are excited to announce our first office in Asia and we’re releasing a GPT-4 custom model optimized for the Japanese language. Japan Wht April 14, 2024 Authors OpenAI Announcements Editor’s note: Japanese follows English (日本語は英語の後に続きます) As we grow our operations internationally, we’re expanding into Asia with a new office in Tokyo, Japan. We are committed to collabora.. 🖥️ IT, 컴퓨터/🤖 GenAI_Tech 2024. 4. 15.

• [GenAI] OpenAI 일본 특화 모델 개발 및 일본 법인 설립 OpenAI의 일본 특화 모델 개발 💡 OpenAI는 최근 일본 시장을 겨냥한 AI 모델 개발에 주력하고 있습니다. 이는 일본 고객들의 특수한 요구사항을 충족시키기 위한 노력으로 보입니다. 일본 특화 모델의 특징 일본어 최적화: OpenAI는 일본어 번역 및 요약 성능을 향상시키고 비용 효율성을 높이기 위해 GPT-4 모델을 일본어에 맞춰 최적화했습니다. [2] 고객 맞춤형 서비스: 일본 고객의 특수한 요구사항을 반영하여 AI 서비스를 제공하는 것이 목표입니다. [1] 일본 AI 시장 동향 일본 기업의 AI 시장 진출: 일본 전자상거래 기업 라쿠텐도 자체 AI 모델을 내년 초 출시할 계획입니다. [3] AI 기술 글로벌화: 일본 기업들은 AI 기술의 글로벌화와 상용화에 힘쓰고 있습니다. 예를 들어 SCM.. 🖥️ IT, 컴퓨터/🤖 GenAI_Tech 2024. 4. 15.

• [OpenAI] Tiktoken 패키지 이용한 토큰 수 계산 import pandas as pd import tiktoken # 토크나이저 이름을 이용하여 사용할 토크나이저 결정 encoder = tiktoken.get_encoding("cl100k_base") df = pd.read_csv("경로.csv") input = df['input'] # 함수 만들기 def encoder_encode(x): return encoder.encode(x) df['token'] = df['input'].apply(lambda x: len(encoder_encode(x))) Tiktoken은 OpenAI 모델과 함께 사용하기 위해 최적화된 빠른 바이트 페어 인코딩(BPE) 토크나이저를 위한 파이썬 패키지입니다. 이는 텍스트와 기계 학습 모델이 이해하는 토큰(숫자로 표현된) 사이.. 🖥️ IT, 컴퓨터/🤖 GenAI_Tech 2024. 4. 2.

• 

  [OpenAI] 오픈AI 플랫폼 Tokenizer OpenAI 플랫폼의 Tokenizer 소개 OpenAI의 Tokenizer는 언어 모델이 텍스트를 어떻게 토큰화하는지 이해하는 데 도움을 주는 도구입니다. 이 사이트에서는 텍스트가 어떻게 토큰화되고, 해당 텍스트의 총 토큰 수를 알아볼 수 있습니다. 📚 Tokenizer의 기본 정보 토큰화 과정: OpenAI의 대규모 언어 모델들은 텍스트를 토큰이라는 일반적인 문자 시퀀스로 처리합니다. 이 모델들은 토큰 간의 통계적 관계를 이해하고, 토큰 시퀀스에서 다음 토큰을 생성하는 데 능숙합니다. [1] 모델별 차이: 토큰화 과정은 모델마다 다릅니다. 예를 들어, GPT-3.5와 GPT-4와 같은 새로운 모델들은 이전 모델들과 다른 토크나이저를 사용하며, 동일한 입력 텍스트에 대해 다른 토큰을 생성합니다. [1].. 🖥️ IT, 컴퓨터/🤖 GenAI_Tech 2024. 3. 24.

• [OpenAI] 오픈AI 참고 문서 리스트 OpenAI API를 사용할 때 필요한 기본 요소와 관련하여 검색하려면, 다음과 같은 키워드를 사용할 수 있습니다: "OpenAI API documentation" - OpenAI의 공식 문서를 찾아 API 사용 방법, 필요한 파라미터, 응답 형태 등에 대한 전반적인 정보를 얻을 수 있습니다. "GPT API tutorial" - GPT와 같은 모델을 사용하는 방법에 대한 튜토리얼 또는 가이드를 찾을 수 있습니다. 이는 API의 기본 사용 방법부터 고급 기능까지 다양한 예시와 함께 설명합니다. "OpenAI API key setup" - API를 사용하기 위해 필요한 API 키를 설정하는 방법에 대해 검색합니다. API 키는 OpenAI 서비스를 이용하기 위한 인증 수단으로, 모든 API 요청에 필수적입.. 🖥️ IT, 컴퓨터/🤖 GenAI_Tech 2024. 3. 24.

• [OpenAI] 오픈AI API 필수 요소 OpenAI API를 사용할 때 기본적으로 필요한 요소들은 주로 다음과 같습니다: API Key: OpenAI API를 사용하기 위해서는 유효한 API 키가 필요합니다. 이 키는 OpenAI에 등록한 후 제공받으며, API 요청을 인증하는 데 사용됩니다. Endpoint: API의 특정 기능을 사용하려면, 해당 기능에 맞는 endpoint에 요청을 보내야 합니다. 예를 들어, GPT (Generative Pre-trained Transformer) 모델을 사용하기 위한 endpoint와 DALL·E (이미지 생성 모델)를 사용하기 위한 endpoint가 다릅니다. Headers: 요청을 보낼 때, 보통 Authorization 헤더에 API 키를 포함시켜야 합니다. 이는 요청이 인증될 수 있도록 합니다... 🖥️ IT, 컴퓨터/🤖 GenAI_Tech 2024. 3. 24.

• [Python] 파이썬에서 OpenAI API로 달리 이미지 생성하기 (DALLE 3) OpenAI의 DALL·E를 사용하여 Python에서 그림을 그리는 방법에는 여러 단계가 포함됩니다. 여기서는 간단한 예시를 통해 DALL·E를 활용하는 기본적인 절차를 설명하겠습니다. 이 과정을 진행하기 전에, OpenAI API에 접근할 수 있는 API 키가 필요합니다. OpenAI API 설치: OpenAI Python 라이브러리를 사용하기 위해 먼저 설치해야 합니다. 이 라이브러리는 DALL·E를 포함한 OpenAI의 다양한 기능에 접근할 수 있게 해 줍니다. pip install openai API 키 설정: OpenAI API를 사용하기 위해서는 API 키가 필요합니다. 이 키는 OpenAI 웹사이트에서 얻을 수 있으며, 보안을 위해 안전하게 보관해야 합니다. 코드 내에서 이 키를 환경 변수로.. 🖥️ IT, 컴퓨터/🤖 GenAI_Tech 2024. 3. 24.

• 

  [OpenAI] APIRemovedInV1 오류 문제상황 APIRemovedInV1: You tried to access openai.ChatCompletion, but this is no longer supported in openai>=1.0.0 - see the README at https://github.com/openai/openai-python for the API. You can run `openai migrate` to automatically upgrade your codebase to use the 1.0.0 interface. Alternatively, you can pin your installation to the old version, e.g. `pip install openai==0.28` A detailed migratio.. 🖥️ IT, 컴퓨터/🤖 GenAI_Tech 2024. 3. 11.

• [GenAI] openAI의 GPT4.0 vs. 뤼튼의 GPT 4.0 비교 (3탄 - 파이썬 asyncio 설명) 질문 asyncio 사용법에 대해 매우 자세하게 설명해줘. 뤼튼 파이썬의 asyncio는 비동기 I/O, 코루틴, 태스크 등을 활용하여 동시성 코드를 작성하는 데 사용되는 라이브러리입니다. 이는 특히 I/O 바운드 작업에 유용하며, 웹 스크레이핑, 웹 API 호출 등에서 효율적으로 사용할 수 있습니다. 코루틴(Coroutine) 만들기와 실행하기 async def hello(): print('Hello, Asyncio!') 코루틴을 실행하려면 이벤트 루프에 스케줄링해야 합니다. 이는 asyncio.run() 함수로 가능합니다. asyncio.run(hello()) 비동기 함수는 async def 키워드로 정의합니다. 이렇게 정의된 함수를 호출하면 코루틴 객체가 반환되며, 이 객체는 나중에 실행할 수 있습.. 🖥️ IT, 컴퓨터/🤖 GenAI_Tech 2024. 3. 5.

• 

  [GenAI] Anthropic의 Claude 3 발표 가장 지능적인 모델인 Opus는 학부 수준의 전문 지식(MMLU), 대학원 수준의 전문가 추론(GPQA), 기본 수학(GSM8K) 등을 포함하여 AI 시스템에 대한 대부분의 일반적인 평가 벤치마크에서 동종 모델보다 뛰어납니다. 복잡한 작업에 대해 거의 인간 수준의 이해력과 유창함을 보여 일반 지능의 최전선을 선도합니다. 모든 Claude 3 모델은 분석 및 예측, 미묘한 콘텐츠 생성, 코드 생성 및 스페인어, 일본어, 프랑스어와 같은 영어가 아닌 언어로의 대화에서 향상된 기능을 보여줍니다. https://www.anthropic.com/news/claude-3-family Introducing the next generation of Claude Today, we're announcing the Clau.. 🖥️ IT, 컴퓨터/🤖 GenAI_Tech 2024. 3. 5.