🖥️ IT, 컴퓨터/📁 데이터 분석46

• 

  [SQL] SQL JOINS 다이어그램 🖥️ IT, 컴퓨터/📁 데이터 분석 2024. 1. 2.

• [SQL] 쿼리 테스트 준비 (데이터 분석 직무) SQL 쿼리 테스트를 준비하는 데 도움이 되도록 문제를 만들어 드리겠습니다. 다음은 빅쿼리를 다루는 회사에서 SQL을 사용할 수 있는 상황과 그에 대한 쿼리 및 해설입니다. 문제 세트 1 상황 인사부에서는 각 부서별 직원 수와 평균 연봉을 알고 싶어합니다. 데이터베이스에는 '직원'과 '부서' 테이블이 있으며, 직원 테이블에는 연봉 정보가 포함되어 있습니다. 쿼리 SELECT D.부서명, COUNT(E.직원ID) AS 직원수, AVG(E.연봉) AS 평균연봉 FROM 직원 E JOIN 부서 D ON E.부서ID = D.부서ID GROUP BY D.부서명; 해설 이 쿼리는 '직원' 테이블(E)과 '부서' 테이블(D)을 부서ID를 기준으로 조인합니다. GROUP BY 절을 사용하여 각 부서별로 결과를 그룹화합.. 🖥️ IT, 컴퓨터/📁 데이터 분석 2024. 1. 2.

• [SQL] 기초 쿼리 모음 빅쿼리(BigQuery)에서 자주 사용되는 SQL 쿼리를 소개해드리겠습니다. 이들은 데이터 분석, 보고 및 처리 작업에서 효과적으로 사용됩니다. SELECT 쿼리: 데이터를 검색하고 추출합니다. SELECT column1, column2 FROM `your_dataset.your_table` WHERE condition ORDER BY column1; GROUP BY 쿼리: 특정 열에 따라 데이터를 그룹화하고 집계합니다. SELECT column1, COUNT(column2) FROM `your_dataset.your_table` GROUP BY column1; JOIN 쿼리: 두 개 이상의 테이블을 조인하여 관련된 데이터를 결합합니다. SELECT a.column1, b.column2 FROM `you.. 🖥️ IT, 컴퓨터/📁 데이터 분석 2024. 1. 2.

• [SQL] 기본적인 SQL 쿼리 모음 GROUP BY 절: 데이터를 특정 열의 값에 따라 그룹화하는 데 사용됩니다. 예를 들어, SELECT column_name, COUNT(*) FROM table_name GROUP BY column_name; 명령어는 'table_name' 테이블에서 'column_name' 열로 그룹화하고, 각 그룹의 레코드 수를 계산합니다. ORDER BY 절: 조회된 데이터를 특정 열의 값에 따라 정렬하는 데 사용됩니다. 예를 들어, SELECT * FROM table_name ORDER BY column_name DESC; 명령어는 'table_name' 테이블의 데이터를 'column_name' 열의 값에 따라 내림차순으로 정렬합니다. LIMIT 절: 조회 결과의 수를 제한할 때 사용됩니다. SELECT * .. 🖥️ IT, 컴퓨터/📁 데이터 분석 2024. 1. 1.

• 

  [플랫폼] 한국은행 경제통계 시스템 :: API 사용 가능 https://ecos.bok.or.kr/#/ https://ecos.bok.or.kr/#/ ecos.bok.or.kr 빠른 조회 누르면 바로 확인 가능 차트로 볼 수 있고 해당 그래프에 마우스를 올리면 상세 정보를 알 수 있음 🖥️ IT, 컴퓨터/📁 데이터 분석 2023. 12. 26.

• 

  [플랫폼] 금융 빅데이터 플랫폼 https://www.bigdata-finance.kr/main.do 메인 - 금융 빅데이터 플랫폼 활용:비씨카드 보유 업종 조회 비씨카드 업종코드 정보 비씨카드 조회수 : 13301 다운로드 수 : 1361 www.bigdata-finance.kr 🖥️ IT, 컴퓨터/📁 데이터 분석 2023. 12. 21.

• 

  [빅데이터] SKT - 통계청 근로자 이동행태 실험적통계 결과 통계청(청장 이형일), SK텔레콤(사장 유영상)은 데이터 융복합을 통한 새로운 부가가치 창출과 증거 기반의 각종 근로자 지원정책, 교통정책 등의 수립을 지원하기 위하여 근로자의 통근 특성에 관한 실험적통계*를 작성하고 그 결과를 공표하였다. * 실험적통계 : 새로운 유형의 데이터를 활용하거나 새로운 방식을 적용하여 실험적으로 작성하는 통계로서 ‘23.12월 현재 12종이 서비스되고 있음 이번 실험적통계는 통계청의 통계등록부와 SK텔레콤의 통신모바일 위치･이동정보를 가명결합하여 인구･가구의 특성에 따른 근로자의 출･퇴근 시간대, 통근 소요시간, 이동거리, 근무지 체류시간 등 6개 항목*을 다각적으로 분석한 것이다. * SK텔레콤의 인공지능 기반 위치분석 플랫폼(LITMUS)에서 정의한 항목별 수치정보를 활.. 🖥️ IT, 컴퓨터/📁 데이터 분석 2023. 12. 21.

• [딥러닝] Drop-out의 개념 "Dropout"은 신경망을 훈련시킬 때 과적합(overfitting)을 방지하기 위해 사용되는 기법입니다. 이 방법은 Geoffrey Hinton과 그의 동료들에 의해 제안되었으며, 신경망의 학습 과정에서 일부 뉴런을 임의로 비활성화(즉, "빼놓음")함으로써 모델의 과적합을 방지하는 데 도움이 됩니다. Dropout의 기본 원리와 작동 방식은 다음과 같습니다: 임의 비활성화: 학습 과정에서 각각의 순전파 단계마다, 각 뉴런은 주어진 확률 ( p ) (일반적으로 0.5)에 따라 비활성화됩니다. 이는 해당 뉴런의 출력을 0으로 설정하는 것과 같습니다. 과적합 방지: 이 방식으로, 모델은 특정 뉴런의 존재에 지나치게 의존하는 것을 방지하고, 데이터의 다양한 특징을 학습하도록 유도됩니다. 이는 모델이 더 일반.. 🖥️ IT, 컴퓨터/📁 데이터 분석 2023. 12. 16.

• 시계열 데이터 분석 모델 시계열 데이터 분석에 사용되는 모델들은 데이터의 특성과 분석 목적에 따라 다양합니다. 다음은 시계열 데이터를 분석하기 위해 널리 사용되는 주요 모델들입니다: AR (AutoRegressive) 모델: 시계열의 현재 값이 과거의 여러 시점 값에 의존하는 모델입니다. MA (Moving Average) 모델: 시계열의 현재 값이 과거의 여러 오차 항에 의존하는 모델입니다. ARMA (AutoRegressive Moving Average) 모델: AR 모델과 MA 모델의 결합으로, 시계열이 과거의 값과 오차에 모두 의존합니다. ARIMA (AutoRegressive Integrated Moving Average) 모델: ARMA 모델에 비정상 시계열을 정상 시계열로 변환하는 차분(differencing) 과정.. 🖥️ IT, 컴퓨터/📁 데이터 분석 2023. 12. 16.

• SMOTE (Synthetic Minority Over-sampling Technique) SMOTE (Synthetic Minority Over-sampling Technique)는 불균형한 데이터셋에서 소수 클래스의 예시를 합성하여 추가하는 방법입니다. 이 기법은 주로 분류 문제에서 클래스 불균형을 해결하는 데 사용됩니다. SMOTE는 소수 클래스의 데이터 포인트를 무작위로 선택하고 가장 가까운 이웃 중 하나를 선택하여 이 두 포인트 사이에 새로운 데이터 포인트를 합성합니다. SMOTE의 핵심 단계는 다음과 같습니다: 소수 클래스 데이터 선택: 소수 클래스에서 데이터 포인트를 무작위로 선택합니다. 가장 가까운 이웃 찾기: 선택된 데이터 포인트의 k개의 가장 가까운 이웃을 찾습니다. k는 일반적으로 사용자가 지정합니다. 합성 데이터 생성: 선택된 데이터 포인트와 그 이웃 중 하나 사이에 새로.. 🖥️ IT, 컴퓨터/📁 데이터 분석 2023. 12. 16.

• [DL] Swin Transformer Swin Transformer는 컴퓨터 비전 분야에서 사용되는 혁신적인 딥 러닝 아키텍처입니다. 'Swin'은 'Shifted Window'의 약자로, 이 모델은 트랜스포머 아키텍처를 기반으로 하며, 특히 이미지 인식, 분할, 객체 탐지 등의 작업에 효과적입니다. Swin Transformer의 핵심 아이디어는 윈도우 기반의 자기 주의 메커니즘(self-attention mechanism)을 사용하는 것입니다. 이를 통해 모델은 이미지의 다양한 부분에 대한 정보를 효과적으로 통합하고 처리할 수 있습니다. Swin Transformer의 주요 특징과 장점을 자세히 설명하겠습니다: 윈도우 기반 자기 주의: Swin Transformer는 이미지를 여러 작은 윈도우(영역)로 분할하.. 🖥️ IT, 컴퓨터/📁 데이터 분석 2023. 12. 8.

• [DL] U-Net의 특징 U-Net은 의료 영상 처리 분야에서 널리 사용되는 딥 러닝 기반의 컴퓨터 비전 모델입니다. 이 모델은 특히 의료 영상에서의 객체 분할(Object Segmentation) 작업에 매우 효과적이며, 2015년 Olaf Ronneberger, Philipp Fischer, 그리고 Thomas Brox에 의해 처음 제안되었습니다. U-Net의 주요 특징과 장점에 대해 설명하겠습니다. 구조 및 디자인: U-Net의 구조는 그 이름에서 알 수 있듯이 'U' 형태를 가지고 있습니다. 이 구조는 두 부분으로 구성됩니다: 축소 경로(Contracting Path)와 확장 경로(Expanding Path). 축소 경로는 일반적인 컨볼루션 신경망(CNN)과 유사하며, 여러 컨볼루션 레이어와 풀링 레이어를 .. 🖥️ IT, 컴퓨터/📁 데이터 분석 2023. 12. 8.