비정형 데이터
문서,이미지,오디오파일과 같이 테이블이 아닌 형식으로 저장된 정보
비정형 데이터는 일반적으로 클라우드 스토리지에 적합
정형 데이터
테이블,행, 열에 저장되는 정보
AI
AI,즉 인공지능은 사람의 지능을 모방하는 컴퓨터와 관련 있는 모든 것을 포괄하는 용어
머신러닝
머신러닝은 인공지능의 하위 집합으로 명시적인 프로그래밍 없이도 컴퓨터를 학습할 수 있도록 함
머신러닝에는 주로 지도학습과 비지도학습이 있다, 이외에도 딥러닝 또는 심층신경망이라는 것도 있다. 머신러닝의 하위 집합인 딥러닝 또는 심층신경망은 입력데이터와 출력 결과 사이에 레이어를 추가하여 머신러닝에 깊이를 더하는 방법이다. 마지막으로 콘텐츠를 생성하고 요청에 따라 작업을 수행하는 생성형 AI가 있다. 생성형AI는 대규모 언어 모델과 같은 방대한 모델을 주로 학습한다. 이러한 모델은 딥러닝 모델의 한 유형이다.
지도학습
라벨이 지정된 데이터를 다루고 작업 중심,목표를 식별함(데이터의 정답을 아는경우)
1)범주형 변수를 예측하는 분류 (사진이 고양이인지 개인지 판단하는 예),로지스틱 회귀 모델과 같은 모델 사용
2)숫자형 변수를 예측하는 회귀(과거 판매를 바탕으로 제품 매출을 예측하는 예),선형 회귀 모델과 같은 모델 사용
비지도학습
라벨이 지정되지 않은 사진을 머신에 전달 머신은 답이 정해지지 않은 데이터를 학습하고 기본패턴을 찾아 그룹화함(정답을 모르니까 머신러닝알고리즘이 비슷한것끼리 모으게하는것)
데이터 중심이며 패턴을 식별함
1)클러스터링
비슷한 특성을 갖는 데이터 포인트를 그룹화하여 클러스터에 할당(고객 인구통계를 사용해 고객 세분화를 결정하는 예),k-평균 클러스터링과 같은 모델 사용
2)연결(Association)
기본관계식별 ,식료품매장의 경우 두 제품의 상관관계를 파악하여 시너지 효과를 위해 서로 가깝게 배치함
연결규칙학습기술,Apriori와 같은 알고리즘 사용
3)차원축소(Dimensionality reduction)
데이터 세트의 차원 또는 특성의 개수를 줄여 모델의 효율성을 향상하는 것
연령,교통 규정 위반 이력,자동차 유형과 같은 고객 특성을 결합하여 보험 견적을 생성하는 것
주요 구성요서 분석과 같은 ML기술 사용
강화학습
스스로 가장 좋은 행동이 어떤건지 의사결정을 하게 행동을 결정하게 하는것
시행착오(trial&error)
state->action
댓글