coding/big data 3

데이터 마이닝 기법

데이터마이닝: 대용량 데이터간의 관계와 패턴, 추세를 발견하고, 분류하여 의미있는 가치를 찾아내어 이를 활용하는 기술 빅데이터: 데이터의 양(Volume), 다양성(Variaty), 속도(Velocity)를 가진 데이터를 다루고 활용할수 있는 기술 2. 데이터 마이닝의 기법 데이터에서 가치를 뽑아내는 마이닝의 전통적 분류는 아래 5가지이다.(AS3C) Data Mnining 적용기법 설명 Association (연관성 탐색) 여러 트랜잭션간의 연관성의 발견 Sequence (연속성 규칙) 트랜잭션의 순서에 따른 이력을 시계열적 분석하여 이후의 발생가능성 예측 Classification (분류 규칙) 수집된 데이터의 패턴 및 속성으로 결합하여 트리형태의 모델로 변형, 의사결정 및 예측 Clustering ..

coding/big data 2021.12.17

자연어, 자연어 처리(NLP)

우리가 일상적으로 사용하는 언어(자연어)는 컴퓨터가 바로 이해할 수 없습니다. 그렇기에 이를 컴퓨터가 이해할 수 있는 방식으로 다시 처리하는 과정이 필요합니다. 이를 ‘자연어 처리’ 기술이라고 하죠. 자연어 처리(Natural Language Processing)는 사람이 이해하는 자연어를 컴퓨터가 이해할 수 있는 값으로 변환하는 과정입니다. 나아가 컴퓨터가 이해하는 값을 사람이 이해할 수 있도록 다시 바꾸는 과정까지도 포함합니다. - 자연어 이해(NLU, Natural Language Understanding) - 자연어 생성(NLG, Natural Language Generation) 자연어 처리는 왜 이렇게 어려울까? 하지만 인간의 언어를 컴퓨터에게 전달하고, 컴퓨터의 언어를 인간이 이해할 수 있게..

coding/big data 2021.12.17

데이터(Data)와 정보(Information)의 차이

데이터(Data, 자료)는 현실 세계에서 측정하고 수집한 사실이나 값이고, 정보(Information)는 어떠한 목적이나 의도에 맞게 데이터를 가공 처리한 것입니다. 어떤 의미나 목적을 포함하지 않고 단순 수집된 원시 자료가 데이터, 어떤 목적이나 의도에 따라 데이터를 처리하고 분석하여 데이터에 의미를 부여한 것이 정보입니다. 우리는 보통 의미를 부여한 데이터, 즉 정보를 사용하여 의사 결정을 내리고 문제를 해결합니다. 출처: https://better-together.tistory.com/133 [변계사 Sam의 테크 스타트업!] https://blog.naver.com/PostView.naver?blogId=n_privacy&logNo=221807198263&redirect=Dlog&widgetTyp..

coding/big data 2021.12.17