[Cloud] Azure Synapse Analytics 사용방법(1)

※ Azure Synapse Analytics 

[클라우드 서비스 / Azure] Azure Synapse Analytics에 대하여

※ Microsoft docs

Azure Synapse Analytics - Azure Synapse Analytics

안녕하세요. 바른호랑이입니다.
이번 게시글에서는 Azure 주요 서비스 중 하나인 Azure Synapse의 사용방법 중 작업영역 및 기술도구 생성방법에 대해 알아볼 예정입니다. Azure Synapse에 대한 내용이 궁금하신 분들은 위의 게시물을 참조해주시기 바랍니다. 해당 설명은 Microsoft에서 제공하는 docs를 따라 작성 및 진행하였으니 보다 상세한 내용이 궁금하신 분들은 위의 참고자료를 참조하시면 좋을 것 같습니다. 
저는 우연하게도 Azure Pass를 얻을 기회가 있어서 해당 형태의 구독으로 해당 내용을 진행하였고, 모든 과정은 구독이 신청된 상태로 가정하고 진행할 예정이고, Azure Synapse Analytics이름은 해당 게시글에서는 ASA로 줄여서 쓸 예정이니 참조해주시기 바랍니다.

1. Synapse 작업영역 만들기

: ASA를 사용하여 데이터 분석을 진행하기 위해서는 우선 Synapse 작업영역을 만드는 과정이 필요합니다. Azure에서는 컨테이너, 스토리지, 분석툴, SQL서버 및 DB와 같은 리소스들을 리소스 그룹으로 묶어서 관리하기에 ASA의 사용을 위해서는 리소스 그룹을 생성하는 것이 필요합니다. 하지만 따로 생성을 하지 않아도 Synapse작업영역을 만들면서 생성이 가능하므로 이번에는 바로 Synapse 작업영역을 생성하며 필요한 리소스 그룹 및 리소스들을 같이 생성해주었습니다. 생성하는 리소스 및 리소스 그룹과 관련된 사항들은 반드시 메모장과 같은 다른 파일에 저장하여 주시는게 좋습니다.

2. Synapse 작업영역 접속 및 데이터 업로드
: Synapse 작업영역의 생성 및 배포가 완료되었다면 추가적인 분석을 위해서는 ASA에 접속하는 것이 필요합니다. 저는 개인적인 DB나 시스템이 없기 때문에 Microsoft docs에서 제공해주는 Parquet파일을 활용하여 분석방법을 진행해봤으며, 조직내에서 Synapse를 사용할 때에는 파일형태로 업로드해서 사용을 할 수도 DB에 연결하여 데이터를 분석할 수도 있기에 해당 게시글의 분석 방법을 무조건적으로 적용하는 것은 불가능하다는 점 미리 알려드립니다. 접속 및 데이터 업로드 방법은 매우 쉬우며, 아래의 사진을 따라하시면 손쉽게 하실 수 있습니다.

3. 정형, 반정형, 비정형 데이터 분석 시 사용할 풀 생성 및 배포
: ASA의 가장 큰 특징은 모든 형태의 데이터를 저장할 수 있는 DataLake를 제공한다는 점입니다. DataLake의 데이터들을 분석하기 위해 다양한 기술도구들 또한 ASA자체에서 생성 및 배포하여 분석에 활용할 수 있는데, 지금부터 하나하나 해당 기술도구들을 생성 및 배포하는 법에 대해 설명드리겠습니다. 각각의 풀 생성 및 배포는 아래 과정을 따라하시면 손쉽게 하실 수 있습니다.

- Data Explorer 풀

- 서버리스 Spark 풀

- 전용 SQL풀 

위의 과정들을 잘 따라하신다면 Synapse 작업영역 생성부터 기술도구 생성을 진행하실 수 있습니다. ASA를 활용한 데이터 분석과 파이프라인 생성방법은 아래 게시글에서 추가로 설명해놓았으니 궁금하신 분들은 참고하시면 좋을 것 같습니다. 

P.S 더 나은 개발자가 되기위해 공부중입니다. 잘못된 부분을 댓글로 남겨주시면 학습하는데 큰 도움이 될 거 같습니다.

 

※ Azure Synapse Analytics 사용방법(2) 

[클라우드 서비스 / Azure] Azure Synapse Analytics 사용방법(2)