[Cloud] Azure Synapse Analytics 사용방법(2)

※ Azure Synapse Analytics 

[클라우드 서비스 / Azure] Azure Synapse Analytics에 대하여

※ Microsoft docs

Azure Synapse Analytics - Azure Synapse Analytics

※ Azure Synapse Analytics 사용방법(1) 

[클라우드 서비스 / Azure] Azure Synapse Analytics 사용방법(1)

 

안녕하세요. 바른호랑이입니다.
이번 게시글에서는 Azure 주요 서비스 중 하나인 Azure Synapse의 사용방법 중 데이터 분석 및 파이프라인 생성방법에 대해 알아볼 예정입니다. Azure Synapse에 대한 내용과  Synapse 작업영역 및 기술도구 생성방법이 궁금하신 분들은 위의 게시물을 참조해주시기 바랍니다.
해당 설명은 Microsoft에서 제공하는 docs를 따라 작성 및 진행하였으니 보다 상세한 내용이 궁금하신 분들은 위의 참고자료를 참조하시면 좋을 것 같습니다. 추가적으로 Azure Synapse Analytics이름은 해당 게시글에서는 ASA로 줄여서 쓸 예정이니 참조해주시기 바랍니다.

 

1. 데이터 분석

: 이번 게시글에서의 데이터 분석은 Microsoft docs에서 제공해준 Parquet파일을 활용할 예정이며, 사전에 Synapse 작업영역 생성 및 기술도구들은 생성이 된 상태임을 가정하고 진행할 예정입니다. 활용할 수 있는 모든 기술도구들 중 일부분만 활용한 내용으로 작성하였음을 참고해주시면 될 것 같습니다. 분석을 위해서는 사전에 DataLake에 데이터를 업로드해야하며, 해당 사항은 이미 진행된 것을 가정하고 진행할 예정입니다.

- 서버리스 SQL 풀을 활용한 분석 

: ASA는 기본적으로 서버리스 SQL풀을 제공하며, 추가적은 SQL풀 생성 없이도 데이터 분석이 가능합니다. 비용 청구는 쿼리실행에 사용된 노드 수가 아닌 처리된 데이터의 양을 기준으로 한다는 점 참고하시면 좋을 것 같습니다. 세부적인 내용은 아래 사진들을 참고하시면 쉽게 따라하실 수 있습니다.

위의 분석과정을 보시면 DB를 따로 생성하지 않고 master DB를 활용해서 바로 분석을 하고 있습니다. 하지만 실제로 분석을 진행하다보면 master DB가 아닌 별도의 DB로 데이터의 종류와 형태, 상황에 따라 분석을 진행해야할 수도 있습니다. 그런 점을 고려하여 ASA는 별도의 데이터 탐색 DB 생성이 가능하며, 생성 및 활용방법은 아래와 같습니다.

- Data Explorer 풀을 사용한 분석

: Data Explorer 풀을 활용하여 데이터 분석을 하기 위해서는 Data Explorer DB 생성을 하는 것이 우선적으로 필요합니다. DB 생성 방법과 분석 방법 자체는 아래의 사진들을 참조하시면 쉽게 따라하실 수 있습니다.

- 전용 SQL 풀을 이용한 분석

: ASA에서는 서버리스 SQL 뿐만 아니라 전용 SQL풀을 생성하여 분석하는 것 또한 가능합니다. 해당 서비스를 활용하여 기존의 사용하던 SQL DW와 연결하여 사용할 수 있으며, 관계형 데이터 분석을 하는 것 또한 가능합니다. 사용 및 활용 방법은 아래의 사진들을 참조하시면 될 것 같습니다.

2. 파이프라인 생성 및 활용
: Synapse 작업영역에서 분석에 사용할 수 있게 데이터를 저장 및 변형해주었다면, 해당 내용들을 통합하여 일련의 과정으로 만들고 이를 정기적으로 업데이트하기위해서는 파이프라인 구축이 필요합니다. 파이프라인 생성과 트리거 지정을 통해 사용자는 데이터를 업로드만 하면 자동으로 원하는 형태로 가공된 데이터 얻을 수 있습니다. 여기서는 간단한 파이프라인 생성법과 트리거 작성법에 대해서만 진행했으며, 세부 내용은 아래 사진들과 같습니다.

3. Power BI에서 사용하기

: 파이프라인을 통해 데이터를 가공 및 저장하는 과정을 완료하였다면, 시각화 도구인 Power BI와 Data Lake를 연결하여 데이터를 시각화할 수 있습니다. Power BI와 직접 연결 또는 Azure Analysis Services와 연동 후 Power BI와 Analysis Services와 연결하여 분석을 진행할 수 있습니다. 여기서는 Power BI와 직접 연결하였으며, 세부내용은 아래 사진들을 참조하시면 되겠습니다.

위의 과정들을 잘 따라하신다면 ASA를 활용한 데이터 분석과 파이프라인 생성을 진행하실 수 있습니다. Azure Synapse Analytics를 활용한 분석 과정이 궁금하신 분들은 좀 더 공부를 해보시는 것도 좋을 것 같습니다.

P.S 더 나은 개발자가 되기위해 공부중입니다. 잘못된 부분을 댓글로 남겨주시면 학습하는데 큰 도움이 될 거 같습니다.