[Cloud] Azure Data Factory 사용방법(1)

※ Microsoft docs

Azure Data Factory 설명서 - Azure Data Factory

안녕하세요. 바른 호랑이입니다.
이번 게시글에서는 Azure의 주요 서비스 중 하나인 Azure Data Factory의 사용을 위해 사전에 설정해야하는 작업영역 및  기술도구 생성방법에 대해 알아볼 예정입니다. Azure Data Factory를 제대로 사용하기 위해서는 리소스 그룹, 스토리지 계정, SQL Server, SQL DB를 생성해야합니다. 그럼 지금부터 어떻게 해당 서비스들을 생성하는지에 대해 설명드리도록 하겠습니다. 저는 우연하게도 Azure Pass를 얻을 기회가 있어서 해당 형태의 구독으로 해당 내용을 진행하였고, 모든 과정은 구독이 신청된 상태로 가정하고 진행할 예정입니다.

 

1. 리소스 그룹 만들기
: Azure에서 제공하는 서비스들을 이용하고 관리하기 위해서는 최우선적으로 리소스 그룹을 만들어야 하며 추후에도 생성한 서비스들을 이 리소스 그룹 중 하나에 묶어서 관리를 하게 됩니다. 즉, 리소스 그룹을 만드는 것이 가장 먼저 이루어지는 과정이며, 생성시 작성하는 계정이름 및 각종 정보들은 반드시 메모장이나 다른 곳에 내용을 작성 후 보관해주시는 게 좋습니다.

 

2. 스토리지 계정 만들기
: Azure Data Factory에서 사용할 각종 파일들을 저장하고 활용하기 위해서는 스토리지 계정 생성이 필요합니다. 생성하는 방법은 매우 간단하며 아래의 생성 절차를 따라하시면 쉽게 생성하실 수 있습니다.

3. SQL Server 및 SQL DB 생성
: Azure Data Factory에서 ETL과정을 보다 적절히 수행하기 위해서는 Azure SQL Server와 SQL DB를 만드는 과정이 필요합니다. Azure Data Factory를 활용하여 ETL을 수행하지 않고도 SQL Server와 DB만으로도 BI와 연결하여 데이터 시각화를 진행할 수도 있으며, SSMS상에서 쿼리를 작성하고 테스트하는 것 또한 가능합니다. 다만 이 경우에는 SQL Server 생성시 작성하는 User ID와 PW가 반드시 필요하니 해당 정보들은 반드시 기록 및 보관해놓기를 권장드립니다. 또한 생성을 한다고 바로 SSMS와 연결할 수 있는 것이 아니라 방화벽 설정에 들어가 IP주소를 등록하는 절차도 필요하며, 아래의 사진들을 참조하시면 충분히 활용하실 수 있으실 거라 생각합니다. 추가적으로 SQL DB를 생성시에 SQL Server를 입력하는 것이 필요하니 SQL Server 생성 후 SQL DB를 생성하시는 순서로 진행하는게 좋습니다.

3-1. SQL Server 생성

3-2. SQL DB 생성

3-3. 방화벽 설정 후 SSMS접속, 예제 테이블 생성 후 Power BI에서 Data 로드

4. Azure Data Factory 생성
: SQL Server에 시각화할 형태로 데이터들이 모두 가공되어 있으면 따로 ADF서비스가 필요가 없을 수도 있지만 매번 사람의 손으로 데이터를 가공하고 실행시킨다면 그에 소모되는 노동력과 시간과 같은 비용이 클 겁니다. 이와 같은 ETL과정을 자동화할 수 있는 서비스를 제공하는 것이 ADF이며, ADF를 사용하기 위해서는 당연하게도 ADF를 생성하는 과정이 필요합니다. 생성절차와 과정은 어렵지 않으며 아래의 사진을 따라 하시면 충분히 활용하실 수 있으실 겁니다.

위의 과정들을 잘 따라하신다면 Azure Data Factory의 작업영역 및 기술도구 생성을 진행하실 수 있습니다.
데이터 분석 및 시각화에 관심이 있으신 분들은 ADF의 사용을 고려해보셔도 좋을 것 같습니다.

P.S 더 나은 개발자가 되기위해 공부중입니다. 잘못된 부분을 댓글로 남겨주시면 학습하는데 큰 도움이 될 거 같습니다.

 

※ RPA로 크롤링 후 데이터 적재 

[클라우드 서비스 / Azure] RPA로 크롤링 후 데이터 적재

※ Azure Data Factory 사용방법(2)

[클라우드 서비스 / Azure] Azure Data Factory 사용방법(2)