본문 바로가기
728x90
반응형

분류 전체보기230

[Python Data Analytics] Python을 활용한 데이터 전처리(1) 안녕하세요. 바른 호랑이입니다. 이번 게시글에서는 Python을 활용한 데이터 전처리 방법에 대해 알아볼 예정입니다. 데이터 분석이라고 하면 많은 사람들이 AI, 머신러닝, 딥러닝과 같은 부분들을 먼저 떠올리지만 데이터 분석의 대부분의 업무는 그와 같은 모델들보다는 로우 데이터들을 얼마나 잘 가공하는가에 집중되어 있다고 해도 과언이 아니라고할 수 있습니다. 이와 같은 데이터 전처리를 지원하기 위해 Python에서는 Pandas, sklearn과 같은 다양한 패키지들이 작성되어있어 참고하기 쉽고, 이를 통해 데이터 전처리과정을 보다 원활하게 진행할 수 있습니다. 데이터 전처리라고 지칭되기는 하나 그 범위가 상당히 넓기 때문에 이번에는 가장 기본적인 부분인 누락, 중복 데이터 처리, 데이터 표준화 등과 같은.. 2023. 6. 19.
[Python Data Analytics] Pandas를 활용한 데이터 개요확인 안녕하세요. 바른 호랑이입니다. 이번 게시글에서는 Python의 데이터 분석을 위해 사용되는 Open source Library인 Pandas를 활용한 데이터 개요확인방법에 대해 알아볼 예정입니다. 데이터 분석을 시작하게 되면 EDA(Exploratory Data Analysis : 탐색적 데이터 분석)를 먼저 수행하고 본격적인 데이터 분석을 진행하는 경우가 많습니다. EDA란 수집한 데이터의 구조 및 이상치등과 같은 부분들을 간단하게 검토하여 데이터를 기초 통계수치나 그래프로 분석하여 데이터를 직관적으로 이해하는 일련의 과정이라고 할 수 있으며, Pandas에서는 이를 위해 여러가지 함수와 메소드들을 제공하고 있습니다. 모든 코드는 Colab 환경을 기준으로 작성하였으며, 보다 자세한 내용은 아래의 실.. 2023. 6. 18.
[Python Data Analytics] Pandas를 활용한 데이터 입출력 안녕하세요. 바른호랑이입니다. 이번 게시글에서는 Python의 데이터 분석을 위해 사용되는 Open source Library인 Pandas를 활용한 데이터 입출력방법에 대해 알아볼 예정입니다. 이전까지 Pandas의 대표적인 자료구조의 방법과 기초적인 조작방법에 대해 알아보았다면 이번에는 실제적인 분석을 위해 데이터를 불러오고 저장하는지에 대해 알아볼 예정입니다. Colab환경을 기준으로 작성을 해서 로컬상에서 적용할 때와는 약간의 차이가 발생할 수 있으니 해당사항은 참고하시면 되겠습니다. 추가적으로 Pandas에 대해서 다양한 정보를 확인하고 싶으시다면 아래의 사이트로 들어가서 원하는 내용을 찾아보면 좋을 것 같습니다. ※ Pandas 참고 사이트 pandas - Python Data Analysis.. 2023. 6. 18.
[Python Data Analytics] Pandas를 활용한 데이터 조작(2) ※ Pandas를 활용한 데이터 조작 [Python Data Analytics] Pandas를 활용한 데이터 조작(1) 안녕하세요. 바른 호랑이입니다. 이번 게시글에서는 Python 데이터 분석의 기초라 할 수 있는 Pandas를 활용한 데이터 분석 방법에 대해 알아볼 계획입니다. 데이터 분석 업무는 데이터를 수집하고 data-is-power.tistory.com 안녕하세요. 바른 호랑이입니다. 이번 게시글에서는 저번 게시글에 이어서 Python의 데이터 분석을 위해 사용되는 Open source Library인 Pandas를 활용한 데이터 조작방법에 대해 알아볼 예정입니다. 이전 게시글에서 대표적인 자료구조와 해당 자료구조의 간단한 조작방법에 대해서 알아본 것에 이어서 이번에는 정렬과 연산에 대해서 알.. 2023. 6. 17.
[Python Data Analytics] Pandas를 활용한 데이터 조작(1) 안녕하세요. 바른 호랑이입니다. 이번 게시글에서는 Python 데이터 분석의 기초라 할 수 있는 Pandas를 활용한 데이터 분석 방법에 대해 알아볼 계획입니다. 데이터 분석 업무는 데이터를 수집하고 정리하는 일이 전부라고 할 수 있을 정도로 데이터 수집 및 가공은 기초적이면서 가장 중요한 일이라고 할 수 있습니다. Pandas는 Python언어를 기반으로 한 Open source Library로 데이터를 수집하고 정리하는데 최적화된 도구이기에 이를 학습하여 적재적소에 활용할 수 있다면 데이터 분석업무를 보다 효과적으로 수행할 수 있습니다. 데이터의 형태나 속성은 매우 다양하며, 이를 분석하기 위해서는 컴퓨터가 이해할 수 있는 형식을 가지는 구조로 통합할 필요가 있습니다. Pandas는 이를 위해 데이터.. 2023. 5. 20.
[Tips] SQL 스토어드 프로시저(Stored Procedure) 작성 요령 안녕하세요. 바른 호랑이입니다. 이번 게시글에서는 SQL을 사용하면서 업무 자동화 및 데이터 파이프라인 구축을 위해 자주 쓰이는 Stored Procedure작성 요령에 대해 소개해드리려합니다. 작성요령에 대해 설명하기에 앞서 간단하게 스토어드 프로시저(Stored Procedure)에 대해 간략하게 알아보도록 하겠습니다. 스토어드 프로시저란 일련의 쿼리를 하나의 함수처럼 실행하기 위한 쿼리 집합으로 자바나 C의 메소드()와 비슷한 역할을 수행합니다. Oracle, MSSQL, MySQL등 대다수의 주요 SQL언어들이 지원하며, DB의 보안을 향상시킬 수 있고 기능 추상화 및 반복업무 자동화와 같은 장점을 가집니다. 이번 게시글에서는 MSSQL을 기준으로 스토어드 프로시저 작성요령에 대해 소개해드릴 예정.. 2023. 4. 19.
[자격증] 데이터 분석 전문가(ADP)필기 합격 후기 ※ 데이터 분석 전문가에 대하여 데이터자격시험 데이터분석 전문가란 데이터 이해 및 처리 기술에 대한 기본지식을 바탕으로 데이터분석 기획, 데이터분석, 데이터 시각화 업무를 수행하고 이를 통해 프로세스 혁신 및 마케팅 전략 결정 등의 www.dataq.or.kr ※ 국가공인 데이터 분석 전문가에 대하여 국가공인 데이터분석 전문가 - 나무위키 과목명ADPADsP데이터 이해OO데이터 처리기술 이해OX데이터 분석 기획OO데이터 분석OO데이터 시각화OX ADP는 5과목 모두 포함이며, ADsP는 1·3·4과목만 출제된다. 또한 ADP는 필기와 실기로 나뉘어져 있 namu.wiki 이번 글에서는 최근에 응시했던 데이터 분석 전문가(ADP : Advanced Data Professional)필기 시험에 대한 후기를 .. 2023. 3. 25.
[DB] 데이터 정합성과 무결성 그리고 데이터베이스 정규화 안녕하세요. 바른호랑이입니다. 이번 게시글에서는 데이터 정합성과 무결성 그리고 데이터베이스 정규화에 대해서 알아볼 예정입니다. 정규화(Normalization)란 데이터 모델링의 핵심 중의 하나라고 할 수 있으며, 중복데이터와 이상현상을 제거함으로써 데이터 정합성(Consistency)과 데이터무결성(Integrity) 확보하기 위해 테이블을 분해하는 것입니다. 이와 관련된 보다 자세한 내용은 아래와 같습니다. 1. 데이터정합성과 무결성 ① 정의 ㆍ 데이터 정합성(Data Consistency) : 데이터들이 서로 일치하는 상태 - 데이터가 서로 모순없이 일치해야 함을 의미하며 중복데이터가 제거되지 않은 비정규형을 사용하여 이상현상(Anomaly)가 발생할 경우 정합성이 깨지게 됨. 예를 들어 사원정보 .. 2023. 3. 16.
[환경설정] Oracle DB 및 SQL Developer 설치 안녕하세요. 바른 호랑이입니다. 이번 게시글에서는 Orcale DB 및 SQL Developer 설치에 대해서 알아볼 예정입니다. Oracle DB는 대표적인 관계형 데이터베이스로 가장 쉽게 접할 수 있는 DB이며, DB-Engines에서 측정한 지표상으로도 최상위권에 위치하고 있는 DB입니다. DB-Engines Ranking Popularity ranking of database management systems. db-engines.com 상용 서비스 제공을 위한 DB 구축이 아닌 개인적인 SQL 학습을 위해서 사용할 환경구축을 목표로 하고 있기에 무료버전인 Oracle DB Express(XE)을 설치할 계획입니다. Oracle DB License에 대한 보다 자세한 내용은 아래의 사이트에서 참고.. 2023. 3. 11.
728x90
반응형

티스토리툴바