키자드에 등록된 총 205개의 포스트를 확인하실 수 있습니다.
안녕하세요. 이번 시간에는 공지사항과 같은 게시판 정보를 가져오는 크롤링 스크립트를 파이썬으로 만들어보도록 하겠습니다. 이번에 작성한 스크립트는 크게 두 가지의 용도로 분류해서 최초 실행시에 사용할 수..
프로그래밍에 대해 잘 모르는 사람들도 왠만하면 Python이라는 말을 들어봤을 정도로 파이썬(Python)의 인기는 정말 대단한 것 같습니다. 파이썬은 최근에 새롭게 발표 된 언어도 아니고 1991년에 처음 출시되어서..
안녕하세요. 이번 시간에는 Impala에 대해서 살펴보도록 하겠습니다. 임팔라(Impala)는 하둡 시스템에 동작하는 SQL이며 SQL을 다뤄본 사람들이라면 큰 어려움 없이 바로 임팔라를 활용한 쿼리를 작성할 수 있습니..
안녕하세요. 이번 포스팅에서는 임팔라를 활용해서 데이터를 처리할 때 메모리를 최적화해서 작업하는 방법에 대해서 살펴보도록 하겠습니다. 데이터베이스를 운영할 때와 마찬가지로 임팔라를 사용할 때에도 메모..
안녕하세요. 이번 시간에는 Impala의 실행계획에 대해서 살펴보도록 하겠습니다. 임팔라의 실행계획은 확인하고 싶은 쿼리의 앞에 EXPLAIN 명령을 붙여서 쿼리를 직접 실행하지 않고 실행계획을 확인하는 것이 가..
안녕하세요 최근 인공지능 로봇과 관련된 다양한 연구가 나오고 있고, 인천공항의 길 안내 로봇이나 식당에서 음식을 서빙하는 로봇 등 우리의 일상 생활 속에도 로봇을 어렵지 않게 찾아볼 수가 있어서 관심이..
안녕하세요. 최근에 출시되는 자동차에는 어느 정도 수준의 자율주행 기술이 탑재되어 있습니다. 그리고 이제 더 이상 휘발유나 가스를 연료로 달리는 자동차가 아닌 전기 배터리를 이용해 달리는 자동차가 보편화..
컴퓨터 프로그래밍을 하는 사람들이라면 자바(Java)는 모두 들어봤을 정도로 자바는 우리나라 뿐만 아니라 전세계에서 가장 많이 사용되고 있는 프로그래밍 언어 중 하나입니다. 과거에 진행된 한 연구기관의 자료..
아파치 임팔라(Apache Impala) 개요 아파치 임팔라(Apache Impala)를 한 문장으로 소개한다면 "하둡 기반의 데이터를 SQL을 사용해서 실시간 질의를 가능하게 해주는 시스템"이라고 말할 수 있습니다. 아파치..
안녕하세요. 이번 시간에는 파이썬을 사용해서 네이버 항공권 정보를 크롤링 하는 작업을 진행해보도록 하겠습니다. 네이버 항공권으로 항공권 검색을 해보면 아래 화면과 같이 로딩 화면이 등장하고 잠시 기다리..
안녕하세요. 최근에 개인적으로 파이썬으로 대용량 데이터를 적재하는 작업의 성능 개선을 위해서 여러가지 방법으로 테스트를 진행한 적이 있는데, 많은 분들과 공유하기 위해서 블로그에 담아보고자 합니다. *..
안녕하세요. 이번 시간에는 C#을 활용해서 대용량의 데이터를 적재하는 방법을 진행해보려고 합니다. 진행한 시나리오는 대용량 csv 파일을 DB에 적재하는 것입니다. streamreader를 활용해서 데이터를 읽고 성능..
안녕하세요. 이번 시간에는 자연어 처리(NLP: Natural Language Processing)에 대해서 살펴보는 시간을 가지려고 합니다. NLP는 다양한 영역이 융합되어 있는 기술로 바라볼 수 있습니다. 간단하게 요약하자면 N..
안녕하세요. 이번 시간에는 Data Warehouse와 Data Mart에 대한 개념을 살펴보도록 하겠습니다. 두 가지 개념은 일반적으로 데이터 분석 플랫폼에서 사용되는 것으로, 기업에서 사용하고 있는 데이터를 분석에..
안녕하세요. 지난 시간에 이어서 Scala를 사용하는 기본적인 코드를 연습해보도록 하겠습니다. 이번에는 반복문과 조건문을 작성해보도록 하겠습니다. 반복문 while문과 for문을 사용해서 반복문을 수행할 수 있었..
안녕하세요. 이번 시간에는 분산 처리 방법 중 하나로 사용되는 라운드 로빈(Round Robin)에 대해서 알아보도록 하겠습니다. 라운드 로빈 방식을 간단하게 표현하자면, "하나씩 순서대로 차곡차곡"입니다. 그림으..
안녕하세요. SQL Server를 운영할 때에 새로운 로그인을 만들고 데이터베이스를 사용할 수 있는 권한을 각 역할(Role) 별로 설정할 수 있습니다. 로그인 설정 화면을 열어보면 다음과 같이 선택 화면을 만나게 됩..
안녕하세요. 이번 시간에는 SQL Server 사용시 Tool로 사용되는 SSMS에서 아주 편리하게 활용할 수 있는 유용한 단축키 꿀팁을 소개하고자 합니다. 실무에서 SQL Server를 사용하고 계시는 분들은 아마 많은 분들..
안녕하세요. 오늘은 Power BI의 이미지 URL과 링크를 준비해서 이미지를 클릭하면 해당하는 링크가 열리도록 하는 기능을 구현해보도록 하겠습니다. 우선 Power BI 상에서 Image를 활용할 수 있는 방법이 아직..
안녕하세요. 느린 변경 차원(SCD) 적용하는 쿼리를 실습해보는 것을 이어서 Type3 적용법을 알아보도록 하겠습니다. Type1, Type2에 대한 적용 방법은 아래의 링크를 참고해주세요. SCD Type1 적용하기 느린..
안녕하세요. 이번 시간에는 느린 변경 차원 적용의 마지막으로 Type4를 적용하는 쿼리를 알아보도록 하겠습니다. 이전에 업로드했던 글로 Type1~3까지의 내용을 참고해주세요. SCD Type1 적용하기 느린 변경..
안녕하세요. 오늘은 Azure Synapse Analytics에 대해서 알아보도록 하겠습니다. Microsoft의 클라우드 환경인 Azure에서 제공하는 데이터 분석 서비스입니다. AWS에서는 이와 유사하게 RedShift가 사용되고 있으며..
안녕하세요. 이번 시간에는 파이썬의 정규식을 사용해서 원하는 데이터를 추출해내는 코드를 작성해보도록 하겠습니다. 주소록이나 회원 정보를 텍스트 형태로 불러온 이후에 전화번호만을 추출하고 싶은 경우를..
안녕하세요. 이번 시간에는 최근 데이터 엔지니어 직무와 관련해서 인기를 얻고 있는 Scala 코드를 몇 가지 실습해보도록 하겠습니다. Python과 같은 다른 언어를 이미 사용하실 수 있는 분들이라면 Scala 역시 금..
안녕하세요. 지난 시간에 이어서 이번 시간에도 Scala를 사용하기 위한 기본적인 코드를 실습해보도록 하겠습니다. 이번에는 메소드 사용부터 알아보도록 하겠습니다. 메소드를 정의할 때에는 중괄호를 사용합니..
안녕하세요. SQL Server에서 실행된 쿼리 중 리소스를 많이 사용하는 상위 10개의 쿼리를 찾기 위해서는 다음과 같이 쿼리를 작성해서 조회할 수 있습니다. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 2..
안녕하세요. 이번 시간에는 Azure의 저장소로 사용되는 서비스인 Azure Blob Storage에 대해서 알아보도록 하겠습니다. Azure에서 Storage로 제공되는 서비스는 Azure Blob Storage 이외에도 Azure Files, Azure..
안녕하세요. 이번 시간에는 네트워크 스토리지를 구성하는 기술 중 일반적으로 사용하는 NAS와 SAN에 대해서 살펴보도록 하겠습니다. 네트워크 스토리지는 여러 대의 컴퓨터가 네트워크 상에서 공통으로 사용할..
안녕하세요. 오늘은 Azure에서 데이터 통합과 전처리를 위해 사용할 수 있는 서비스인 Azure Data Factory의 사용 비용을 정리해보도록 하겠습니다. * 클라우드 환경에서 제공되는 서비스들은 Managed 형태로 사..
안녕하세요. 이번 시간에는 Azure Storage에서 설정할 수 있는 Redundancy(중복성, 복제) 옵션에 대해서 알아보도록 하겠습니다. Azure Blob Storage와 같은 Azure에서 제공하는 스토리지 서비스를 사용하다보면..
안녕하세요. 이번 시간에는 Azure에서 사용하는 데이터베이스 리소스를 선택하는 데에 도움이 될 수 있도록 여러 종류의 데이터베이스와 그 구성에 대해서 비교해가면서 살펴보도록 하겠습니다. Azure에서 선택할..
안녕하세요. 이번 시간에는 Azure의 SQL 데이터베이스를 배포하려고 할 때에 SQL Server 라이센스를 소유한 기업이나 개인이 가격 면에서 할인을 받을 수 있는 방법인 Azure Hybrid Benefit에 대해서 알아보도록..
안녕하세요. 오늘은 Azure SQL Database의 고가용성(High Availability)에 대해서 알아보려고 합니다. 고가용성(High Availability)은 줄여서 HA로 표현하는 경우도 종종 있습니다. Azure SQL Database의 고가용..
안녕하세요. 지난 시간에 이어서 Azure SQL Database에서 고가용성을 구현하는 방식에 대해서 알아보도록 하겠습니다. 지난 시간에는 표준 가용성 모델과 프리미엄 가용성 모델을 살펴보았고 오늘은 Zone Redundan..
안녕하세요. SQL Server에서 각 테이블의 행의 수를 한 번에 조회하려고 할 때에는 아래의 쿼리를 활용할 수 있습니다. 데이터베이스의 각 Schema 내의 테이블 별로 조회할 수 있도록 WHERE 절에 조건을 지정하..
안녕하세요. 이번에는 Power BI에서 데이터 원본을 연결할 때 사용하는 방법에 대해서 살펴보고 각각의 방법을 비교해보도록 하겠습니다. Power BI에서 사용할 수 있는 데이터 원본 연결 방식은 총 3가지 입니..
안녕하세요. 이번 시간에는 Power BI 2020년 8월 업데이트에 대해서 살펴보도록 하겠습니다. 1. Power BI에서 Perspective 사용하기 Perspective는 주로 모델을 구성할 때에 같은 모델 내에서 데이터를 바라보는..
안녕하세요. 이번 시간에는 슬라이드 상에서 선택된 값에 따라 측정값의 계산식을 달리 적용하여 시각 개체에서 표현하는 방법을 진행해보겠습니다. 예제에서는 슬라이드 값에 따라서 동적으로 값이 변경되는 것을..
안녕하세요. 이번 시간에는 Visual Studio에서 사용하고 있는 Extension이 사라졌을 때에 대응할 수 있는 방법을 알아보도록 하겠습니다. Visual Studio를 사용하던 중에 지금까지 사용해 왔던 Extension이 갑자..
안녕하세요. 이번 시간에는 C#으로 Ping 테스트를 할 수 있는 코드를 살펴보도록 하겠습니다. 프로젝트를 진행하다 보면 서버 간의 네트워크가 제대로 구성되었는지 확인하기 위해서 Ping을 날려보는 일을 정말 ..
안녕하세요. 이번 시간에는 DNS 서버에 대해서 살펴보도록 하겠습니다. DNS 서버는 Domain Name System의 줄임말입니다. 사용자가 일반적으로 어떤 인터넷 사이트에 들어가려고 할 때에 주소 창에 https://data..
안녕하세요. 이번 시간에는 IP 주소를 분류하는 방법인 IP 주소 클래스에 대해서 살펴보도록 하겠습니다. IP 주소 클래스에 대해서 알려면 먼저 IP에 대한 대략적인 배경 지식이 필요합니다. IP 우선, IP란..
안녕하세요. 이번 시간에는 Power BI에서 사용되는 Calculated column(계산열)과 Measure(측정값)을 비교해보도록 하겠습니다. 두 기능은 서로 차이가 존재하지만, 일반적으로 계산열이나 측정값은 이미 불러..
안녕하세요. 이번 시간에는 SQL Server에서 사용되는 인덱스에 관해 제가 생각하기에 가장 유익할 만한 내용 6가지를 정리해보았습니다. 인덱스는 잘 쓰면 정말 좋고 잘 모르고 쓰면 오히려 독이 되는 것이라서 깊..
안녕하세요. 이번 시간에는 상용화 BI 툴로 많이 사용되고 있는 Tableau와 Power BI를 비교해보도록 하겠습니다. * 제가 직접 사용하고 연구하면서 얻은 경험과 지식을 토대로 비교를 하므로 주관적인 소견이 포함..
안녕하세요. 이번 시간에는 대칭키를 사용해서 테이블의 데이터를 암호화하는 방법을 알아보도록 하겠습니다. 데이터를 암호화 할 때에 일종의 키를 사용하는데 암호화 할 때와 복호화 할 때에 동일하게 사용하는..
안녕하세요. 이번 포스팅에서는 사용중인 서비스에서 할당 받아 사용하고 있는 포트를 확인할 수 있는 방법을 살펴보도록 하겠습니다. 리소스 모니터(resmon.exe) 사용방법 cmd 사용방법 리소스 모니터 사용..
안녕하세요. 이번 시간에는 Azure 클라우드 환경에서 Database로 선택할 수 있는 옵션인 Azure SQL Managed Instance와 Azure SQL Database에 대해서 알아보도록 하겠습니다. * Azure SQL Database에 비해서 Azur..
안녕하세요. 이번 시간에는 Power BI 보고서를 공유하는 내용에 대해서 살펴보도록 하겠습니다. 보고서를 공유하는 방법에 대해서 알아보기 이전에 반드시 알아야 할 것은 Power BI 보고서는 Power BI Desktop..
안녕하세요. 이번 시간에는 Azure SQL Database를 사용하고 있는 경우에 성능 모니터링을 할 수 있는 방법을 알아보도록 하겠습니다. 기존의 SQL Server 환경에서는 Activity Monitor와 같은 기본 제공되는 서비스..
안녕하세요. 이번 시간에는 Azure SQL Database에서 다른 서버의 데이터베이스에 연결하는 방법인 외부 리소스 연결에 대해서 알아보도록 하겠습니다. 작업을 진행하다 보면 다른 서버에 있는 테이블의 데이터를..
안녕하세요. 이번 시간에는 Azure SQL Database를 백업하고 복원하는 방법에 대해서 알아보도록 하겠습니다. Azure SQL Database에서는 기존 SQL Server에서 작업할 수 있었던 방식으로 백업하고 복원하는 메뉴가..
안녕하세요. 이번 시간에는 데이터 웨어하우스의 아키텍처를 간략하게 비교해보도록 하겠습니다. 일반적으로 얘기할 수 있는 데이터 웨어하우스를 구축하는 경우에 취할 수 있는 아키텍처는 크게 네 가지입니다...
안녕하세요. 이번 시간에는 Power BI가 동작할 수 있는 인터넷 브라우저 환경들에 어떤 것이 있는지 확인해보도록 하겠습니다. 아래의 브라우저 환경에서는 Power BI를 모두 사용하는 것이 가능하지만 각 환경에..
안녕하세요. 이번 시간에는 완성한 Power BI 보고서를 웹 사이트에 게시하는 내용을 살펴보도록 하겠습니다. 보고서를 공유할 때와 마찬가지로 웹 사이트에 보고서를 올리는 경우에도 임베이드 하는 사용자와..
안녕하세요. 이번 시간에는 Azure Data Factory를 사용해서 ETL 작업을 진행할 때에 사용하는 Integration Runtime에 대해서 알아보도록 하겠습니다. 왜 Integration Runtime이 필요할까? Azure Data Factory에..
안녕하세요. 이번 시간에는 1. 네이버 쇼핑몰 정보를 파이썬 스크립트를 통해서 크롤링으로 가져오고 2. Event Hub에 전달한 이후에 3. Azure Stream Analytics를 통해서 분석 목적에 부합하도록 처리하고 처리 된..
안녕하세요. 이번 시간에는 Python 스크립트를 사용해서 크롤링한 네이버 쇼핑몰 정보를 csv로 내려 받아서 Azure Blob Storage에 저장하는 방법을 살펴보도록 하겠습니다. 파이썬 스크립트를 작성하기 이전에 Azu..
빅데이터라는 개념이 대두되면서 보유한 데이터의 중요성이 더욱 증가하고 있고 기업들은 데이터의 보호에 각별한 주의를 기울이고 있습니다. 정보를 보호하는 방법에는 여러가지 방법이 있는데, 오늘은 그 중에서..
안녕하세요. 이번에는 크로스 사이트 스크립트라고 부르는 공격 방법에 대해서 알아보도록 하겠습니다. XSS라고 불리는 이 Cross-Site Scripting 공격은 해커들이 웹 서버에 악성 코드를 몰래 삽입해서 감염된..
안녕하세요. 오늘은 엑셀과 데이터베이스를 연결해서 엑셀에 데이터베이스 안에 있는 데이터를 불러오는 방법을 알아보도록 하겠습니다. 이 방법은 엑셀에서 기본적으로 제공하는 데이터베이스 연결 관리자를 사용..
안녕하세요. 이번 시간에는 파이썬으로 데이터를 생성하고 전달하여 Power BI의 Streaming dataset을 통해 대시보드를 만드는 방법을 알아보도록 하겠습니다. Power BI Service에 접속해서 "Streaming dataset"을..
안녕하세요. 이번 시간에는 파이썬 스크립트를 사용해서 csv 파일의 데이터를 읽어오는 작업을 진행해보도록 하겠습니다. 먼저 간단하게 csv 파일을 준비합니다. 저는 네이버 쇼핑몰 카테고리 정보를 csv 파일로..
안녕하세요. 오늘은 네이버 쇼핑몰 정보를 실시간 분석을 위하여 파이썬을 사용해서 크롤링하여 Azure의 Event Hub로 전달하는 시나리오를 진행해보도록 하겠습니다. Event Hub는 Azure에서 제공하는 실시간으로..
안녕하세요. 이번 시간에는 Azure에서 배포할 수 있는 Azure SQL Database을 DB 백업 파일로 복원하는 방법을 알아보도록 하겠습니다. 데이터베이스를 백업하고 복원하는 작업은 DB를 관리하는 사람이라면 매우 익..
안녕하세요. 지난 7월 15일에 드디어 MS Power BI의 공식 블로그를 통해서 2020년 7월 Power BI 업데이트 내용이 발표되었습니다. 현재 업데이트 내용이 반영된 Power BI 데스크탑 버전을 새롭게 다운로드 받아서..
안녕하세요. 오늘은 사용하고 있는 Azure의 구독에 남아있는 잔액을 확인하는 방법을 알아보려고 합니다. 구독의 잔액은 Azure 포탈에서 확인하지 않고 별도의 다른 사이트를 통해서 확인할 수 있어서 이 경로를..
안녕하세요. 데이터 웨어하우스 모델링에 대한 기본 개념을 잡아 나가는 시리즈로 당분간 블로그 포스팅을 진행해보려고 합니다. 다차원 모델링의 기본 철학을 하나 소개하면서 시작해보겠습니다. "모든 것을 더..
안녕하세요. 오늘은 TDE라고 부르는 Transparent Data Encryption에 대해서 살펴보려고 합니다. 사실 이 부분은 알고 있던 개념은 아니지만 Azure 환경의 데이터베이스 관리법을 알아보다가 발견한 특징입니다. 그..
안녕하세요. 이번 시간에는 Power BI에서 쉐어포인트 온라인(SharePoint Online)에 올려 놓은 엑셀 파일을 연결해서 데이터를 불러오는 것을 진행해보도록 하겠습니다. 자신의 데스크탑에 있는 엑셀 파일을 불러오..
안녕하십니까. 이번 시간에는 클라우드 환경이 아닌 사용자의 개인 로컬 컴퓨터나 회사에서 보유하고 있는 서버와 같은 온프레미스 상에 위치한 데이터 소스와 연결해서 데이터를 불러와서 보고서를 개발하고 이..
안녕하세요. 파이썬을 사용할 때에 직접 함수를 생성해서 사용하고 싶은 경우 어떻게 만들어 볼 수 있을까요? 아래와 같이 def 키워드와 : 기호를 사용해서 함수를 생성할 수 있는데, 주의해야 할 것은 함수 이름..
안녕하세요. 오늘은 MS의 클라우드 환경에서 사용할 수 있는 Azure SQL Database에서 외부 데이터 원본을 사용하는 방법을 진행해보겠습니다. Azure SQL Server에는 기존의 SQL Server와는 다른 메뉴가 존재하고..
안녕하세요. 이번 시간에는 32비트와 64비트의 응용프로그램에 대해서 간단하게 알아보도록 하겠습니다. 컴퓨터를 사용하시면서 내 컴퓨터에 들어가신다거나 어떤 프로그램이든 설치해본 경험이 있다면 아마도 32..
안녕하세요. 이번 시간에는 데이터를 열 기반으로 저장하는 Column Store 방식과 행 기반으로 저장하는 Row Store 방식을 비교해보도록 하겠습니다. 최근 빅데이터에 대한 필요가 높아지면서 많은 양의 데이..
안녕하세요. 프로그래밍 관련된 책을 읽거나 기술 문서를 찾아 보면 간혹 Syntactic Sugar라는 단어를 발견할 수 있습니다. 원서로 되어 있는 글을 찾아서 읽더라도 관련 내용과는 전혀 뜬금없는 Syntactic Sugar..
안녕하세요. 이번 시간에는 CPU를 크게 소모하는 쿼리를 찾는 방법을 알아보도록 하겠습니다. 때로 예상했던 것과 달리 하나의 쿼리가 비정상적으로 오랜 시간동안 실행되거나 어떤 쿼리가 모든 가용 리소스를..
안녕하세요. 파이썬에서 사용할 수 있는 타입 중에서 오늘은 List, Tuple, Range, Dict에 대해서 알아보려고 합니다. List, Dict(Dictionary) 같은 타입은 제가 파이썬 이외의 다른 프로그래밍 언어를 사용할 때에..
안녕하세요. 이번 시간에는 엑셀에 날짜 값을 텍스트 셀 서식에 입력한 경우 치환되는 값을 다시 날짜로 변경하는 SQL 쿼리를 살펴보도록 하겠습니다. 엑셀의 날짜 텍스트 오류 고치기 아래의 화면과 같이 날짜..
안녕하세요. 최근에 데이터 처리에 대한 분야가 중요하게 떠오르고, 대용량 데이터를 저장하고 처리하는 것에 많은 관심이 집중되고 있으면서 함께 떠오르는 것이 파케이(Parquet) 형식입니다. 파케이(Parquet)..
안녕하세요. 데이터베이스를 장기간 운영하다 보면 종종 데이터베이스 로그 파일의 용량이 가득 차서 쿼리가 실행이 안되거나 데이터베이스와 연동 된 프로그램의 기능이 실행되지 않는 현상이 발생할 수 있는데..
안녕하세요. 지난 시간에 빌드(Build)에 대해서 알아본 것에 이어 이번 시간에는 인터프리터(Interpreter) 언어에 대해서 살펴보도록 하겠습니다. 빌드에 대하여 알아보면서 어셈블리어는 컴파일을 통해서 exe..
안녕하세요. 이번 시간에는 Power BI 라이센스 중에서 그 사용 규모의 특성상 비교적 덜 알려진 Premium 라이센스에 대해서 다른 라이센스와 함께 비교하면서 살펴보도록 하겠습니다. Power BI를 사용하기 위해..
안녕하세요. 이번 시간에는 데이터베이스에 다수의 특정 테이블 혹은 같은 스키마에 들어있는 모든 테이블들에 일괄적으로 특정 열을 추가하는 방법을 알아보도록 하겠습니다. 예를 들어 테이블을 다수 생성했는데..
안녕하세요. 이번 시간에는 최근 비즈니스 시장에서 뜨겁게 떠올랐던 그로스 해킹(Growth Hacking)에 대해서 살펴보도록 하겠습니다. IT나 마케팅 관련된 공부를 하거나 취업 사이트를 검색해보면 그로스 해킹에..
안녕하세요. 지난 시간에는 Azure Data Factory에서 하나의 테이블에 대해서 증분 적재하는 방법을 직접 실습해보았는데, 실제로는 여러 개의 테이블을 증분 처리하는 경우가 대부분이기 때문에 여러 개의 테이블..
안녕하세요. 이번 시간에는 Power BI의 기능 중 Dataflow에 대해서 살펴보도록 하겠습니다. 내용의 자세한 정보는 MS에서 제공한 "Dataflows in Power BI White Paper"를 참고했습니다(2018년 11월 작성 기준)...
안녕하세요. 지난 시간에는 살펴 본 OLTP에 이어서 OLAP(분석계)에 대해서 알아보는 시간을 가져보겠습니다. OLAP 정의 OLAP(Online Analytical Processing)방식은 방대한 양의 비즈니스 데이터를 분석에 용이..
안녕하세요. 이번 시간에는 데이터 분석을 위한 모델링에서 중요하게 사용되는 용어인 Semantic Data Model에 대해서 알아보도록 하겠습니다. 데이터 웨어하우스를 구축하고 모델링 업무를 진행한 경험이 있다면 S..
안녕하세요. 이번 포스팅에서는 빌드(Build)에 대해서 알아보려고 합니다. 프로그램을 만들고 프로그래밍 언어로 코딩을 해 본 경험이 있는 사람이라면 빌드라는 말을 들어봤을 가능성이 높고 설령 인지하지 못했..
안녕하세요. 이번 시간에는 흔히 OLTP 혹은 "기간계"라고 부르는 내용에 대해서 살펴보도록 하겠습니다. 일반적으로 OLTP는 회사에서 기본적으로 사용하고 있는 ERP와 같은 시스템의 처리 방식이며, OLAP와 대조..
안녕하세요. 컴퓨터를 사용하는 분들이라면 바이러스(Virus)나 트로이 목마(Trojan) 혹은 멀웨어(Malware) 등의 명칭을 들어본 경험이 있을 것입니다. 일반적으로 사람들은 이 모든 것을 같은 것으로 알고 있는 경..
안녕하세요. 이번 시간에는 Azure Data Factory를 활용해서 데이터를 증분 적재하는 것을 진행해보도록 하겠습니다. 데이터를 증분 처리하지 않게 되면 데이터를 쌓는 배치 작업이 발생할 때마다 모든 데이터를..
안녕하세요. 이번 시간에는 Azure SQL Datawarehouse의 새로운 출시 버전인 Azure Synapse Analytics의 전반적인 아키텍처에 대하여 살펴보도록 하겠습니다.(2019년 11월 작성 기준) * Azure Synapse Analytics..
안녕하세요. Azure에서 사용할 수 있는 저장소 중 많이 사용하는 것은 Data Lake와 Blob Storage 입니다. 이번 시간에는 두 저장소가 어떤 특징을 가지고 있고 어떤 차이점이 있는지 알아보도록 하겠습니다. 두 저..
안녕하세요. 이번 시간에는 SQL Server가 구성되어 있는 서버 시간이 현재 로컬 시간과 다른 경우 로컬 시간으로 변경한 값을 가져오는 것을 확인해보도록 하겠습니다. 일반적으로 같은 지역 내의 서버에 위치해..
안녕하세요. 이번 시간에는 찾고 싶은 값이 들어있는 Column과 그 Table을 찾는 쿼리를 만들어보려고 합니다. 데이터 업무를 진행하다보면 테이블 안에서 혹은 전체 데이터베이스 안에서 특정 값이 들어 있는지..
안녕하세요. 오늘은 Power BI 2020년 6월 업데이트 사항에 대해서 요약해보려고 합니다. Power BI는 서비스가 출시되었을 때부터 계속해서 활발한 업데이트가 이루어지고 있으며, 매 달 공식 블로그를 통해서..
안녕하세요. 데이터 분석에 대한 중요성이 높아지고 있는 추세에 따라 클라우드 환경에서 다양한 데이터 처리 및 분석 서비스들이 출시되고 있는데, 그 중에서 이번 시간에는 마이크로소프트에서 출시한 Azure Da..