키자드에 등록된 총 228개의 포스트를 확인하실 수 있습니다.
전자 서명 (Digital Signatures) 전송되는 메시지의 무결성 검증 가능 개인키를 사용하여 암호화(서명값 작성)하고, 공개키를 사용하여 복호화(서명값 검증)함 -> 서명자를 누구든지 공개키로 검증할 수 있음 -..
Attention Model Seq2Seq 모델에서 시퀀스의 길이가 너무 길어져 버리면 상태 벡터에 충분한 정보를 담기 어려워지는 문제점 존재 Seq2Seq의 단점을 보완하기 위해 Attention 개념을 도입 Attention은 Seq2Seq..
Transformer Model Attention is All You Need라는 논문을 통해 처음 발표(Vaswani et al.. 2017) Input text를 입력받아, 기본적으로 Attention 매커니즘을 통해 인코딩, 디코딩하는 방식의 모델 병렬화가 가능하..
보안(Security) 위협에 대한 보호조치를 수립 및 유지하기 위해 만족시켜야 하는 조건 보호조치는 위험 관리 접근법(Risk Management Approach) 기반의 일부로써 제지, 회피, 예방, 탐지, 복구, 수정 등을 포함할..
스니핑(Sniffing) sniff: 코를 킁킁거리다. 네트워크 상에서 자신이 아닌 다른 상대방들의 패킷 교환을 훔쳐보는 행위 기밀성(confidetiality)을 해치기 위한 공격 스누핑(Snoofing) snoop: 기웃거리다, 염탐하다...
보안 요구사항(Security Requirements) 중요한 시스템 데이터의 기밀성, 무결성, 가용성을 보호하는 방법을 명세하는 것을 말한다. 명세(Specification) 수집된 요구사항을 정해진 규칙과 구조에 따라 문서화 하..
암호화(Cryptography) 암호화: 암호화키와 암호 알고리즘을 사용하여, 평문(Plaintext)을 암호문(Ciphertext)으로 바꾸는 과정 암호화된 메시지는 이해할 수 없음 -> 기밀성이 유지 복호화: 복호화키와 복호화 알..
보안 요구사항 분석(Analyzing Security Requirements) 위험 분석을 통해 공격자가 보안 요구사항을 위반할 수 있는 사례를 정의한다. 오용 사례 정의, 위협 모델링 등 보안 요구사항 정의 시 누락된 보안 요구사..
다양한 사이버 보안 공격으로 인해 글로벌 사이버 보안 규제의 움직임이 활발하다. 글로벌 사이버 보안 규제를 대응하기 위해서는 제품에 대한 Reasonable Security Feature가 요구된다. Cybersecurity 규제 동향..
Web Crawling은 프로그램이 웹 사이트를 정기적으로 돌며 정보를 추출하는 기술이다. Web Scraping은 웹 사이트에 있는 특정 정보를 추출하는 기술을 말한다. Web Scraping 웹 사이트에 있는 특정 정보를 추출하는..
Data Scaling (특성 스케일 바꾸기) 데이터를 모델링하기 전에는 스케일링 과정을 거쳐야 한다. 스케일링을 통해 다차원의 값들을 비교 분석하기 쉽게 만들어주며, 자료의 오버플로우(overflow)나 언더플로우(..
PEP 8 https://peps.python.org/pep-0008/ 구글 파이썬 스타일 가이드 https://google.github.io/styleguide/pyguide.html Naming Conventions Type Public Internal 패키지 lower_with_under 모듈 lower_with_und..
O, big-O (빅오) 입력값이 무한대로 향할 때 함수의 상한을 설명하는 수학적 표기 방법이다. 점근적 실행 시간(Asymptotic Running Time)를 표기할 때 가장 널리 쓰이느 수학적 표시법 중 하나다. Time Complexity..
concat() axis=1 매개변수를 설정하여 행의 축을 따라 연결 df1 = pd.DataFrame(np.arange(6).reshape(3,2), index=list('abc'), columns=['one', 'two']) df2 = pd.DataFrame(np.arange(4).reshape(2,2), index=l..
merge on 매개변수에 병합 열을 지정하여 데이터프레임 병합 how='inner' : default는 inner join임 df1 = pd.DataFrame({'key':list('bbacaab'), 'data1':range(7)}) df2 = pd.DataFrame({'key':list('abd'), 'd..
sort_index() 인덱스(index)를 기준으로 데이터 정렬 data = pd.DataFrame(np.arange(8).reshape(2,4), index=['b','a'], columns=['lee','kim','choi','oh']) data.sort_index() 열 기준으로 데이터 정렬 data...
groupBy https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.groupby.html pandas.DataFrame.groupby — pandas 1.4.2 documentation Used to determine the groups for the groupby. If by is a fun..
Collection Data Type 데이터를 서로 연관시키지(relating) 않고 모아두는 컨테이너(container) 멤버십 연산자: in 크기 함수: len(seq) 반복성: 반복문의 데이터를 순회 set 중괄호 {}을 이용하여 선언 반복 가능..
type 데이터 타입 확인 type('12345') >> str type(12345) >> int dir 함수나 모듈에 대한 정보 dir(클래스)를 입력할 경우 해당 클래스에 내장되어 있는 함수들의 이름 확인이 가능하다. help help(클래스), help..
Pandas 데이터 처리와 분석을 위한 파이썬 라이브러리이다. R의 data.frame을 본떠서 설계한 DataFrame이라는 데이터 구조를 기반으로 만들어졌다. 엑셀의 스프레드시트와 비슷한 테이블 형태를 가진다. SQL처럼..
Scipy 과학 계산용 함수를 모아놓은 파이썬 패키지 고성능 선형대수, 함수 최적화, 신호처리, 특수한 수학 함수와 통계 분포 등을 포함한 많은 기능 제공 pip install scipy import scipy as sp matplotlib [Data..
Dynamic Typing 동적 타이핑은 코드를 작성하는데 있어서 컴퓨터적 구조를 생략한다. 따라서 변수를 지정할 때 해당 변수의 데이터 타입 등을 명시하지 않아도 컴퓨터가 알아서 해석하도록 둔다. 파이썬에서 a = 1..
Intent 파이썬 공식 가이드인 PEP 8(https://peps.python.org/pep-0008/)에 따라 공백 4칸을 원칙으로 한다. PEP(Python Enhancement Proposals) 프로세스 https://peps.python.org/ 새로운 기능을 제안하고 커뮤..
빅 데이터 분석 프로세스 Problem Definition 업무 이해 혹은 문제를 정의 Data Definition 데이터 이해 Design of Experiment / Sampling 실험 계획 수립 또는 표본화 Data Processing / Data Wrangling 데이..
Sequence Data Type memership 연산: in 키워드 사용 size 함수: len(seq) slicing 속성: seq[:-1] iterability: 반복문에 있는 데이터를 순회할 수 있음 문자열, 튜플, 리스트, 바이트 배열, 바이트 등 5개의 내..
Sequence Data Type memership 연산: in 키워드 사용 size 함수: len(seq) slicing 속성: seq[:-1] iterability: 반복문에 있는 데이터를 순회할 수 있음 문자열, 튜플, 리스트, 바이트 배열, 바이트 등 5개의 내..
Sequence Data Type memership 연산: in 키워드 사용 size 함수: len(seq) slicing 속성: seq[:-1] iterability: 반복문에 있는 데이터를 순회할 수 있음 문자열, 튜플, 리스트, 바이트 배열, 바이트 등 5개의 내..
python-pptx a Python library for creating and updating PowerPoint (.pptx) files 파워포인트(.pptx) 파일의 슬라이드 내 데이터를 추출하여 분석하고자 하는 경우 python-pptx를 활용할 수 있다. [python-pptx..
Item Item: 새롭게 정의할 작업 Project: 모든 작업의 정의와 순서를 모아 둔 전체 작업 New Item (새로운 Item) Freestyle project 스타일의 자유도가 높은 방식 구성하기 쉽지만, 과정이 복잡한 작업을 구성하..
Elasticsearch snapshot 데이터 연동 Elasticsearch를 실행한 후 path.repo에서 설정한 물리적인 스냅숏 데이터를 elasticsearch로 인식시켜야 한다. curl -H "Content-Type: application/json" -XPUT "http://..
Elasticsearch 데이터 구조 Elasicsearch와 RDBMS 비교 ElasticSearch RDBMS index Database Shard Partition Type Table Document Row Field Column Mapping Schema Query DSL SQL Index 데이터 저장 공간 하나..
Elasticsearch Cluster 물리적인 노드 인스턴스들의 모임 모든 노트의 검색과 색인 작업을 관장하는 논리적인 개념 분산 처리를 위해서는 다양한 형태이 노드들을 조합해서 클러스터를 구성해야 한다. Elasticsea..
Elasticsearch Stack ELK Stack(Elasticsearch, Logstash, Kibana) + Beats Elasticsearch 텍스트, 숫자, 위치 기반 정보, 정형 및 비정형 데이터 등 모든 유형의 데이터를 위한 무료 검색 및 분석 엔진 [Elastic..
Jenkins 시스템 설정 젠킨스 관리 의존 플러그인 버전 현재 사용중인 플러그인의 의존성 확인 후 버전 만족되지 않는 경우 알람 시스템 설정 메인 화면 표시 문구, 실행기(executors) 개수, 젠킨스 접속 경로, 관..
Elasticsearch https://www.elastic.co/kr/what-is/elasticsearch Elasticsearch는 무엇인가요? 로그, 시스템 메트릭, 웹 애플리케이션 등 다양한 소스로부터 원시 데이터가 Elasticsearch로 흘러들어갑니다. 데이..
OpenJDK 설치 오라클 정책 변경으로 Java SE(JRE/JDK) 유상버전 변경에 따라 무료 버전이 필요한 경우에는 Open JDK를 설치하면 된다. [OpenJDK 공식 홈페이지] OpenJDK Learn about the key active Projects in t..
Elasticsearch 설치 엘라스틱서치를 운영할 때는 최소 3개 이상의 물리적인 노드로 클러스터를 구축하는 것이 좋다. 테스트용 등으로 사용하기 위해 노드 하나만으로 구성된 클러스터를 싱글 모드 또는 테스트 모..
Kibana Elasticsearch에서 제공하는 데이터 시각화 프로그램 Elasticsearch에서 색인된 데이터를 검색하거나 문서를 추가하거나 삭제하는 등의 기능을 손쉽게 구현할 수 있다. Kibana 설치 Kibana 다운로드 경로에..
PyMuPDF 설치 pip install PyMuPDF PyMuPDF를 이용한 파일 정보 추출 import fitz pdf_doc = fitz.open("sample.pdf") # number of pages print(f"전체 Page 수: {pdf_doc.page_count}") # Get the first page pag..
tabula-py https://github.com/chezou/tabula-py GitHub - chezou/tabula-py: Simple wrapper of tabula-java: extract table from PDF into pandas DataFrame Simple wrapper of tabula-java: extract table from..
tika-python [tika-pyhon @github] GitHub - chrismattmann/tika-python: Tika-Python is a Python binding to the Apache Tika REST services allowing Tika to be call Tika-Python is a Python binding to th..
Textract 워드, 파워포인트, PDF 파일 등의 텍스트 추출 https://github.com/deanmalmgren/textract GitHub - deanmalmgren/textract: extract text from any document. no muss. no fuss. extract text from any..
데이터 과학을 위한 통계[2판] [Practical Statistics] 데이터 과학을 위한 통계(2판) 통계 교육기관 Statistics.com 설립자. Statistics.com은 100여 개 통계 강의를 제공하며 그중 3할은 데이터 과학자가 대상이..
검색 시스템 검색엔진(Search Engine) 웹에서 정보를 수집해 검색 결과를 제공하는 프로그램 검색 시스템(Search System) 대용량 데이터를 기반으로 신뢰성 있는 검색 결과를 제공하기 위해 검색엔진을 기반으로..
Quality Attributes Availability (가용성) 시스템의 실패에 연관된 품질로써 시스템 실패시에 파급되는 효과로 도출된다. 소프트웨어가 필요할 때 작업을 수행할 준비가 되었는지를 판단 합법적인 사용자에게 서..
Powerpoint 파일 정보 추출을 위한 python 라이브러리들을 소개하고자 한다. python-pptx [python-pptx] 파워포인트 문서 정보 추출 [python-pptx] Powerpoint 문서 정보 추출 python-pptx a Python library for c..
PDF 파일 정보 추출을 위한 python 라이브러리들을 소개하고자 한다. PDF 파일에서 추출하고 싶은 데이터의 구조(텍스트, 테이블 데이터 등)나 Output 형태(이미지 파일, Dataframe 등)에 따라 적합한 라이브러리..
PyPDF2 https://pythonhosted.org/PyPDF2/ PyPDF2 Documentation — PyPDF2 1.26.0 documentation pythonhosted.org PyPDF2 설치 pip install PyPDF2 PyPDF2를 이용한 파일 정보 추출 from PyPDF2 import PdfFileR..
Spring [Spring 공식 사이트] Spring Framework spring.io 참고 사이트: https://gmlwjd9405.github.io/2018/10/26/spring-framework.html 자바 엔터프라이즈 개발을 편하게 해주는 경량급 오픈소스 애플..
Node.js [Node.js 공식 사이트] Node.js Node.js is a JavaScript runtime built on Chrome's V8 JavaScript engine. nodejs.org Chrome V8 JavaScript 엔진으로 빌드 된 JavaScript 런타임 노드를 통해 다양..
Architecture Document Descriptions 1. Project Overview 프로젝트 배경, 이해 관계자 정의, 활동 기간 및 프로젝트 목표에 대해 기술 2. Architectural Drivers 시장 및 비지니스 context 비지니스 및 기술적 제..
DevOps 소프트웨어의 개발(Development)과 운영(Operations)의 합성어 소프트웨어 개발자와 정보기술 전문가 간의 소통, 협업 및 통합을 강조하는 개발 환경이나 문화 소프트웨어 개발조직과 운영조직간의 상호 의..
React React는 framework이 아니라 library이다. [React 공식 문서] Create a New React App – React A JavaScript library for building user interfaces reactjs.org 참고 사이트: https://react.vlpt.us/basi..
Web Application Framework https://www.geeksforgeeks.org/top-10-frameworks-for-web-applications/ 동적인 웹 페이지나, 웹 애플리케이션, 웹 서비스 개발 보조용으로 만들어지는 애플리케이션 프레임워크의..
Compile Language 런타임 이전에 기계어 (혹은 Java의 경우 바이트코드) 로 변환되는 언어 어셈블리어는 CPU에 의존적이기 때문에, 컴파일된 코드들은 여러종류의 프로세서를 자유롭게 옮겨다니며 사용될 수 없..
Docker 리눅스의 응용 프로그램들을 소프트웨어 컨테이너 안에 배치시키는 일을 자동화하는 오픈 소스 프로젝트 마이크로서비스 아키텍쳐의 장점은 최대한 살리고 CI/CD를 통해서 효과적인 개발환경을 만들고 싶다..
경량 IoT 통신 프로토콜 MQTT와 CoAP는 인터넷에 기반의 풍부한 리소스를 가진 디바이스로부터 IoT 기반의 제한된 리소스를 가진 디바이스로 통신을 지원한다. CoAP와 MQTT는 모두 경량 애플리케이션 계층을 구현..
OSI(Open System Interconnection) 7 Layer 국제표준화기구(ISO, International Organization for Standardization)에서 개발한 모델로서, 네트워크 프로토콜 디자인과 통신을 계층으로 나눠 설명한 것 레벨 계층..
네트워크 성능 측면 Speed 특정 네트워킹 기술의 정격 속력, 혹은 명목 속력, ex 100Mbit Bandwitdh (대역폭) 컴퓨터 네트워크나 인터넷이 특정 시간 내에 보낼 수 있는 정보량. 흔히 초당 비트로 측정됨 네트워..
TCP vs UDP [AWS Solution Architect/IP Network] - TCP vs UDP SYN Flooding TCP 3-way-handshake 과정의 두번째 과정에 집중된다. "② Server는 SYN 패킷과 ACK 패킷을 Client에게 전달합니다. 그리고 Server..
UDP Flooding의 공격 대상 시스템은 많은 수의 UDP 패킷을 처리하고 ICMP 패킷을 보내느라 시스템 자원을 소비하게 되어 다른 클라이언트 요청에 대해 서비스를 못하는 상태(DoS)가 됨 대량의 UDP 패킷을 만들어..
IP Internet Protocol 송신 호스트와 수신 호스트가 패킷 교환 네트워크(패킷 스위칭 네트워크, Packet Switching Network)에서 정보를 주고받는 데 사용하는 정보 위주의 규약(프로토콜, Protocol) OSI 네트워크..
네트워크 종류 PAN. Personal Area Network 가장 작은 규모의 네트워크 LAN, Local Area Network 근거리 영역 네트워크 네트워크 기기에 상관없이 서로 통신 가능 광역 전송매체의 사용으로 고속통신 가능 많은..
IP, Internet Protocol 패킷 교환 네트워크(인터넷)에서 데이터를 주고 받을 때의 통신 규약 IP Address 네트워크(인터넷) 상에서 데이터를 주고받기 위해 모든 컴퓨터들은 각자의 주소를 가지는데 그 주소가 IP..
CDN Content Delivery Network 콘텐츠를 효율적으로 전달하기 위해 여러 노드를 가진 네트워크에 데이터를 저장하여 제공하는 시스템 인터넷 서비스 제공자에 직접 연결되어 데이터를 전송하므로, 콘텐츠 병목을..
SSL 개념 Secure Socket Layer Netscape 사에서 웹 서버와 브라우저 사이의 보안을 위해 개발한 것 Certificate Authority(CA)라 불리는 서드 파티로부터 서버와 클라이언트 인증하는데 사용 전송된 모든 데이터가..
SQL Injection 응용 프로그램 보안 상의 허점을 의도적으로 이용해, 악의적인 SQL문을 실행되게 함으로써 데이터베이스를 비정상적으로 조작하는 코드 인젝션 공격 방법 Blind SQL injection 평범한 SQL injectio..
UTM 에 탑재 되는 보안 모듈 Unified Threat Management 방화벽, 가상 전용 네트워크, 침입 차단 시스템, 웹 컨텐츠 필터링, 안티스팸 소프트웨어 등을 포함하는 여러 개의 보안 도구를 이용한 관리 시스템..
Amazon CloudWatch 클라우드 리소스 및 애플리케이션에 대한 완전한 가시성 개발자, 시스템 운영자, 사이트 안정성 엔지니어(SRE) 및 IT 관리자를 위해 구축된 모니터링 및 관리 서비스 로그, 지표 및 이벤트 형태..
Amazon EC2 Amazon Elastic Compute Cloud(Amazon EC2)는 Amazon Web Services(AWS) 클라우드에서 확장식 컴퓨팅을 제공 인스턴스: 가상 컴퓨팅 환경 Amazon 머신 이미지(AMI): 서버에 필요한 운영체제와 여러 소..
Hypervisor (하이퍼바이져) 호스트 컴퓨터에서 다수의 운영 체제를 동시에 실행하기 위한 논리적 플랫폼 가상화 머신 모니터 또는 가상화 머신 매니저라고도 불림 Amazon EC2(Elastic Compute Cloud) Hypervisor..
IDS Intrusion Detection System 컴퓨터나 전산망의 비정상적인 사용이나 오남용과 같은 잠재적인 침입 시도 등을 실시간으로 탐지하기 위한 시스템 컴퓨터 시스템에서 발생하는 서비스 거부 공격 등과 같은 네트..
DDoS (Distributed Denial of Service) 여러 대의 공격자를 분산적으로 배치해 동시에 서비스 거부 공격하는 방법 서비스 거부 공격 또는 디오에스/도스는 시스템을 악의적으로 공격해 해당 시스템의 자원을 부족..
DNS (Domain Name System) 호스트의 도메인 이름을 호스트의 네트워크 주소로 바꾸거나 그 반대의 변환을 수행할 수 있도록 하기 위해 개발 www.example.com과 같이 사람이 읽을 수 있는 이름을 192.0.2.1과 같은..
AWS EC2 모니터링 자동 모니터링 도구 시스템 상태 검사 네트워크 연결 끊김 시스템 전원 중단 물리적 호스트의 소프트웨어 문제 네트워크 연결성에 영향을 주는 물리적 호스트의 하드웨어 문제 인스턴스 상태 검..
SAN (Storage Area Network) 저장 지역 통신망 디스크 어레이, 테이프 라이브러리, 옵티컬 주크박스와 같은 원격 컴퓨터 기억 장치를 서버에 부착하는 구조 블록 수준 스토리지에 접속할 수 있도록 지원하는 특정..
Availability 서비스 제공시간에 장애없이 서비스를 계속 지속할 수 있는 비율 DB 가용성 확보 방안 (DB 가 full 인 경우 확보 방안) 가용성을 높이는 2가지 전략 1. 심장전략(고품질-소수전략) 시스템..
svn trunk: 프로젝트에서 가장 중심이 되는 디렉토리 branches: 프로젝트 내의 작은 프로젝트들 tags: 버전 별로 소스코드를 따로 관리하는 공간 보통 대부분의 기능을 완성해 놓고 소스를 중앙 저장소에y com..
Hadoop Apache Hadoop (High Availability Distributed Object-Oriented Platform) 대량의 자료를 처리할 수 있는 큰 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 프리웨어 자바 소프트웨어 프레..
WAF (Web Application Firewall) 웹 서비스 특성상 서비스 용도로 포트80(HTTP)과 포트443(HTTPS)을 열어야 한다. 그러나 방화벽, 침입탐지/침입방지시스템(IDS/IPS)과 같은 기존 네트워크 보안 솔루션은 이 포..
RDB(Relational Database) 데이터를 유연하게 쿼리할 수 있지만, 쿼리 비용이 상대적으로 높다 트래픽이 많은 상황에서는 확장성이 떨어진다. 최고 성능을 위해서는 쿼리, 인덱스 및 테이블 구조를 최적화 해야..
UDP (User Datagram Protocol) 어떠한 협상과정 없이 메시지를 실어서 보내기만 하고 받았는지 안 받았는지는 신경쓰지 않는다 TCP (Transmission Control Protocol) 메시지를 보내기 전에, 3-way-handshake 과정..
Scale-up Server가 더 빠르게 동작하기 위해 하드웨어 성능을 올리는 방법 Scale-out 하나의 Server 보다는 여러 대의 Server가 나눠서 일을 하는 방법 Scale-out의 장점 하드웨어 향상하는 비용보다 서버 한대..
CI/CD 애플리케이션 개발 단계를 자동화하여 애플리케이션을 더욱 짧은 주기로 고객에게 제공하는 방법 기본개념은 지속적인 통합, 지속적인 서비스 제공, 지속적인 배포 CI(Continuous Integration) 개발자가 각..
3 tier 웹 어플리케이션의 정의와 구성방식 3-tier Web Architecture란 프레젠테이션 로직(클라이언트, 사용자 인터페이스), 비즈니스 로직, 데이터베이스 로직을 각각 다른 플랫폼 상에서 구현한 것 계층(Tier):..
BERTopic BERT 임베딩 및 클래스 기반 TF-IDF를 활용하여 조밀한 클러스터를 생성하여 주제 설명에 중요한 단어를 유지하면서 쉽게 해석 가능한 주제를 허용하는 주제 모델링 기술 https://maartengr.github.io/BE..
DBSCAN(Density-based Spatial Clustering of Application with Noise) 밀도 기반 클러스터링 비선형 클러스터의 군집이나 다양한 크기를 갖는 공간 데이터를 보다 효과적으로 군집하기 위해 이웃한 개체와의 밀도..
AI HUB https://aihub.or.kr/ 홈 | AI Hub AI Hub(AI 허브)는 양질의 인공지능 학습용 데이터를 누구에게나 공개하여 지능 정보사회 발전에 도움 aihub.or.kr AI Hub는 지능정보산업인프라조성 사업으로 추진한 AI..
Bokeh https://docs.bokeh.org/en/latest/index.html Bokeh documentation Bokeh is a Python library for creating interactive visualizations for modern web browsers. It helps you build beautiful graphics..
차원축소 (Dimensionality Reduction) 가지고 있는 방대한 양의 데이터에서 필요한 특성만 추출하는 방법 너무 많은 정보를 잃지 않으면서 데이터를 간소화 새로운 데이터를 잘 예측해주는 '설명력'있는 모델을 구..
Selenium(셀레니움) 웹 브라우저의 자동화를 가능하게 하고 지원하는 다양한 도구와 라이브러리를 포함한 프로젝트 웹 앱을 테스트 할 때 주로 사용하는 프레임워크 webdriver라는 api를 통해서 browser 제어 동적..
spaCy https://spacy.io/ spaCy · Industrial-strength Natural Language Processing in Python spaCy is a free open-source library for Natural Language Processing in Python. It features NER, POS tagging..
map 함수 Series 타입에서만 사용 Series 값 하나하나에 접근하면서 해당 함수를 수행 applymap 함수 DataFrame클래스의 함수이긴 하나, apply함수처럼 각 row(axis=1)나 각 column(axis=0)별로 작동하는 함수가..
파이썬 통계 분석 개요 4차 산업혁명: 초연결, 지능, 융합 -> 사무인터넷, AI, 빅데이터 데이터 과학과(IoT + 빅데이터 + AI): 데이터 내재된 패턴 분석 -> 전략적 의미를 추론하는 방법 데이터의 분류 정형 데이..
mecab-ko-msvs 다운로드 mecab을 윈도우에서 실행될 수 있게 컴파일 하는 역할 하기 경로에서 윈도우 버전 및 32비트/64비트 선택해서 다운로드 후 원하는 폴더 경로에 파일 압축풀기 https://github.com/Pusnow/m..
KR-BERT A Small-Scale Korean-Specific Language Model Git Hub github.com/snunlp/KR-BERT snunlp/KR-BERT KoRean based BERT pre-trained models (KR-BERT) for Tensorflow and PyTorch - snunlp/KR-BERT githu..
정보추출(Information Extraction, IE) 비정형 텍스트에서 정보를 추출하기 위해 규칙적이고 엔티티 간의 의미적 관계를 포함하는 구조화된 데이터 필요 엔티티 간의 의미적 관계를 나타내는 관계형 튜플 형태를..
Pandas-Profiling 방대한 양의 데이터를 가진 데이터프레임을 .profile_report()라는 단 한 줄의 명령으로 탐색하는 패키지 Github github.com/pandas-profiling/pandas-profiling pandas-profiling/pandas-profil..
NER(Named Entity Recognition) 텍스트에서 고유한 의미의 개체(entity)를 인식(recognition)하는 것 질의 답변, 정보 검색, 관계 추출 등을 위한 NLP 시스템의 핵심 구성 요소 사람(Person, PS), 장소(Location,..