phj8498의 등록된 링크

키자드에 등록된 총 568개의 포스트를 확인하실 수 있습니다.

Naver Blog

go lang

http://golang.site/go/article/2-Go-%EC%84%A4%EC%B9%98%EC%99%80-Go-%ED%8E%B8%EC%A7%91%EA%B8%B0-%EC%86%8C%EA%B0%9C 예제로 배우는 Go 프로그래밍 - Go 설치와 Go 편집기 소개 Go 설치와 Go 편집기 소개 1. GO 설치 Go 프로그래밍을 시작하기 위해 Go 공식 웹사이트인 https://go.dev/dl/ 에서 해당 OS 버젼의 Go를 다운로드하여 설치한다. Go는 Windows, Linux, Mac OS X 에서 사용할 수 있다. 윈도우즈에 Go를 설치하기 위해서는 MSI (*.msi) 파일을 다운받아 실행하면 되는데, Go는 디폴트로 C:\go 폴더에 설치되며, MSI가 C:\go\bin을 PATH 환경변수를 추가한다. ( 주: 여기서는 별도의 언급이 없는 한 Windows에 설치된 Go를 기준으... golang.site 코테 고랭 튜토리얼(백준) 부분 먼저 풀어보기

원문보기 내부링크
Naver Blog

텍스트 유사도(Text Similarity, Semantic Similarity)

아래 tfidf 방식 소스코드를 그대로 사용하면, 띄워쓰기에 따라 결과가 크게 차이나서 그대로 사용할 수 없다. https://forbetterdays.tistory.com/110 Text Similarity, Semantic Similarity 텍스트 유사도 코사인 유사도 (Cosine Similarity) -> 두 개의 벡터 값의 Cos 각도 유클리디언 유사도 (Euclidean Similarity) -> 두 개의 점 사이의 거리 = L2 거리 맨하탄 유사도 (Menhattan Similarity.. forbetterdays.tistory.com 텍스트 유사도 코사인 유사도 (Cosine Similarity) -> 두 개의 벡터 값의 Cos 각도 유클리디언 유사도 (Euclidean Similarity) -> 두 개의 점 사이의 거리 = L2 거리 맨하탄 유사도 (Menhattan Similarity) -> 사각 격자 최단 거리 = L1 거리 자카드 유사도 (Jaccard Sim

원문보기 내부링크
Naver Blog

한국어 전처리 패키지

https://wikidocs.net/92961 10) 한국어 전처리 패키지(Text Preprocessing Tools for Korean Text) 유용한 한국어 전처리 패키지를 정리해봅시다. 앞서 소개한 형태소와 문장 토크나이징 도구들인 KoNLPy와 KSS(Korean Sentence Splitter)와 함께 유용하 ... wikidocs.net 1. PyKoSpacing pip install git+https://github.com/haven-jeon/PyKoSpacing.git 전희원님이 개발한 PyKoSpacing은 띄어쓰기가 되어있지 않은 문장을 띄어쓰기를 한 문장으로 변환해주는 패키지입니다. PyKoSpacing은 대용량 코퍼스를 학습하여 만들어진 띄어쓰기 딥 러닝 모델로 준수한 성능을 가지고 있습니다. 2. Py-Hanspell pip install git+https://github.com/ssut/py-hanspell.git Py-Hanspell은 네이버 한글 맞

원문보기 내부링크
Naver Blog

2022 AIoT 국제전시회 참관 후기

#AIOT국제전시회 과학기술정보통신부에서 주최하고 한국지능형사물인터넷협회에서 주관하는 2022 AIoT 국제전시회에 다녀왔습니다. 장소는 코엑스 B홀입니다. 내용은 기억에 남았던 업체 위주로 정리하였습니다. (주)티허브 티허브는 2018년 설립한 스타트업으로 홀로렌즈2를 활용한 증강 현실(XR) 콘텐츠 교육 시스템을 전시하였습니다. 증강현실 장비를 착용하였을 때, 제가 생각했던 것만큼 선명하게 화면에 나오지 않아서 좀 아쉬웠습니다. 전시회에는 차량 정비 교육 컨텐츠만 볼 수 있었는데, 고객의 관리 물품을 디지털화하는 물자 관리 시스템도 있다고 하였습니다. 물자 관리 시스템을 눈으로 직접 확인해보지 못한 점은 많이 아쉬웠습니다. (주)이파피루스 이파피루스는 IoT 진동 센서 장비를 부착하여, 센서가 수집한 진동데이터를 AI가 분석하여 고장을 예측하는 솔루션을 제공하는 업체입니다. 사진에 보시면 검은색 사각형 센서 장비가 부착되어있는 것을 볼 수 있습니다. (주)스탠스 스탠스는 한컴인텔

원문보기 내부링크
Naver Blog

mac os mecab 설치하기

https://hwiyong.tistory.com/418 mac os mecab 설치하기 mecab 설치 관련 내용을 찾아본 결과, .tar 확장자를 다운받아 여러 가지를 직접 설치해주는 방법도 있지만 가장 편한 것은 아래 명령어를 쓰는 것입니다. 쉘에 그대로 복붙해주세요 bash hwiyong.tistory.com mecab 설치 관련 내용을 찾아본 결과, .tar 확장자를 다운받아 여러 가지를 직접 설치해주는 방법도 있지만 가장 편한 것은 아래 명령어를 쓰는 것입니다. 쉘에 그대로 복붙해주세요 bash <(curl -s https://raw.githubusercontent.com/konlpy/konlpy/master/scripts/mecab.sh) 만약, 에러가 난다면 brew upgrade zsh - 에러랑은 거의 무관하지만 zsh 쓴다는 가정하에 업그레이드를 한번 해주고 시작합니다 - 셀을 실행시켰을 때 dydl library not loded ~ 와 같은 에러 로그가 발생한

원문보기 내부링크
Naver Blog

mecab 사용자 사전 추가하기

https://edkoon35.github.io/2017/08/03/elasticsearch-seunjeon-user-dic/ mecab 사용자 사전 추가하기 Elasticsearch에서 사용할 mecab 사전을 추가해보자. 내용출처 edkoon35.github.io 내용출처 기존에 한번도 사용되지 않았던 새로운 가수가 앨범을 발매하게 되면 기존 형태소 분석을 통해서는 분석이 안되는 경우가 발생합니다. 이럴때는 사용자 사전에 미등록된 가수명을 등록해주면 분석이 잘 될것 같으니 추가해 보도록 하겠습니다. 사용자 사전 위치 # 플러그인 개발을 위해 생성된 경로 아래에서 실행 $ cd mecab-ko-dic/user-dic $ ll total 16 -rw-r--r-- 1 mba mba 70 Mar 1 2015 nnp.csv -rw-r--r-- 1 mba mba 40 Mar 1 2015 person.csv -rw-r--r-- 1 mba mba 166 Mar 1 2015 place.csv -

원문보기 내부링크
Naver Blog

아호코라식 알고리즘

https://ansohxxn.github.io/algorithm/ahocorasick/#2%EF%B8%8F%E2%83%A3-%EC%8B%A4%ED%8C%A8-%ED%95%A8%EC%88%98-%ED%8A%B8%EB%9D%BC%EC%9D%B4%EB%A5%BC-bfs-%EC%88%9C%ED%9A%8C%ED%95%98%EB%A9%B0-%EB%85%B8%EB%93%9C%EB%A7%88%EB%8B%A4-%EC%8B%A4%ED%8C%A8-%EB%A7%81%ED%81%AC-%EB%A7%8C%EB%93%A4%EC%96%B4%EC%A3%BC%EA%B8%B0 (C++) 문자열 검색 알고리즘 : 아호-코라식(Aho-Corasick) 알고리즘 서론 ansohxxn.github.io

원문보기 내부링크
Naver Blog

python apt-get update 명령어 실행

system.os에서는 안 먹힐때가 있다. # Shell Script 실행 명령어 subprocess.call('apt-get update', shell=True) subprocess.call('apt install default-jdk -y', shell=True)

원문보기 내부링크
Naver Blog

proguard GUI tool을 이용한 난독화 적용

https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=bl2019&logNo=10186480724 proguard GUI tool을 이용한 난독화 적용 proguard GUI tool을 이용한 난독화 적용 java로 프로그램을 개발하여 배포할 때 가장 신경... m.blog.naver.com proguard GUI tool을 이용한 난독화 적용 java로 프로그램을 개발하여 배포할 때 가장 신경이 쓰이는 부분 중 하나가 악의적인 사용자가 내가 배포한 프로그램을 디컴파일하여 가져다 쓰는 것일 겁니다. java에서는 이러한 문제를 해결해주기 위해 progaurd tool을 지원해주고 있습니다. 해당 글에서는 그 중 GUI를 지원하는 progaurd tool에 대해 설명해볼까 합니다. Part 1. apk 디컴파일 환경 구축 우선 난독화가 정상적으로 되었는지 확인 할 수 있는 디컴파일 환경을 구축해야 합니다. - jad

원문보기 내부링크
Naver Blog

[논문리뷰] Robust Speech Recognition via Large-Scale Weak Supervision (Whisper)

https://kimjy99.github.io/%EB%85%BC%EB%AC%B8%EB%A6%AC%EB%B7%B0/whisper/ [논문리뷰] Robust Speech Recognition via Large-Scale Weak Supervision (Whisper) Whisper 논문 리뷰 kimjy99.github.io arXiv 2022. [Paper] [Page] [Github] Alec Radford, Jong Wook Kim, Tao Xu, Greg Brockman, Christine McLeavey, Ilya Sutskever Frank, Jesse Engel, Quoc V. Le, William Chan, Wei Han OpenAI 6 Dec 2022 Introduction 음성 인식의 발전은 Wav2Vec 2.0와 같은 unsupervised 사전 학습 기술의 개발에 의해 활성화되었다. 이러한 방법은 레이블이 지정되지 않은 오디오에서 직접 학습하기 때문에 레이블이 지정되

원문보기 내부링크
Naver Blog

[논문 리뷰] wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations

ASR이란? 음성을 텍스트로 변환하는 것을 말한다. 전체 과정을 쉽게 설명하면, Handcraft Process와 Acustic Model 두 가지로 나뉜다. 1. Handcraft Process 음성 데이터에서 feature 추출 예시) Spectrogram 2. Acoustic Model 추출된 피쳐를 이용하는 모델 Deep Architecture : CNN, Transformer Encoder ASR모델은 지금까지 CPC : CNN+RNN -> Wav2vec : CNN + Causal CNN(RNN경량화용) -> VQ-Wav2vec : BERT+quantization 모듈 추가 -> Wave2vec2.0 -> Pushing ASR -> mSLAM, Maestro(google) -> whisper(openai)로 발전하고 있다. 오늘 리뷰할 Wav2vec2.0 모델은 Semi-Supervised 학습으로 성능을 향상시켰다. -> 대량의 Unlabled(음성) 데이터를 활용하여 P

원문보기 내부링크
Naver Blog

Active Learning 이란? - 기본전략

#ActiveLearning https://kmhana.tistory.com/5?category=838050 Active Learning 이란? - 기본전략 Activ Learning의 기본을 먼저 보고싶으신 분은, 이전 포스트 Active Learning 이란 - 기본 dsgissin.github.io/DiscriminativeActiveLearning/about/ About An introduction to the active learning framework, f.. kmhana.tistory.com Active Learning의 기본적으로 알아야할 기초적인 쿼리전략(Query Strategies)를 간단하게 기술하고자 한다. ※ 쿼리전략(Query Strategies) 란? : 모델이 중요한 데이터를 찾기위한 전략 주요 기초 쿼리전략은 다음과 같다. - Uncertainty Sampling > Top(Least) Confidence, Margin Sampling, Maximu

원문보기 내부링크
Naver Blog

RANSAC 알고리즘 원리

https://gnaseel.tistory.com/33 중학생도 이해할 수 있는 RANSAC 알고리즘 원리 이 글은 RANSAC에 대해 아무것도 알지 못해도, 중학교 이상의 수학적 지식만 가지고 있다면 충분히 이해할 수 있도록 포스팅할 예정이다. 실제로 RANSAC은 매우 중요한 알고리즘이지만 실상 들여다보면 매우 간.. gnaseel.tistory.com RANSAC은 RANdom SAmple consensus의 약자로, 데이터셋에서 노이즈를 제거하고 모델을 예측하는 알고리즘이다. 매우 많은 분야에서 활용되며 특히 컴퓨터 비전 분야에서 광범위하게 사용된다. RANSAC은 특정 임계값 이상의 데이터를 완전히 무시해버리는 특성이 있어 outlier에 강건한 알고리즘인데, 아래 그림을 보면 노이즈가 매우 크지만, 노이즈를 반영하지 않고 최대 데이터가 일치하는 이상적인 모델을 추출해내는 것을 볼 수 있다. 파란색은 노이즈가 섞인 데이터셋이고, 빨간색은 RANSAC을 통해 근사시킨 모델이다

원문보기 내부링크
Naver Blog

평균, 표준편차, 분산, 그리고 Mahalanobis 거리

metric learning에서 mahalanobis distance loss를 사용하여 내용을 확인하였다. 마할라노비스거리로 값이 얼마나 특이한지 구할 수 있다. https://darkpgmr.tistory.com/41?category=460967 평균, 표준편차, 분산, 그리고 Mahalanobis 거리 얼마전 동생이 전화로 표준편차에 대해서 물어봤다. "형, 표준편차가 3이라는게 무슨 뜻이야?" "먼 소리야, 무슨 표준편차? 단위가 먼데?" "아니, 일일 교통량을 측정하는데, 예를 들어서 평균이 20이고 표준편차.. darkpgmr.tistory.com 얼마전 동생이 전화로 표준편차에 대해서 물어봤다. "형, 표준편차가 3이라는게 무슨 뜻이야?" "먼 소리야, 무슨 표준편차? 단위가 먼데?" "아니, 일일 교통량을 측정하는데, 예를 들어서 평균이 20이고 표준편차가 3인거랑 평균이 80이고 표준편차가 3인거랑 어떻게 다른거야? 표준편차도 에러의 일종이잖아. 근데 평균이 커지면

원문보기 내부링크
Naver Blog

Deep Metric Learning: a (Long) Survey 2021

https://hav4ik.github.io/articles/deep-metric-learning-survey Deep Metric Learning: a (Long) Survey In this post, I’ll briefly go over the common approaches for Deep Metric Learning, as well as the new methods proposed in recent years. hav4ik.github.io Getting Practical: a Case Study of Real-World Problems Sadly, it’s a well-known fact that the reported SOTA results on academic benchmarks of cool and shiny new methods might not reflect its performance in real-world problems. That’s why in this s

원문보기 내부링크
Naver Blog

Stacked Hourglass Networks(2016)

#hourglass #poseestimation https://lswook.tistory.com/107 Stacked Hourglass Networks 리뷰 What is pose estimation pose estimation은 인체 부위를 찾아 인체를 표현하는 task이며, 의료, 헬스케어, 그리고 엔터테인먼트 분야에서 폭넓게 사용된다. 과거에는 효율과 정확도의 문제로 거의 사용되지 않았.. lswook.tistory.com >> network 구조는 bottom-up, top-down 구조에 skip connection, eltwise를 많이해서 소실을 줄인다. >> 현재 pose estimation 모델은 heatmap 베이스 >> cornernet backbone에 사용한 pose estimation network >> hourglass module - intermediate supervision - hourglass module - intermediate supervisi

원문보기 내부링크
Naver Blog

M2Det(2019)

#M2Det #objectDetection >> FPN 한계를 개선한 MLFPN 제안. FFM, TUM, SFAM 세가지 모듈로 구성됨 [FPN 한계점] >> classification 목적으로 구현됐기 때문에 표현력이 부족함 >> low-level feature를 적게 사용하고, high-level 위주로 사용함 >> 일반적 네트워크에서 high-level은 classification, low-level은 localization(detection)에 유리 [FFMv1] >> SSD처럼 conv5_3(high-level), conv4_3(low-level)에서 뽑은 특징을 융합함. [TUM] >> FFMv1에서 만들어진 base feature 이후 TUM 모듈 생성. 각 TUM 모듈 사이에는 FFMv2가 base feature와 이전 TUM간 feature를 융합하고 다음 TUM으로 전달 >> base feature -> TUM -> base feature + FFMv2 -> TUM

원문보기 내부링크
Naver Blog

패스트텍스트(FastText)

오타나 철자가 빠진 단어를 검색할때 어떻게 해야하는지 찾아보다가 패스트텍스트에 대해서 정리 전처리해주는 부분이 굉장히 오래걸려서 한번 해놓고, 파일로 저장한 뒤 사용하는게 좋다 출처 : https://wikidocs.net/book/2155 핵심키워드 OOV(Out Of Vocabulary) FastText 패스트텍스트(FastText) 단어를 벡터로 만드는 또 다른 방법으로는 페이스북에서 개발한 패스트텍스트(FastText)가 있다. Word2Vec 이 후에 나온 것이기 때문에, 메커니즘 자체는 Word2Vec의 확장이라고 볼 수 있다. Word2Vec와 패스트텍스트와의 가장 큰 차이점은 Word2Vec은 단어를 쪼개질 수 없는 단위로 생각한다면, 패스트텍스트는 하나의 단어 안에도 여러 단어들이 존재하는 것으로 간주한다. 즉 내부 단어(subword)를 고려하여 학습한다. 1. 모르는 단어(Out Of Vocabulary, OOV)에 대한 대응 패스트텍스트에서는 우선 각 단어는 글

원문보기 내부링크
Naver Blog

mlops 강의

https://mercari.github.io/ml-system-design-pattern/README_ko.html ml-system-design-pattern System design patterns for machine learning mercari.github.io https://zzsza.github.io/mlops/2018/12/28/mlops/ 머신러닝 오퍼레이션 자동화, MLOps MLOps 춘추 전국 시대 정리 자료를 정리한 글입니다 최초 작성했던 글을 2021년 6월에 모두 수정했습니다 키워드 : MLOps, MLOps란, MLOps 정의, MLOps 플랫폼, MLOps 엔지니어, MLOps 뜻, MLOps pipeline, MLOps framework zzsza.github.io https://www.youtube.com/watch?v=DeOEuDosH2s&list=PLDZRZwFT9Wku509LgbJviEcHxX4AYj3QP https://fastapi.tian

원문보기 내부링크
Naver Blog

CoupleNet(2017)

#CoupleNet #ObjectDetection >> R-FCN에서 제안한 PSRoI가 global 정보와 context가 훼손되는 문제점을 해결하였음. >> 소파에 강아지가 있다면, PSRoI pool에서는 sofa가 0.08로 local정보인 강아지에 집중되고, 일반 RoI pool에서는 sofa가 0.78로 global정보에 집중됨. 이 두 결과값을 결합하여 couplenet이라고 만듬. >> local RCN(PSROI pool)와 global FCN(일반 ROI pool) >> 글로벌하고 로컬한 정보를 다 사용할 수 있게 만듬. [local RCN] >> RPN의 출력값에 RSPOI pooling 하여 k x k x (class + 1)의 PS Score map을 생성. >> 생성된 score map의 각 class+1에 k x k * voting(ave pooling)을 수행하여 c+1 채널의 출력값을 생성함. [global FCN] >> 단순 객체나 배경을 포함하는 객

원문보기 내부링크
Naver Blog

Cascade R-CNN(2018)

#CascadeRCNN #ObjectDetection >> iou가 높으면 positive sample 많아져 overfiting 발생함. >> train과 inference할 때 iou 조건이 다름. coco metric .5:.95 >> 이러한 문제때문에 cascade하게 iou를 증가시키면서 학습하여 정확도를 향상시켰음. >> 0.5 iou로 학습 -> region proposal 생성 -> 0.6 iou로 학습 -> region proposal 생성 -> 0.7로 학습하는 3-stage로 구성하였고, 너무 많으면 악영향을 줌. https://deep-learning-study.tistory.com/605?category=968059 [논문 읽기] Cascade R-CNN(2018), Delving into High Quality Object Detection 안녕하세요! 이번에 읽어볼 논문은 Cascade R-CNN, Delving into High Quality Object

원문보기 내부링크
Naver Blog

Soft-NMS(2017)

#SoftNMS #ObjectDetection >> 동일 클래스인 객체가 뭉쳐있는 경우, 하나의 객체만 선택되고 나머지는 제외되었음. >> soft-nms는 바운딩 박스를 억제하는 것이 아니라, confidence를 낮추어 검출하도록함. >> nms : iou threshold에 걸리면 bbox 제거됨 >> soft-nms : iou threshold에 걸리면 score 감소시킴. (1-iou)로 하기 때문에, score 편차가 심함. >> gaussian soft-nms : soft-nms와 다르게 threshold를 넘는 bbox에만 적용하는게 아니라, 전체 bbox에 대해 연속적으로 scoring함. https://deep-learning-study.tistory.com/606?category=968059 [논문 읽기] Soft-NMS(2017), Improving Object Detection With One Line of Code 안녕하세요! 이번에 읽어볼 논문은 Soft-

원문보기 내부링크
Naver Blog

RefineDet(2018)

#RefineDet #ObjectDetection >> Two-Step Cascaded Regression을 써서 1-stage 모델임 >> refinedet는 ARM, ODM 두 모듈과 모듈을 연결하는 TCB 블럭으로 구성되어있음. >> ARM이 앵커 박스를 조정(Refine)하여 negative sample을 줄이고, FPN 방법과 유사하게 multi-scale prediction하는 모델 >> refine이 가장 핵심 키워드인 모델 [ARM] >> ARM은 anchor box 중 적절한 sample을 골라내고 조정(refine)함. negative anchor filtering. RPN 기능. class imbalance 개선 효과 >> positive:negative = 1:3 비율로 조절. [ODM] >> ODM은 multi class를 예측하고, 좌표를 regression함. [TCB] >> TCB는 ARM에서 생성한 anchor를 ODM으로 전달. FPN과 비슷하게 mu

원문보기 내부링크
Naver Blog

20220425 등이두

렛풀다운 15세트 역피라미드 바벨컬 4세트 해머컬 2세트 일지 안쓴지 엄청 오래됐다

원문보기 내부링크
Naver Blog

데이터 사이언스, 분석, 자연어

이미지 분석말고, 데이터 분석 기본적인 이해를 하기 위해 아래 자료 정리 데이터 분석 관련 자료를 자주 접하게 되는데, 이해도가 낮아서 무슨소리인지 잘 모르겠다. 기초지식 필요성을 많이 느낌 https://datascienceschool.net/intro.html 데이터 사이언스 스쿨 — 데이터 사이언스 스쿨 데이터 사이언스 스쿨 ¶ 데이터 사이언스 스쿨은 데이터 사이언스에 대한 모든 지식을 공유하는 장입니다. 알림 데이터 사이언스 스쿨 홈페이지를 깃헙 페이지와 주피터 북 기반으로 리모델링하였습니다. 소개의 글 datascienceschool.net https://wikidocs.net/book/1867 Python 데이터 분석 실무 저는 현재 데이터 분석가로 재직중이고, 2010년 말부터 IT회사와 리서치회사에서 경력을 쌓았습니다. 전공은 학사 및 석사 모두 심리학으로 전공했고, 현재 IT 회사에서 파 ... wikidocs.net https://wikidocs.net/book/2

원문보기 내부링크
Naver Blog

101 NumPy Exercises for Data Analysis (Python)

https://www.machinelearningplus.com/python/101-numpy-exercises-python/ 101 Numpy Exercises for Data Analysis The goal of the numpy exercises is to serve as a reference as well as to get you to apply numpy beyond the basics. The questions are of 4 levels of difficulties with L1 being the easiest to L4 being the hardest. www.machinelearningplus.com

원문보기 내부링크
Naver Blog

101 Pandas Exercises for Data Analysis

https://www.machinelearningplus.com/python/101-pandas-exercises-python/

원문보기 내부링크
Naver Blog

FROM_UNIXTIME

FROM_UNIXTIME https://mariadb.com/kb/en/from_unixtime/ FROM_UNIXTIME Returns a datetime from a Unix timestamp. mariadb.com The options that can be used by FROM_UNIXTIME(), as well as DATE_FORMAT() and STR_TO_DATE(), are: Option Description %a Short weekday name in current locale (Variable lc_time_names). %b Short form month name in current locale. For locale en_US this is one of: Jan,Feb,Mar,Apr,May,Jun,Jul,Aug,Sep,Oct,Nov or Dec. %c Month with 1 or 2 digits. %D Day with English suffix 'th', 'nd

원문보기 내부링크
Naver Blog

Active Learning 이란?

라벨링 되어있지 않은 원천데이터를 정말 많이 가지고 있다. self-supervised learning으로 문제를 해결하면 정말 좋겠지만, 아직은 완벽하지 못하기 때문에 레이블링을 해야한다.. 그래서 해결방법으로 semi-supervised learning, active learning이다. 뭔지는 알고, 어떻게 해야할지 느낌은 아는데 이론상으로 정확하지 모르기 때문에 관련 이론, 전략 vision에서는 어떻게 active learning을 하는지 정리해보고자 합니다. semi-supervised learning은 지금 카테고리를 만들어서 공부중 https://kmhana.tistory.com/4?category=838050 Active Learning 이란 - 기본 dsgissin.github.io/DiscriminativeActiveLearning/about/ About An introduction to the active learning framework, from classi

원문보기 내부링크
Naver Blog

EfficientNetV2

#EfficientNetv2 #Classification >> efficientnetv1과 비교했을 때 4배 빠른 학습속도와 6.8배 적은 파라미터수로 비슷한 정확도를 달성함. >> 큰 이미지로 학습하면 학습이 느림 -> progressive learning -> 이미지 크기를 점진적으로 증가 -> 정확도 감소 하기 때문에 이미지가 작을때는 약한 정규화, 크면 강한 정규화 적용하기 (dropout, Random Augment, mixup) >> 초기 layer에 depthwise conv는 학습 속도에 악영향 -> Fused-MBConv는 MBConv의 1x1 conv + 3x3 depthwise conv 대신에, 하나의 3x3conv를 사용 -> 초기 stage에만 Fused-MBConv 적용 (모든 stage에 적용하면 느려짐) >> 모든 stage를 동일한 비율로 scaling up하면 안좋음 -> non-uniform scaling -> 모든 stage를 동일하게 scalin

원문보기 내부링크
Naver Blog

R-FCN(2016)

#RFCN #ObjectDetection >> position-sensitive score map을 제안하였음. >> classification은 위치를 고려하지 않음 translation-invariance >> object detection은 위치 필요하여, translation-variance >> FCN을 백본으로 사용하였고, 공간 정보를 담기위한 score map을 만들었음. >> 백본 마지막 부분에서 두 갈래로 나뉘는데, 하나는 RPN이 region proposals를 생성(RCNN유사), 다른 하나는 position-sensitive score map 생성 >> position-sensitive score map은 k x k 개의 그리드를 갖고 각 그리드마다 class + 1(배경포함)의 채널을 갖음. >> 각 그리드(ROI)에 ROI pooling layer를 적용해서 feature map 생성(class+1개) -> ave pooling -> softmax https

원문보기 내부링크
Naver Blog

[Linux] cp 또는 mv 로 파일 강제로 덮어쓰기

간혹 리눅스에서 cp 명령어로 파일 또는 디렉토리를 복사할 때 이미 존재하는 파일인 경우에 파일을 덮어쓸지 사용자에게 물어보는 경우가 있습니다. [root@peterdev test]# cp test1.txt test2.txt cp: overwrite ‘test2.txt’? 수동으로 복사할 경우에는 y를 입력하여 덮어쓰면 되는데, 여러 파일을 복사하는 경우에는 매 파일마다 y를 입력하는게 귀찮을 수 있습니다. 또한 스크립트로 자동화를 하는 경우에는 사용자에게 물어보는 절차를 생략하고 강제로 덮어쓰고 싶을 때가 있을 것입니다. 그런데 아래처럼 cp 명령어의 -f (강제 적용) 옵션을 사용해도 계속해서 사용자에게 덮어쓸 것인지 물어보는데 이런 경우는 alias 때문입니다. [root@peterdev test]# cp -f test1.txt test2.txt cp: overwrite ‘test2.txt’? cp 라고만 입력해도 cp -i 옵션이 자동으로 들어가도록 alias가 적용되어 있기

원문보기 내부링크
Naver Blog

리눅스에서 하위 디렉토리별 파일 개수 출력

리눅스에서 하위 디렉토리별 파일 개수 출력하기 $ for x in `ls` ; do echo $x: `find $x -type f | wc -l`; done

원문보기 내부링크
Naver Blog

linux sort 두번째 열로 sort

#linux #sort http://daplus.net/bash-%ED%8C%8C%EC%9D%BC%EC%9D%98-%EB%91%90-%EB%B2%88%EC%A7%B8-%EC%97%B4%EC%9D%84-%EA%B8%B0%EC%A4%80%EC%9C%BC%EB%A1%9C-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EC%A0%95%EB%A0%AC/ [bash] 파일의 두 번째 열을 기준으로 데이터 정렬 - 리뷰나라 두 개의 열과 n행 수의 파일 이 있습니다. 열 1은 names및 열 2를 포함 age합니다. 이 파일의 내용을 age(두 번째 열)을 기준으로 오름차순으로 정렬하고 싶습니다 . 결과는 name가장 어린 사람 name과 그 다음에 가장 어린 사람 등을 표시해야합니다. 하나의 라이너 쉘 또는 bash 스크립트에 대한 제안. 답변 다음 sort명령을 사용할 수 있습니다 . sort -k2 … [bash] 파일의 두 번째 열을 기준으로 데이터 정렬 더 보기 » daplus.n

원문보기 내부링크
Naver Blog

Mask R-CNN(2017)

#MaskRCNN #Segmentation >> Faster R-CNN에 mask branch를 추가하였고, object detection에서 사용한 ROI pool을 ROI Align으로 대체함. 다양한 스케일을 사용하기 위해 FPN 추가. >> cls loss + bbox loss + mask loss로 loss function 계산함. >> mask loss는 (mask*class)^2 크기의 feature map의 각 cell에 sigmoid 적용해서 loss 구함 >> backbone feature map -> RPN -> ROIs -> ROI Align -> stage2(예측하기위한) feature map 얻음. >> class branch, bbox branch : -> fc layer -> class, bbox >> mask branch : -> conv(FCN구조) -> segmentation mask >> m x m 크기의 k개 mask를 예측 >> ROI pool

원문보기 내부링크
Naver Blog

RON(2017)

#RON #ObjectDetection >> multi-scale 문제 : reverse connection -> FPN >> object, non-object 불균형 : objectness prior -> RPN >> down sampling 하면서 scale 별로 detection 수행. 논문에서는 conv4,5,6,7 4개의 feature map에서 각각 5개의 anchor box 사용 총 20개 [reverse connection] >> bottom-up 이후 top-down 할 때, deconv를 사용함. >> reverse connection은 3x3 conv 사용, FPN에서는 1x1 conv >> anchor box는 SSD랑 유사하게 고정 aspect ratio사용 [objectness prior] >> anchor box에 gt에 일정 iou 조건에 따라 positive sample 되는 경우는 소수임. 그래서 negative sample이 많아지고, 악영향을 주게

원문보기 내부링크
Naver Blog

DCN(2017)

#DCN #ObjectDetection #Segmentation >> DCN은 deformable conv와 deformable ROI pooling 두 가지를 제안함. translation-invariance가 있어서 OD와 segmentation에 안 좋은 영향을 줌. 그래서 좀 더 유연한 특징 추출 방법을 제안하였음. yolact에 사용함. >> conv와 pooling에 deformable offset 추가하여 receptive field가 객체의 크기에 맞게 변화됨. [deformable convolutional networks] >> input feature map에 2가지 branch로 쪼개짐. >> branch1은 conv layer를 수행하여 offset을 생성. >> branch2는 offset을 받아 conv 연산 후 output feature map을 생성. >> 고정된 kernel size를 사용하는게 아니라, 좀 더 다양한 범위의 특징을 추출하기 위해 off

원문보기 내부링크
Naver Blog

ShuffleNetV2(2018)

#ShuffleNetv2 #Classification >> 연산량은 inference속도와 절대적인 관계가 없기 때문에, 연산량을 줄이기보다 inference speed에 집중함 >> MAC(memory access cost), degree of parallelism 등 하드웨어마다 연산 성능이 다르기 때문에, 하드웨어에서 지원하는 layer에 맞춰서 구조를 변경해야함 >> shufflenetv2는 FLOPs가 아닌 MAC에 집중하였음. >> pointwise conv 사용할 때, 입출력은 동일한 크기일 때 성능이 좋음 >> group conv는 FLOPs를 감소시키지만, MAC을 증가시켜 조절해서 써야함. >> AutoML로 만든 block들은 gpu에 최적화 되어 있지 않기 때문에 재작업함. >> element-wise operation(add, concat 등)은 gpu에서 큰 비중을 차지하기 때문에, 사용을 줄여야함 (FLOPs는 감소하고, MAC은 증가) >> 이러한 가이드

원문보기 내부링크
Naver Blog

CondenseNet(2018)

#CondenseNet #Classification >> 경량화 모델로 densenet의 feature reuse를 활용하고, learned group conv를 제안함. group conv와 densenet의 문제점을 개선하였음. >> densenet + weight pruning을 적용한 모델을 condensenet이라고함 >> densenet은 모든 레이어를 연결하여, feature를 재사용했는데 불필요한 부분도 있어서 pruning으로 제거함 >> condensing stage -> optimization stage -> testing >> condensing stage에서 sparsity training. l1-normalization으로 정규화하고, 중요하지 않은 값들을 0으로 처리하여 중요한 feature만 남김 >> optimization stage 남은 feature들로 다시 fine tuning https://deep-learning-study.tistory.com

원문보기 내부링크
Naver Blog

EfficientNet(2019)

#EfficientNet #Classification >> 이전에 리뷰했던 EfficientDet의 백본 모델. >> EfficientNet은 3가지를 효율적으로 조절할 수 있는 AutoML인 Nas를 수정한 compound scaling 방법을 제안합니다. >> 깊이, 너비, 입력 이미지 크기가 일정한 관계가 있다는 것을 실험적으로 찾아내고, 단계 별로 모델을 제시하였습니다. >> bag of tricks와 training refinements기법을 적용하였습니다. >> learning rate warn up, low-precision training, label smoothing, kowledgedistillation, mixup training을 통해 정확도를 향상시켰습니다. https://deep-learning-study.tistory.com/552?category=963091 [논문 읽기] EfficientNet(2019) 리뷰, Rethinking Model Scalin

원문보기 내부링크
Naver Blog

Pseudo Label(2013)

#PseudoLabel #semisupervised #Classification >> labeled data와 unlabeled data를 지도 학습 방법으로 동시에 학습하는 신경망. unlabeled data는 매번 가중치 업데이트마다 예측 확률이 가장 높은 클래스를 label로 사용 >> 손실 함수에서 상수인 a(t)를 추가하여 균형을 조절함. 적당히 늘려가면 local minima에 빠지는 것을 예방해준다고함. >> class boundary가 Low-Density regions에 있어야함. >> 오버피팅을 막아주는 느낌인데, 아직 정확히 이해안됨. https://lv99.tistory.com/79 Semi-Supervised Learning(준지도학습)과 Pseudo-labeling(수도레이블링) 개념정리 1. 레이블과 학습 지도학습(Supervised Learning)은 정답 레이블 데이터가 있는 학습을 말하고, 비지도학습(Unsupervised Learning)은 정답 레

원문보기 내부링크
Naver Blog

FixEfficientNet(2020)

#FixEfficientNet #Classification >> noisy student의 성능을 뛰어넘은 모델. >> classification에서 train 할 때는 random crop, test는 center crop하므로 이미지 사이즈가 다름. >> test image 사이즈에 맞게 해상도 조절하여 fine tuning 했더니 acc가 증가하였음. https://yeomko.tistory.com/43 갈아먹는 Image Classification [2] Fixing the train-test resolution discrepancy 들어가며 이번에 살펴볼 논문은 이미지넷 리더보드에서 현재 1위를 기록 중인 FixEfficientNet의 핵심이 되는 FixRes 기법을 소개한 Fixing the train-test resolution discrepancy입니다. 해당 논문은 신경망의.. yeomko.tistory.com https://deep-learning-study.tis

원문보기 내부링크
Naver Blog

Meta Pseudo Labels(2020)

#MetaPseudoLabels #Classification #semisupervised >> 정확하지 않은 psuedo label을 학습하는 noisy student 기법의 단점을 개선하였음. >> student는 teacher에서 생성된 pseudo labeled data로 학습을 하고, teacher은 student가 labeled image에 대해 얼마나 잘 작동하는지의 reward signal로 학습(teacher model loss에 적용) >> teacher가 확증 편향에 빠지지 않게 student와 서로 피드백 >> vit 나온 이후 meta pseudo efficientnet이 SOTA 달성하였음. https://kmhana.tistory.com/33 [논문요약] Semi-superviesd의 정수 - Meta Pseudo Labels(2021) *크롬으로 보시는 걸 추천드립니다* https://arxiv.org/pdf/2003.10580v4.pdf 종합 : 1.

원문보기 내부링크
Naver Blog

DeepLabV1(2014)

#deeplabv1 #segmentation >> segmentation에 cnn을 적용하려면 두가지 장애물이 있음. down-sampling과 invariance >> down-sampling(maxpooling)으로 중요한 부분만 추출되어 디테일 손실됨 -> atrous conv(dilated cone)로 해결 >> invariance -> CRF로 해결 [down-sampling 문제] >> dense network 구조를 변경하여 sparsely하게 feature를 추출함 >> receptive field size를 조절함 -> fc layer 사이즈를 7x7에서 4*4로 변경 [invariance 문제] >> 경계를 잘 못잡아내는 문제를 해결해야함. >> 특정 카테고리에 속할 확률 = 카테고리에 속할 확률(θi)+ 같은 카테고리에 속할 확률(θij) >> 비슷한 위치, 색상의 픽셀은 같은 카테고리 paper : https://arxiv.org/abs/1412.7062 cod

원문보기 내부링크
Naver Blog

DeConvNet(2015)

#DeConvNet #Segmentation >> conv network로 feature를 추출하고, deconv network로 feature의 object segmentation을 생성 >> fcn은 single scale이므로 작거나 큰 객체는 mislabeled되거나 잘게 쪼개짐. upsampling으로 bilinear interpolation을 쓰면 성능 떨어짐. >> deconvolution network에는 unpooling과 deconv 연산으로 구성됨. >> max pooling할 때 max value의 index를 저장하고, unpooling할 때, 저장한 index에 max value 복원함 -> sparse 해짐 (“example-specific”) 자세한 구조 잡아냄 >> deconv(transposed con) -> 입력값을 3x3 영역에 배치하고, 겹치는 부분은 sum해서 연산 수행 -> 빈 부분 채우기 (“class-specific”) paper : ht

원문보기 내부링크
Naver Blog

DSSD(2017)

#DSSD #Objectdetection >> ssd의 backbone을 vgg에서 resnet101로 교체하고, deconv network를 추가하였더니 SOTA 달성함 >> prediction layer에 residual block을 추가하여, 피쳐 재사용함. >> deconv에서 upsampling할때에 bilinear interplation을 사용해서 아쉬움. >> positive:negative = 3:1 비율로 사용함 https://deep-learning-study.tistory.com/566?category=968059 [논문 읽기] DSSD(2017) 리뷰, Deconvolutional Single Shot Detector 안녕하세요! 이번에 읽어볼 논문은 DSSD, Deconvolutional Single Shot Detector 입니다. DSSD는 SSD에 세 가지 변화를 주었습니다. 첫 번째는 base network를 VGG가 아닌 ResNet-101을 사용합니

원문보기 내부링크
Naver Blog

MobileNetV2(2018)

#MobileNetv2 #Classification >> mobilenetv2는 ReLU 함수를 거치게 되면 정보가 손실된다는 것에 영감을 받아 이를 최소화하기 위해 Inverted Residuals와 Linear Bottlenecks를 제안함 >> depthwise convolution연산시 채널별로 쪼개서 계산하는데 relu함수 적용시 0으로 처리될때가 많음. 그래서 채널수가 적을때는 리니어하게해야함 >> linear bottenecks는 레이어에 채널 수가 적다면 linear activation을 사용합니다. 비선형 함수인 relu를 사용하게 되면 정보가 손실되기 때문입니다. >> inverted residuals는 기존의 BottleNeck 구조는 첫 번째 1x1 conv layer에서 채널 수를 감소시키고 3x3 conv로 전달합니다. 채널 수가 감소된 레이어에서 ReLU 함수를 사용하면 정보 손실이 발생하게 됩니다. 따라서 첫 번째 레이어에서 입력값의 채널 수를 증가시키고

원문보기 내부링크
Naver Blog

NasNet(2018)

#NasNet #Classification >> 강화학습으로 만든 모델로 SOTA 달성함. 나중에 efficientnet도 AutoML로 SOTA 달성 >> cifar10에서 conv block을 만들고, imagenet dataset을 학습하여 테스트하였음. normal cell과 reduction cell로 구성됨 >> hiden layer 두개로 부터 지정한 연산(pool, conv, depthwise_conv)을 선택하고, 두 레이어를 concat하거나 add하여 block을 만듬. 서치 방법은 random search https://deep-learning-study.tistory.com/543?category=963091 [논문 읽기] NasNet(2018) 리뷰, Learning Transferable Architectures for Scalable Image Recognition 이번에 읽어볼 논문은 NasNet, Learning Transferable Architec

원문보기 내부링크
Naver Blog

ShuffleNet(2018)

#ShuffleNet #Classification >> 경량화에 집중한 모델로 alexnet 동일한 정확도에 mobilenetv1보다 성능이 좋음. shufflenet도 depthwise conv사용함 >> pointwise group conv와 channel shuffle 사용 >> pointwise group conv를 사용해서 기존의 pointwise conv의 연산량을 줄임. >> channel shuffle을 사용하여 채널간 정보 교환해서 다양한 피쳐정보 사용가능해짐. residual(short cut) 버전과 그냥 버전 두가지 사용 https://deep-learning-study.tistory.com/544?category=963091 [논문 읽기] ShuffleNet(2018) 리뷰, An Extremely Efficient Convolutional Neural Network for Mobile Devices 안녕하세요! 이번에 읽어볼 논문은 ShuffleNet: An

원문보기 내부링크
Naver Blog

SENet(2018)

#SENet #Classification [squeeze and excitation] - squeeze > global ave pooling을 사용해 1차원 특징맵을 만들자. 중요한 정보만 추출하고, 피쳐맵에 가중치를 부여함(attention 효과) - filter r만큼 압축하자 - Excitation은 Squeeze에서 생성된 (1x1xC)벡터를 정규화하여 가중치를 부여하는 역할 - filter를 다시 키우고 sigmoid activation을 사용하자 - feature맵에 곱하기 - 원래과정 GAP - FC1 - ReLU - FC2 - Sigmoid - low level 에서는 클래스랑 상관없이 특징을 추출하고, high level에서는 클래스랑 관련있는 특징추출 https://deep-learning-study.tistory.com/539?category=963091 [논문 읽기] SENet(2018) 리뷰, Squeeze-and-Excitation Networks 이번에 읽

원문보기 내부링크
Naver Blog

DenseNet(2017)

#DenseNet #Classification >> dense block과 transition layer로 구성되어있음. dense block은 모든 정보를 각 conv에 전달하여 정보 손실을 최소화함. concat하기 때문에 필터 수는 같음. transition layer에서 pooling하여 피쳐맵 크기랑 채널 수 감소 >> densenet에서 연산량이 많기때문에, cspnet에서 연산량을 감소시켰다. https://deep-learning-study.tistory.com/528?category=963091 [논문 읽기] DenseNet(2017) 리뷰, Densely Connected Convolutional Networks 이번에 읽어볼 논문은 DenseNet, 'Densely Connected Convolutional Networks'입니다. DenseNet은 ResNet과 Pre-Activation ResNet보다 적은 파라미터 수로 더 높은 성능을 가진 모델입니다. De

원문보기 내부링크
Naver Blog

Xception(2017)

#Xception #Classification >> 새로운 inception 모듈, Depthwise separable convolution(depthwise conv + pointwise conv)을 활용하여 감소한 파라미터 수 많큼 층을 쌓아 성능을 높이는데 집중 >> xception은 pointwise conv 먼저하고, depthwise conv하여 기존의 inception보다 효과적임. inception에서 사용했던 relu 사용하지 않음. mobilenet에서도 relu6사용 >> mobilenet에 적용함 https://deep-learning-study.tistory.com/529?category=963091 [논문 읽기] Xception(2017) 리뷰, Deep Learning with Depthwise Separable Convolutions 이번에 읽어볼 논문은 Xception: Deep Learning with Depthwise Separable Convolu

원문보기 내부링크
Naver Blog

MobileNet(2017)

#Mobilenet #Classification >> mobilenet은 depthwise convolution과 pointwise convolution을 활용하여 모델을 경량화 하고, 모바일디바이스에서 사용할 수 있는 모델을 제시하였습니다. dw conv는 입력 이미지 혹은 피쳐맵을 각 체널별로 쪼개서 컨볼루션 연산을 적용합니다. 이렇게하면 3차원 필터가 2차원으로 줄어들수 있습니다. pw conv는 이렇게 만든 피쳐맵에 1x1 컨볼루션을 적용해서 차원을 줄여줍니다. 이러한 과정을 통해서 파라미터 수와 연산량을 감소시킵니다. https://deep-learning-study.tistory.com/532?category=963091 [논문 읽기] MobileNet(2017) 리뷰, Efficient Convolutional Neural Networks for Mobile Vision Applications 이번에 읽어볼 논문은 MobileNets: Efficient Convoluti

원문보기 내부링크
Naver Blog

PolyNet(2017)

#PolyNet #Classification >> inception v2에서 inception모듈을 poly inception 모듈로 교체하였음. 인셉션 모듈을 다항식(polynomidal)구조로 쌓아 다양하게 변경하고 성능을 높임, poly, mpoly, 2way, 3way등 >> 3way -> mpoly-3 -> poly-3 사용했을때 SOTA달성함 https://deep-learning-study.tistory.com/535?category=963091 [논문 읽기] PolyNet(2017) 리뷰, PolyNet: A Pursuit of Structural Diversity in Very Deep Networks 안녕하세요! 이번에 소개할 논문은 PolyNet: A Pursuit of Structural Diversity in Very Deep Networks 입니다. PolyNet은 ILSVRC2016 대회에서 3등을 차지한 모델입니다. Inception-ResNet-v2 를

원문보기 내부링크
Naver Blog

Residual Attention Network(2017)

#ResidualAttentionNetwork #Classification >> attention 개념 적용하여 모듈 만듬(inception, residual 조합). 중요한 부분에 가중치 부여. 배경제거하고 더 attention하는 효과있음, soft mask branch와 trunk branch로 구성 >> trunk branch - 입력값으로 특징 추출. 최신 모듈 사용(그림 오른쪽) >> soft mask branch - down sample(pooling), upsample해서 중요한 특징만 살려냄. 특징을 강조하고 배경 제거(그림 왼쪽) >> (1+soft mask branch)*trunk branch로 해서 smb값이 trunck 출력값에 가중치를 줌 안녕하세요! 이번에 소개할 논문은 Residual Attention Network 입니다. Residual Attention Network는 자연어 처리에서 활발하게 이용하고 있는 Attention에서 영감을 받아 탄생한

원문보기 내부링크
Naver Blog

10년뒤엔 100배 성장 ‘플라잉카 시대’ 집중분석

https://n.news.naver.com/article/023/0003682363 [WEEKLY BIZ] “너에게 날아갈게” 3년 뒤엔 현실이다 [Cover Story] 10년뒤엔 100배 성장 ‘플라잉카 시대’ 집중분석 윤석열 대통령 당선인이 대통령 집무실을 서울 광화문에서 용산 국방부 자리로 옮기는 계획을 추진하면서 UAM(Urban Air Mobilit n.news.naver.com [WEEKLY BIZ] [Cover Story] 10년뒤엔 100배 성장 ‘플라잉카 시대’ 집중분석 상용화가 2~3년 앞으로 다가온 도심 항공 교통(UAM) 시대를 맞아 전기 배터리로 수직 이착륙할 수 있는 항공기인 eVTOL 개발이 앞다퉈 이뤄지고 있다. ①독일 볼로콥터의 '볼로시티'와 ②중국 이항의 '이항216', ③에어버스의 '시티에어버스 넥스트젠'. /볼로콥터·이항·에어버스 윤석열 대통령 당선인이 대통령 집무실을 서울 광화문에서 용산 국방부 자리로 옮기는 계획을 추진하면서 UAM(Urba

원문보기 내부링크
Naver Blog

추천시스템 연구 동향

https://www.koreascience.or.kr/article/JAKO201512053817215.pdf 딥러닝 기반 wide&deep autoencoder neural collaborative filtering deep factorization machine

원문보기 내부링크
Naver Blog

DPN(2017) 리뷰

#DPN #Classification >> residual network와 dense network를 합쳐서 만든 dual path networks. >> resnet, resnext 백본을 사용하고, residual block의 입력값에서 residual path의 1x1, densly path의 1x1을 받고, 출력 부분에서 다시 나누어 적용 https://deep-learning-study.tistory.com/538?category=963091 [논문 읽기] DPN(2017) 리뷰, Dual Path Networks 이번에 읽어볼 논문은 DPN, Dual Path Networks 입니다. DPN은 ILSVRC Object Localization task에서 1위를 차지한 모델입니다. DPN은 DenseNet과 ResNet의 장점을 활용한 모델입니다. Dual Path Network 이름.. deep-learning-study.tistory.com 이번에 읽어볼 논문은 DPN,

원문보기 내부링크
Naver Blog

Inception-v2, v3(2015)

#Inceptionv2 #Inceptionv3 #Classification >> 연산량 최소화해서 메모리가 제한된 edge device에서 사용하자 >> 3x3 conv보다 큰 필터는 다 3x3 여러번으로 바꿔서하고, linear가 아닌 relu activation을 사용하는게 더 좋다. 3x3보다 작을때는 1xn, nx1로 바꿔서하자 >> 기존 label이 [0, 1, 0, 0]이면 레이블 스무딩을 실시하고 [0.025, 0.925, 0.025, 0.025]가 됩니다. 정답에 대한 확신을 감소시켜 일반화 >> GoogLeNet논문에서 Auxiliary Classifiers(1x1 conv)를 적용하면 성능은 안올라가지면 정규화 효과있음 >> Inception-v3은 Inception-v2에서 BN-auxiliary + RMSProp + Label Smoothing + Factorized 7x7 을 다 적용한 모델 https://deep-learning-study.tistory.co

원문보기 내부링크
Naver Blog

WRN(2016) - Wide Residual Networks

#block #classification #residual #ResNet #wideresidualnetworks #wideresnet #WRN >>깊이를 늘리는 대신 넓이를 키웠더니 학습도 빠르고 정확도도 높음 >> residual block내의 conv layer 사이에 dropout을 적용 https://deep-learning-study.tistory.com/519?category=963091 [논문 읽기] WRN(2016) 리뷰, Wide Residual Networks 이번에 읽어볼 논문은 WRN, Wide Residual Networks 입니다. WRN은 residual netowrk의 넓이를 증가시키고 깊이를 감소시킨 모델입니다. 16 layer로 이루어진 WRN은 1000-layer ResNet 같은 깊은 신경망을 제.. deep-learning-study.tistory.com 이번에 읽어볼 논문은 WRN, Wide Residual Networks 입니다. WRN은 r

원문보기 내부링크
Naver Blog

SqueezeNet(2016)

#SqueezeNet #Classification >> 경량화 모델, 스퀴즈넷은 Fire 모듈 - squeeze block(3x3 conv대신 1x1conv 사용)과 expand block 사용 >> resnet의 skip connection과 같은 bypass 추가하여, 정보 손실을 줄임 >> 이전에 squeezenet bacbone ssd를 사용했었는데, mobilenetssd에 비해서 크게 성능이 떨어지지않았다 https://deep-learning-study.tistory.com/520?category=963091 [논문 읽기] SqueezeNet(2016) 리뷰, AlexNet-Level Accuracy with 50x fewer parameters and <0.5 MB Model SIze SqueezeNet, AlexNet-Leval Accuracy with 50x fewer parameters and 우선, (1) 연산량이 적기 때문에 학습이 빠릅니다. (2) 실시간으로

원문보기 내부링크
Naver Blog

Inception-v4(2016)

#Inceptionv4 #Classification >> 실험 결과에서 보았듯이, Residual connection은 현격하게 학습 속도를 높여줄 수는 있지만, Residual connection의 여부와 상관없이 성능은 결국 Model size의 문제(virtue of the increased model size)라고 결론을 내립니다. 이번에 소개할 논문은 2017년에 나온 Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning 입니다. 저자는 Szegedy 입니다. Inception-v1(GoogLeNet), Inception-v2, v3은 이미지 분류 대회에서 항상 좋은 성적을 거둬왔습니다. Inception 계열의 특징은 적은 파라미터수를 갖지만 모델이 다소 복잡합니다. 이 복잡성 때문에 VGGnet이 GoogLeNet보다 흔하게 사용되었죠. inceptio-v1에서 개선된 v4에는

원문보기 내부링크
Naver Blog

PyramidNet(2017)

#PyramidNet #Classification https://deep-learning-study.tistory.com/526?category=963091 [논문 읽기] PyramidNet(2017) 리뷰, Deep Pyramidal Residual Networks 이번에 소개할 논문은 PyramidNet, Deep Pyramidal Residual Networks 입니다. 저자는 Kaist대학의 Dongyoon Han님입니다. 한국 대학교가 등장하니 가슴이 벅차 오르네요..!! 일반적으로 CNN 모델은 pooling l.. deep-learning-study.tistory.com 이번에 소개할 논문은 PyramidNet, Deep Pyramidal Residual Networks 입니다. 일반적으로 CNN 모델은 pooling layer에서 memory 사용을 감소하고 고차원의 특징을 추출하기 위한 down-sampling 연산을 수행하고, filter 수를 급격히 증가시킵니다.

원문보기 내부링크
Naver Blog

RetinaNet(2017)

#RetinaNet #ObjectDetection &#62;&#62; retinanet은 false negative를 줄이기 위해, 모델이 예측하기 어려운 hard example에 집중하도록 focal loss를 제안하였습니다. resnet+fpn &#62;&#62; CEloss에서 easy example이 엄청나게 많아지면 대부분의 loss를 차지하게 되어 hard example의 영향을 감소시킵니다. 그래서 focal loss를 적용하여 예측이 쉬울수록 가중치에 영향을 주지 못하게 하여 easy example의 영향을 감소 시키고, hard example에 집중하도록 처리합니다 &#62;&#62; YOLOV3 나오기 전에 one-stage model로 비슷한 접근 방법 https://deep-learning-study.tistory.com/504?category&#x3D;968059 RetinaNet 논문은 모델이 예측하기 어.......

원문보기 내부링크
Naver Blog

Pre-Activation ResNet(2016)

#PreActivationResNet #Classification https://deep-learning-study.tistory.com/510?category&#x3D;963091 이번에 소개할 논문은 Pre-Activation ResNet, Identity Mappings in Deep Residual Networks 입니다. ResNet은 skip connection을 활용해 신경망이 수렴이 잘 되도록 하여 층을 깊게 쌓아 정확도를 높인 모델입니다. Pre-Activation ResNet은 기존의 residual block 구조에 활성화 함수의 순서를 바꿔 성능을 끌어올렸습니다. 입력값을 BN과 활성화 함수를 거친 뒤에 convolution layer에 전달한 것입니다. 아래 그림에서 기존 residual block과 pre-activation residual block을 확인할 수 있습니다. 학습곡선에서 점선은 training lo.......

원문보기 내부링크
Naver Blog

YOLO v2 (2017)

#YOLOV2 #ObjectDetection &#62;&#62; 기존 yolo에서는 예측하는 박스는 어떠한 형태일 것이다라는 사전 정보없이 그냥 박스를 예측하였고, 박스의 크기나 위치가 중구난방이 될 우려가 있었습니다. 그렇기 때문에, 앵커 박스를 설정하였습니다. 그리고 yolo에서 cnn을 통과한 마지막 레이어의 피쳐맵만 사용하여 작은 물체에 대한 정보가 사라지기 때문에 상위 레이어의 피쳐맵을 하위 피쳐맵에 합쳐주는 passthrough layer를 도입하였습니다. 또한 dropout layer를 제거하고 batch normalization을 추가하였고, 높은 해상도의 백본 네트워크를 사용하였습니다. 학습시 10배치시마다 입력 이미지의 해상도를 바꿔주며 학습을 진행합니다. &#62;&#62;.......

원문보기 내부링크
Naver Blog

SPPnet (2014) - Spatial Pyramid Pooling Network

#SPPnet #ObjectDetection [sppnet] &#62;&#62; sppnet은 rcnn이 2천개의 영역에 cnn 통과시켜서 너무 느리기 때문에, 입력 이미지를 그대로 CNN에 통과시켜 피쳐 맵을 추출한 다음, 그 feature map에서 2천개의 물체 영역을 찾아 SPP를 적용하여 고정된 크기의 feature를 얻어냅니다. 그리고 이를 FC와 SVM Classifier에 통과시킵니다. [spp layer] &#62;&#62; 먼저 Conv Layer들을 거쳐거 추출된 피쳐맵을 인풋으로 받습니다. 그리고 이를 미리 정해져 있는 영역으로 나누어 줍니다. 4x4, 2x2, 1x1 세 가지 영역을 제공하며, 각각을 하나의 피라미드라고 부릅니다. 피라미드의 한 칸을 bin 이라고 합니다. 이제 각 bin에서 가장 큰 값만 추출하는 m.......

원문보기 내부링크
Naver Blog

Fast R-CNN(2014) 리뷰

#FastRCNN #ObjectDetection &#62;&#62; 전체 이미지를 미리 학습된 cnn을 통과시켜 피처맵을 추출합니다. 그리고 selective search를 통해서 찾은 각각의 roi에 대해 roi pooling을 진행합니다. 그 결과로 feature vector를 얻을 수 있고 feature vector를 fc layer에 통과합니다. fc layer에 나온 결과물에서 softmax로 어떤 물체인지 클래스 정보를 얻고, bounding box regression에서 박스의 위치를 조정합니다. &#62;&#62; 이제 svm 사용 안하고, 단점은 roi 별로 다 pooling 해야합니다. &#62;&#62; roi 풀링은 spp와 동일하며 피라미드가 한개 https://deep-learning-study.tistory.com/456?category&#x3D;968059 Fast R-CNN Fast R-CNN은 R-CNN.......

원문보기 내부링크
Naver Blog

Faster R-CNN (2015)

#FasterRCNN #ObjectDetection &#62;&#62; Faster RCNN에서의 RPN(Region Proposal Network)은 먼저 pretrained 된 VGG를 통과한 피쳐맵을 전달받습니다. 해당 피쳐맵에 3x3 컨볼루션을 적용하여 Intermediate Layer라는 피쳐맵을 생성합니다. 이를 각각 1x1 컨볼루션을 양갈래로 적용하여 각 엥커 박스가 object인지 여부와 bounding box regression을 수행해줍니다. &#62;&#62; 앵커박스를 적용함 https://deep-learning-study.tistory.com/464?category&#x3D;968059 이번에 읽어볼 논문은 &#x27;Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks&#x27; 입니다. Fast R-CNN과 R-CNN에서 region proposals는 select.......

원문보기 내부링크
Naver Blog

ResNet(2015)

#ResNet #Classification &#62;&#62; resnet은 네트워크 깊이에 따라 resnet50, resnet100, resnet150으로 구성되어있습니다. vggnet과 같은 plaing network가 깊어질수록 기울기 소실문제가 발생하기 때문에 입력을 몇 layer 이후 출력값에 더해주는 shortcut connection을 사용합니다. https://deep-learning-study.tistory.com/473?category&#x3D;963091 이번에 읽어볼 논문은 ResNet, &#x27;Deep Residual Learning for Image Recognition&#x27; 입니다. ResNet은 residual repesentation 함수를 학습함으로써 신경망이 152 layer까지 가질 수 있습니다. ResNet은 이전 layer의 입력을 다음 layer로 전달하기 위해 skip connection(또는 shorcu.......

원문보기 내부링크
Naver Blog

OHEM(2016)

#OHEM #ObjectDetection &#62;&#62; 최신 기법에도 불균형 문제가 존재하며 배경과 객체 proposal 비율은 70:1이다. 많은 hard example을 추가하여 학습하자. hard example을 샘플링하는 ROI pooling layer를 추가함. false positive가 많이 감소하는 효과를 얻어냄 https://deep-learning-study.tistory.com/501?category&#x3D;968059 안녕하세요! 이번에 읽어볼 논문은 OHEM, Training Region-based Object Detectors with Online Hard Example Mining 입니다. 모델 구조를 개선시켜 성능을 향상시킨 논문이 아니라, 샘플링 방법을 개선하여 모델의 성능을 향상시킨 논문입니다. RetinaNet 논문을 읽다가 OHEM에 대한 내용이 이해가 안되서 OHEM을.......

원문보기 내부링크
Naver Blog

GoogLeNet (2014)

#GoogLeNet #Classification #Auxiliaryclassifier https://deep-learning-study.tistory.com/389?category&#x3D;963091 https://technical-support.tistory.com/87 이번에 공부할 논문은 &#x27;Going deeper with convolutions&#x27; (GoogLeNet)입니다. LeNet-5를 시작으로 CNN은 이미지 분류에서 일반적인 구조가 되었습니다. CNN 구조에 dropout, pooling, ReLu, GPU 기법이 적용된 AlexNet이 ILSVRC 2012년 대회에서 우승을 차지하고 CNN을 세상에 알리게 됩니다(이전까진 머신러닝 기법이 대회를 우승했습니다). 2년 뒤 Inception block을 적용한 CNN 모델인 GoogLeNet이 ILSVRC 2014년 대회에서 우승을 차지하게 됩니다. GoogLeNet을 우승.......

원문보기 내부링크
Naver Blog

VGGNet(2014)

#VGGNet #Classification 뉴럴 네트워크는 깊이가 증가하면 정확도가 좋아집니다. vggnet에서는 3x3 필터로 세 차례 컨볼루션하면 가중치는 27개이고 7x7 한번 컨볼루션하는 것은 가중치가 49개이기 때문에 3x3 필터로 세번 컨볼루션하는 것이 가중치가 적습니다. 가중치가 적다는 것은 학습의 속도가 빨라지기때문에 3x3 필터를 적용하여 네트워크를 구성하였습니다 https://deep-learning-study.tistory.com/398?category&#x3D;963091 안녕하세요 이번에 읽어볼 논문은 &#x27;Very Deep Convolutional Networks for large-scale image recognition&#x27;(VGGNet) 입니다. VGGNet은 19 layer를 지닌 깊은 network로 ILSVRC 2014 대회에서 2등을.......

원문보기 내부링크
Naver Blog

R-CNN (2013) 리뷰

#RCNN #Classification &#62;&#62; rcnn 알고리즘은 input 이미지를 selective search로 객체가 있을만한 약 2천여개의 부분을 찾아냅니다. 찾아낸 부분을 일정크기로 리사이즈하고 cnn을 적용하여 특징을 추출합니다. 해당 특징을 가지고 svm classifier를 적용하여 객체에 대한 정보를 뽑아냅니다. https://deep-learning-study.tistory.com/410?category&#x3D;968059 읽어볼 논문은 R-CNN &#x27;Rich feature hierarchies for accurate object detection and semantic segmentation&#x27; 입니다. R-CNN은 region proposals와 CNN이 결합된 Regions with CNN의 약자입니다. R-CNN이 등장하기 전 HOG와 SHIFT를 활용한 Object detection 성능은 몇.......

원문보기 내부링크
Naver Blog

YOLO v1 (2016) 리뷰

#YOLOV1 #ObjectDetection &#62;&#62; 입력이미지를 S X S 그리드 영역으로 나눕니다. 각 그리드 영역에서 먼저 물체가 있을 만한 영역에 해당하는 B개의 Bounding Box를 예측합니다. 하나의 박스는 중심점 x와 y, 너비와 높이 w,h 신뢰도 지수 C (x, y, w, h, C) 다섯개 차원의 벡터로 구성되어 있고, 클래스에 대한 정보도 포함(voc 20개). nms를 통해 박스를 그려줍니다. &#62;&#62; 각 그리드별로 예측하기 때문에 그리드 크기 보다 작은 물체를 잡아내지 못하는 문제가 있음. 예를 들어 새 떼가 모여있는 경우. 앵커사용x https://deep-learning-study.tistory.com/430?category&#x3D;968059 이번에 리뷰할 논문은 &#x27;You Only Look Once: Un.......

원문보기 내부링크
Naver Blog

Computer vision 분야에서의 Self-Attention

#Attention #selfattention Transformer 네트워크가 도입된 이래로, 딥러닝에서의 Attention 메커니즘은 NLP 커뮤니티를 비롯한 기계 번역에서 큰 인기를 누리고 있습니다. 하지만, 컴퓨터 비전에서는 Convolutional neural networks(CNN)이 여전히 표준이고, Self-attention은 기존의 CNN 아키텍처를 보완하거나 대체하는 등 서서히 연구의 중심으로 들어오기 시작한 상황입니다. 이 글에서 저는 visual self-attention의 최근 발전을 보이고 가능한 이점을 강조할 것입니다. 이를 위해 저는 최신 Self-attention 기술을 담은 세 가지의 논문을 이야기할 것입니다. 첫 번째 논문은 제가 가장 편안하게 느끼는 의료 이미지 분석에 관한 논문입니.......

원문보기 내부링크
Naver Blog

LeNet-5 (1998)

#LeNet https://deep-learning-study.tistory.com/368?category&#x3D;963091 가장 기본적인 CNN 구조인 LeNet-5 논문을 읽어보고 파이토치로 직접 구현해보면서 CNN에 대한 이해도를 높여보겠습니다. LeNet-5은 1998년 Yann LeCun의 논문 &#x27;Gradient-Based Learning Applied to Document Recognition&#x27; 에 담겨있는 CNN 신경망의 구조를 의미합니다. 위 논문은 46page에 달하는 논문으로 문자 인식 업무에 CNN이 효과적인 이유에 대해 기술되어 있어, 읽어본다면 CNN에 대한 이해도를 높일 수 있을 것이라고 생각 합니다. 1. LeNet-5 등장 배경 LeNet-5은 Yann LeCun이 손으로 적힌 우편 번호를 전통적인 방법보다 효율적으로 확인하기 위.......

원문보기 내부링크
Naver Blog

AlexNet(2012)

#AlexNet #Classification https://deep-learning-study.tistory.com/376?category&#x3D;963091 이번에 읽어볼 논문은 &#x27;ImageNet Classification with Deep Convilutional Neural Networks&#x27;(AlexNet) 입니다. AlexNet 컴퓨터 비전 분야의 &#x27;올림픽&#x27;이라 할 수 있는 ILSVRC(ImageNet Large-Scale Visual Recognition Challenge)의 2012년 대회에서 AlexNet이 Top 5 test error 기준 15.4%를 기록해 2위(26.2%)를 큰 폭으로 따돌리고 1위를 차지했습니다. (Top 5 test error란 모델이 예측한 최상위 5개 범주 가운데 정답이 없는 경우의 오류율을 말합니다.) 이 AlexNet 덕분에 딥러닝, 특히 CNN이 세간의 주목을 받게 되었으며.......

원문보기 내부링크
Naver Blog

Amazon SageMaker Training Job에 가장 적합한 데이터 소스 선택 (s3, FastFile, Fsx Lustre)

#SageMaker #AWS #TrainingJob #s3 #FastFile #FsxLustre https://hyperedge.tech/2022/02/23/choose-the-best-data-source-for-your-amazon-sagemaker-training-job/ Amazon SageMaker 는 기계 학습(ML) 모델을 쉽게 구축, 교육 및 배포할 수 있는 관리형 서비스입니다. 데이터 과학자는 SageMaker 교육 작업을 사용하여 ML 모델을 쉽게 교육합니다. 컴퓨팅 리소스 관리에 대해 걱정할 필요가 없으며 실제 교육 시간에 대해서만 비용을 지불하면 됩니다. 데이터 수집은 모든 교육 파이프라인의 필수적인 부분이며 SageMaker 교육 작업은 광범위한 교육 워크로드에 맞게 다양한 데이터 저장 및 입력 모드를 지원합니다. 이 게시물은 SageMaker ML.......

원문보기 내부링크
Naver Blog

THCState_getCurrentStream in torch1.5

torch 1.4에서 썼었던 THCState_getCurrentStream은 torch 1.5로 변경되면서 at::cuda::getCurrentCUDAStream().stream()로 바뀌었다 orginal error: /ops/deformable_convolution/src/cuda/dcn_v2_cuda.cu(107): error: identifier &#34;THCState_getCurrentStream&#34; is undefined /ops/deformable_convolution/src/cuda/dcn_v2_cuda.cu(279): error: identifier &#34;THCState_getCurrentStream&#34; is undefined 2 errors detected in the compilation of &#34;/tmp/tmpxft_0000125b_00000000-6_dcn_v2_cuda.cpp1.ii&#34;. I change createBatchGemmBuffer&#60;&#60;&#60;grid, block, 0, THCState_getCurrentStream(state)&#62;&#62;&gt.......

원문보기 내부링크
Naver Blog

conda 환경에서 python opencv gpu 버전 설치하기

#opencv-python #cuda #cv2.cuda conda 환경에서 opencv-python gpu 버전 설치하기 설치 환경 conda python 3.7.11 nvidia-driver 440.33 cuda 10.2 ubuntu 16 conda 환경에서 opencv python을 사용하기 위해서는 pip3 install opencv-python 위와 같은 방법으로 설치합니다. 하지만 only cpu 버전이기 때문에 gpu 버전으로 다시 컴파일해야합니다. -DCUDA_ARCH_BIN GPU&#x27;s arch에 맞게 세팅합니다. (pascal gpu는 6.1) 위 스크립트를 실행하면 whl 파일이 생성됩니다. opencv cuda resize 예제 코드 테스트 환경은 아래와 같습니다 gpu : TitanX cpu : Intel(R) Xeon(R) CPU E5-2620 v4 @ 2.10GHz 1392장 변환 결과 CPU : 100%|.......

원문보기 내부링크
Naver Blog

python requests로 데이터 가져올 때 403 forbidden 문제

requests header를 변경하여도 reCAPTCHA 때문에 차단될때가 많다. 아래 레파지토리를 적용하여 우회하자. pip install cfscrape https://github.com/Anorov/cloudflare-scrape

원문보기 내부링크
Naver Blog

LoFTR: Detector-Free Local Feature Matching with Transformers CVPR 2021 리뷰

https://zju3dv.github.io/loftr/ LoFTR 모델은 Image Feature Matching 부분 SOTA모델입니다. Transfomer 모듈을 CNN에 추가하여 SOTA를 달성하였고, 기존 SOTA모델인 SuperGlue모델보다 성능이 좋습니다. 리뷰한 블로그가 따로 없어서 리뷰를 작성하였습니다. Abstract LoFTR은 텍스처가 낮거나 모션 블러 또는 반복적인 패턴이 있는 불명확한 영역에서도 고품질의 semi-dense matches를 추출할 수 있습니다. local image feature matching을 위한 새로운 방법을 제시합니다. image feature detection, description, matching를 순차적으로 수행하는 대신, 먼저 대략적인 수준에서 pixel-wise dense matches(픽셀 단위)를 설정하고 나중에 fine.......

원문보기 내부링크
Naver Blog

Docker | 도커 이미지 종류

#Docker #slim #buster #alpine #jessie #stretch #jessie https://no-easy-dev.tistory.com/entry/Docker-Docker-Image-Differences 이미지 종류 name:version name:version-stretch name:version-buster name:version-jessie name:version-slim name:verseion-alpine name:version 기본적으로 Docker는 name:version에 해당하는 버전을 사용합니다. (Base 이미지) 해당 버전의 이미지는 가장 최근의 안정적인 데비안 운영 체제 릴리스를 기반으로 합니다. ex) python:3.8.3 name:version-stretch, name:version-buster, name:version-jessie stretch, buster, jessie 태그가 붙은 이미지의 경우 다양한 데비안 릴리스의 코드명 입니다. ex) pyt.......

원문보기 내부링크
Naver Blog

ssh 원격 접속 에러(WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!)

/Users/유저이름/.ssh/known_hosts 파일을 열고 내용을 삭제해준다.

원문보기 내부링크
Naver Blog

리눅스 중복행 제거 uniq

#linux #uniq #sort 1 개요 리눅스 uniq /usr/bin/uniq 중복된 내용의 행이 연속으로 있으면 중복 없이 하나의 행으로 만들어 주는 리눅스 유틸리티 흔히 sort와 함께 사용함 -c 옵션을 붙이면 중복행의 개수를 출력함 2 실행예시 1: 기본 uniq root@zetawiki:~# cat fruits.txt orange apple apple orange orange apple root@zetawiki:~# cat fruits.txt | uniq orange apple orange apple 3 실행예시 2: sort 후 uniq root@zetawiki:~# cat fruits.txt | sort | uniq apple orange 4 실행예시 3: -c 옵션 리눅스 uniq -c 문서를 참고하십시오. root@zetawiki:~# cat fruits.txt | sort | uniq -c 3 apple 3 orange 5 참고 https://ko.wikipe.......

원문보기 내부링크
Naver Blog

MacOS ) m1 맥북 docker 설치하기 + 가상환경에 postgreSQL 띄워 보기

https://shanepark.tistory.com/194 이번엔 Windows에 Docker를 설치 해 보았으니, Mac에서도 Docker를 설치 해 보겠습니다. 예전에는 MySQL 이건 postgreSQL이건 무슨 DB를 설치 할 때 마다 로컬에 직접 설치를 했었는데요, 그러면 필요할때만 켜고 끄려고 해도 Terminal에 켜고 끄는 명령어를 입력 해 주어야 하고 이게 확인하기 전까지는 돌아가고 있는지 아닌지도 눈에 보이지가 않아 불편했는데요, 한번 Docker를 사용 해 보니 그 매력이 굉장해서 왠만한 건 이제 Docker로 돌리게 될 것 같습니다. 특히 Docker의 장점은 쉬운 설치 및 개발 환경 그대로 배포가 가능하다는 점 등이 있습니다. 특히 Docker Compose를 이용하면 yaml 포맷으로.......

원문보기 내부링크
Naver Blog

Build K-Nearest Neighbor (k-NN) Similarity Search Engine with Elasticsearch

https://opensearch.org/blog/odfe-updates/2020/04/Building-k-Nearest-Neighbor-(k-NN)-Similarity-Search-Engine-with-Elasticsearch/ Recently, we launched k-NN similarity search feature on Open Distro for Elasticsearch. We are excited for the community to try out this feature and welcome you to come join in and contribute in building additional capabilities into Open Distro for Elasticsearch. A k-nearest neighbors (k-NN) algorithm is a technique for performing similarity search: given a query data point, what are the k data points in an index that are most similar to the query? k-NN is largely pop.......

원문보기 내부링크
Naver Blog

Docker init 를 이용한 Defunct Processes in Docker 해결

docker-init Docker document 를 살펴보면 다음과 같은 설명을 볼 수 있다. Specify an init process You can use the --init flag to indicate that an init process should be used as the PID 1 in the container. Specifying an init process ensures the usual responsibilities of an init system, such as reaping zombie processes, are performed inside the created container. The default init process used is the first docker-init executable found in the system path of the Docker daemon process. This docker-init binary, included in the default installation, is backed by tini. docker run 수행 시 --init 옵션이 주.......

원문보기 내부링크
Naver Blog

우분투 /usr/share/zoneinfo/iso3166.tab: No such file or directory

(base) root@d215bbae4de2:/home/lap# tzselect /usr/bin/tzselect: line 180: /usr/share/zoneinfo/iso3166.tab: No such file or directory /usr/bin/tzselect: time zone files are not set up correctly -&#62;&#62; apt-get install tzdata 로 설치

원문보기 내부링크
Naver Blog

[AWS] 완전관리형 ML서비스 Amazon SageMaker 서비스들 정리

https://honglab.tistory.com/59 Amazon SageMaker란? 모든 개발자 및 Data Scientist들이 ML(Machine Learning) 모델을 빠르게 구축, 훈련 및 배포할 수 있도록 하는 모듈식의 완전 관리형 서비스 사용 서비스들 # ML 모델 [준비] Part Amazon SageMaker Ground Truth AI가 예측을 하려면 수많은 데이터에 라벨링 작업을 해야 한다 이는 노가다성이 굉장히 짙고 시간이 오래걸린다 -&#62; Ground Truth로 자동화 ML을 위한 고도로 정확한 훈련 데이터 세트를 손쉽게 구축할 수 있게 해주는 완전관리형 데이터 레이블링 서비스 Amazon SageMaker Data Wrangler (NEW) ML 위한 데이터 전처리 시간 단축(데이터 특성 파악, 가공 및 집계) 데이터를 가.......

원문보기 내부링크
Naver Blog

pix2pix (2016) 논문리뷰

#GAN #pix2pix pix2pix (2016) 논문리뷰 (velog.io) original paper : Image-to-Image Translation with Conditional Adversarial Networks 바쁜 사람들을 위한 요약 : 다양한 image-to-image translation task를 수행하는 general-purpose GAN을 제안. 네트워크 구조나, 목적함수에 변경 없이 다양한 이미지 변환 task를 수행할 수 있음. 저자들은 이를 &#x27;모델이 데이터에 적응하는 loss를 학습한다&#x27;라고 표현하고있음. convolutional conditional GAN을 backbone으로 하였고, 목적함수에 L1 loss 추가한게 다임. 구체적으로 generator는 U-net 구조를 본땄고, discriminator는 patchGAN의 것을 사용. Contents Abstract Introduction .......

원문보기 내부링크
Naver Blog

Progressive GAN 2017/ progressive growing of GANs for improved quality, stability, and variation

#GAN #ProgressiveGAN Progressive GAN 논문리뷰 / progressive growing of GANs for improved quality, stability, and variation (2017) (velog.io) original paper : https://arxiv.org/pdf/1710.10196.pdf 어려운 GAN훈련을 위해 새로운 train methodology를 제안한 논문으로, 생성 품질이나 훈련 비용측면에서 큰 개선을 가져와 이후의 GAN 연구들에 적지않은 영향을 미친 논문이다. 거두절미하게 핵심적인 부분들만 리뷰합니다. 0. Abstract key idea는 Generator와 Discriminator를 점진적으로(progressively) 키우자(grow)는 것으로, 처음에 매우 저해상도 이미지를 가지고 아주 얕은 네트워크에서 시작해서 새로운 layer들을 하나하나 추.......

원문보기 내부링크
Naver Blog

DeiT: Training data-efficient image transformers & distillation through attention

#DeiT Summary 1. 본 논문에서 제안하는 방법인 DeiT는 vision transformer (ViT)을 distillation으로 학습시킨 image classification 모델이다. DeiT의 main contribution은 ViT 모델을 학습시키는 방법에 있기 때문에, 모델의 구조적인 차별성은 거의 없다 (사실 전혀 없다고 봐도 무방한 것이 ViT에서 channel 숫자만 바꾸는 정도의 수정만을 가하였다). 2. DeiT는 Distillation 방법을 통해서 기존 ViT 모델의 한계를 극복할 수 있음을 주장한다. ViT의 문제점은 Transformer의 구조적인 한계로 인해 image 데이터를 학습할 때 CNN과는 달리 이미지 처리에 유리한 inductive bias (locality와 translation equivariance 와 같은 CNN 모델 고.......

원문보기 내부링크
Naver Blog

딥러닝과 표현학습(representation learning) 관점에서의 VAE. Auto-Encoding Variational Bayes 리뷰 (1)

딥러닝과 표현학습(representation learning) 관점에서의 VAE. Auto-Encoding Variational Bayes 리뷰 (1) (velog.io) 1. Representation Learning 같은 데이터라도 그것을 다루는 주체나 사용목적에 따라 다양하게 표현될 수 있다. 예를들어 구불구불한 산길을 지나고 있는 자동차의 위치에 관심이 있다고 했을 때, 인공위성은 이것을 (위도,경도,고도)의 3차원 벡터로 나타낼 수 있을 것이고, 네비게이션은 이것을 (기준점으로부터의 거리)의 1차원 벡터로 나타낼 수 있을 것이다. 다음으로 이미지 데이터를 살펴보자. 이미지는 픽셀이라는 단위와 픽셀이 가질 수 있는 폭넓은 수치값을 통해 수치적인 데이터로 다룰 수 있게 되는데, 기계학습.......

원문보기 내부링크
Naver Blog

Generative Adversarial Nets; GAN (NIPS'14) 논문리뷰

Generative Adversarial Nets; GAN (NIPS&#x27;14) 논문리뷰 (velog.io) #GAN #GenerativeAdversarialNets Overview (image source : https://medium.com/@devnag/generative-adversarial-networks-gans-in-50-lines-of-code-pytorch-e81b79659e3f#.sftu3z64g) Adversarial Learning이라는 개념을 생성모델에 처음 적용한 새로운 프레임워크 generator와 discriminator 두 모델을 경쟁적으로 학습시켜 둘 모두를 동시에 최적화함. 데이터의 분포에 대한 명시적인 가정없이 데이터 생성이 가능함. 그 당시 생성모델연구에서 주로 사용되던 MC method나 Approximate Inference등에 의존하지 않음. VAE와 비슷하게 훈련과정에서 latent space를 학습.......

원문보기 내부링크
Naver Blog

DCGAN / Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks

#GAN #DCGAN DCGAN 논문리뷰 / Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks, 2015 (velog.io) [DCGAN paper link] CONTENTS Abstract Introduction Approach and Model Architecture Details of Adversarial Training Empirical Validation of DCGANs Capabilities Investigating and Visualizing the Internals of the Networks Conclusion and Future Work Related Work (생략) 0. Abstract 최근(당시 2016) 지도학습 방식의 CNN이 컴퓨터비전 어플리케이션들에 아주 잘 범용적으로 적용되어오고 있는데, 그에 반에 비지도학습 방식의 CNN은 많이 주목 못받았음. 본 연구에서 강력한 비지.......

원문보기 내부링크
Naver Blog

Conditional Generative Adversarial Nets, CGAN (2014) 논문리뷰

#GAN #CGAN Conditional Generative Adversarial Nets, CGAN (2014) 논문리뷰 (velog.io) 기본 GAN에 부가적인 정보를 함께 주입하여 생성 결과물을 통제할 수 있는 연구에 관한 논문이다. original paper 분량이 매우 적은편에 속하며 내용도 직관적이라 GAN에 대한 사전지식이 있으면 가볍게 읽으실 수 있을 듯. Contents Abstract Introduction Related Work Conditional Adversarial Nets Experimental Results Future work는 생략 0. Abstract 본 연구에서는 2014년 제안된 참신한 생성모델 GAN의 조건부 버전을 다룬다. 이 모델은 단순히 데이터와 보조변수 y를 함께discriminator와 generator 둘 모두에게 전달하므로써 구축할 수 있으며.......

원문보기 내부링크
Naver Blog

InfoGAN (2016) 논문리뷰 (velog.io)

#GAN #InfoGAN InfoGAN (2016) 논문리뷰 (velog.io) InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets Contents Abstract Introduction Mutual Information for Inducing Latent Codes Variational Mutual Information Maximization Implementation Experiments Conclusion KEYWORDS : Representation learning, Disentangled representation, Mutual information 0. Abstract GAN을 정보이론을 활용하는 쪽으로 확장한 InfoGAN은 완전한 비지도학습 방식으로 분리된 표현(disentangled representation)을 학습할 수 있다. 이를 위해 본 연구에서는 latent variable과 observation간에 상.......

원문보기 내부링크
1 2 3 4 5 6