dgkim1108의 등록된 링크

키자드에 등록된 총 315개의 포스트를 확인하실 수 있습니다.

Naver Blog

단일 서버 : Sink Connectors(txt 생성)

REST API 제출 Docker 컨테이너 접속이 필요하지 않고, 로컬에서 진행 가능합니다. curl -X 'POST' \ 'http://localhost:8083/connectors/' \ -H 'accept: application/json' \ -H 'Content-Type: application/json' \ -d '{ "name": "my-first-connect-001-file", "config": { "connector.class": "org.apache.kafka.connect.file.FileStreamSinkConnector", "file": "/data/maraidb/sample.txt", "topics": "my_connect_test" } }' { "name": "my-first-connect-001-file", "config": { "connector.class": "org.apache.kafka.connect.file.FileStreamSinkConnecto

원문보기 내부링크
Naver Blog

싱글 노드 클러스터 : DSL Compiler 설치

패키지 설치 & 업그레이드 1. 파이썬 패키지를 설치합니다. sudo apt install -y python3-pip Reading package lists... Done Building dependency tree Reading state information... Done python3-pip is already the newest version (9.0.1-2.3~ubuntu1.18.04.5). The following packages were automatically installed and are no longer required: 생략 Use 'sudo apt autoremove' to remove them. 0 upgraded, 0 newly installed, 0 to remove and 52 not upgraded 2. 파이썬 패키지를 업데이트합니다. pip3 install --upgrade pip Defaulting to user installation becaus

원문보기 내부링크
Naver Blog

멀티 노드 클러스터 : Kubeflow 1.4.0 설치(Kubeadm 사용)

사전 준비 1. 이전 블로그를 참고하여 클러스터를 구성합니다. 멀티 노드 클러스터 : S/W 설치 요약 1. 두 대의 가상 서버를 기준으로 설치 과정을 설명합니다. 2. 쿠버네티스 설치 및 클러스터 구축은 ... blog.naver.com 2. 각 클러스터에 설치된 S/W 목록은 다음과 같습니다. Control Plane Worker S/W Version S/W Version Kubeadm 1.21.7 Kubeadm 1.21.7 Helm 3.7.1 Kustomize 3.2.0 Kubeflow 1.4.0 Control Plane 사용 1. 클러스터 노드 확인 kubectl get nodes NAME STATUS ROLES AGE VERSION control-plane Ready <none> 42m v1.21.7 worker1 Ready control-plane,master 44m v1.21.7 Worker 사용 1. Helm 설치 sudo wget https://get.helm.sh/

원문보기 내부링크
Naver Blog

멀티 노드 클러스터 : Kubeflow Pipeline 간단한 계산식 예제

사전 준비 1. 이전 블로그를 참고하여 Kubeflow Pipeline 과정을 테스트합니다. 멀티 노드 클러스터 : Kubeflow 설치 사전 준비 1. 이전 블로그를 참고하여 클러스터를 구성합니다. 2. 각 클러스터에 설치된 S/W 목록은 다음... blog.naver.com Worker 1. Central Dashboard 실행 kubectl port-forward --address 0.0.0.0 svc/istio-ingressgateway -n istio-system 8080:80 & Forwarding from 0.0.0.0:8080 -> 8080 간단한 계산식 파일 생성 1. 예제 파일 위치 및 폴더 구조 home $USER kubeflow-example-pipeline example1_pipeline.yaml example1.py 2. Control Plane 노드에서 [example1.py] 파일 생성 및 다운로드 sudo mkdir kubeflow-pipelin

원문보기 내부링크
Naver Blog

멀티 노드 클러스터 : Kubeflow Pipeline 단일 데이터 사용 예제 - 데이터 로드, 모델 학습 및 평가

폴더 구조 home $USER kubeflow-example-pipeline single-data-load 2-stage data-load Dockerfile iris.csv requirements.txt run.py modeling Dockerfile requirements.txt run.py pipeline.py pipeline.yaml 첨부파일 single-data-load-2-stage.zip 파일 다운로드 Docker 이미지 생성 및 Docker Hub 업로드 1. 데이터 로드 cd /home/$USER/kubeflow-example-pipeline/single-data-load/2-stage/data-load # docker build -t name[:tag] docker build -t dgkim1983/mlops:kubeflow-pipeline-single-data-load-2-stage-latest 생략 Successfully

원문보기 내부링크
Naver Blog

단일 서버 : 도커 환경 구축

사전 준비 1. 이전 블로그를 참고하여 도커 관련 S/W를 설치합니다. 도커 & 도커 컴포즈 & 엔비디아 도커 설치 우분투에서 도커 설치하기 1. 먼저 오래된 버전을 삭제합니다. 2. 저장소를 업데이트합니다. 3. 최신 버전... blog.naver.com 도커 환경 설정 1. 폴더 구조 home $USER spark cluster single conf master spark-defaults.conf worker spark-defaults.conf docker-compose.yml Dockerfile example print.py 첨부파일 spark-cluster-single.zip 파일 다운로드 2. 도커 이미지 생성 docker vim Dockerfile FROM ubuntu:18.04 ENV PYTHONHASHSEED 1 ENV DEBIAN_FRONTEND noninteractive RUN apt-get update \ && apt install

원문보기 내부링크
Naver Blog

단일 서버 : REST API 예제

사전 준비 1. 이전 블로그를 참고하여 REST API를 진행합니다. 단일 서버 : 도커 환경 구축 사전 준비 1. 이전 블로그를 참고하여 도커 관련 S/W를 설치합니다. 도커 환경 설정 1. 폴더 구조 2. 도... blog.naver.com REST API 테스트 1. 스파크 클러스터 IP 설정 export spark_single_ip=<LOCALHOST> <LOCALHOST>는 구축 서버의 IP로 변경 2. 도커 컨테이너 접속이 필요 없으며, 로컬에서 바로 테스트 가능 curl -X POST http://${spark_single_ip}:6066/v1/submissions/create --header "Content-Type:application/json;charset=UTF-8" --data '{ "action" : "CreateSubmissionRequest", "appArgs" : [ "/example/print.py" ], "appResource" : "/example/

원문보기 내부링크
Naver Blog

멀티 노드 클러스터 : K8S Dashboard 설치

사전 준비 1. 이전 블로그를 참고하여 워커(worker) 서버에서 설치를 진행합니다. 멀티 노드 클러스터 설치 : Kubeadm 사용 요약 1. 두 대의 가상 서버를 기준으로 설치 과정을 설명합니다. 2. 쿠버네티스 및 클러스터 구축은 XShe... blog.naver.com 노드(node1) 진행 1. K8S Dashboard 설치 kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.2.0/aio/deploy/recommended.yaml # 위 명령어를 사용하면 다음과 같이 출력됩니다. namespace/kubernetes-dashboard created serviceaccount/kubernetes-dashboard created service/kubernetes-dashboard created secret/kubernetes-dashboard-certs created secret/kuberne

원문보기 내부링크
Naver Blog

멀티 노드 클러스터 : Metrics Server 설치

사전 준비 1. 이전 블로그를 참고하여 워커(worker) 서버에서 설치를 진행합니다. 멀티 노드 클러스터 설치 : Kubeadm 사용 요약 1. 두 대의 가상 서버를 기준으로 설치 과정을 설명합니다. 2. 쿠버네티스 및 클러스터 구축은 XShe... blog.naver.com 멀티 노드 클러스터 : K8S Dashboard 사전 준비 1. 이전 블로그를 참고하여 워커(worker) 서버에서 설치를 진행합니다. 노드(node1) 1. K8S D... blog.naver.com 노드(node1) 진행 1. 리소스 모니터링 설치 : 오류 해결 포함 kubectl top nodes # 설치 중 다음과 같은 오류가 나타났습니다. W0322 22:07:25.632979 30024 top_node.go:119] Using json format to get metrics. Next release will switch to protocol-buffers, switch early by passing

원문보기 내부링크
Naver Blog

멀티 노드 클러스터 : Resource 예제

사전 준비 1. 이전 블로그를 참고하여 설치를 진행합니다. 멀티 노드 클러스터 설치 : Kubeadm 사용 요약 1. 두 대의 가상 서버를 기준으로 설치 과정을 설명합니다. 2. 쿠버네티스 및 클러스터 구축은 XShe... blog.naver.com 멀티 노드 클러스터 : K8S Dashboard 사전 준비 1. 이전 블로그를 참고하여 워커(worker) 서버에서 설치를 진행합니다. 노드(node1) 1. K8S D... blog.naver.com 멀티 노드 클러스터 : Metrics Server 사전 준비 1. 이전 블로그를 참고하여 워커(worker) 서버에서 설치를 진행합니다. 노드(node1) 진행 1. 리... blog.naver.com 노드(node1) 진행 1. 리소스 예제 파일(*.yaml) 생성 sudo vim example.yaml # vim 편집기를 실행하고 다음 소스를 입력합니다. apiVersion: v1 kind: Pod metadata: name: reso

원문보기 내부링크
Naver Blog

전이 학습 : 도커 환경 구축

사전 준비 1. 이전 블로그를 참고하여 S/W를 설치합니다. 도커 & 도커 컴포즈 & 엔비디아 도커 설치 우분투에서 도커 설치하기 1. 먼저 오래된 버전을 삭제합니다. 2. 저장소를 업데이트합니다. 3. 최신 버전... blog.naver.com 도커 파일 1. 도커 파일 생성 sudo vim Dockerfile FROM tensorflow/tensorflow:2.6.0-gpu-jupyter ENV DEBIAN_FRONTEND=noninteractive RUN apt-get update \ && apt-get install -y python3 python3-pip \ && apt-get clean \ && rm -rf /var/lib/apt/lists/* RUN pip3 install -U pip RUN pip install matplotlib numpy jupyterlab 도커 컴포즈 1. 도커 컴포즈 생성 sudo vim docker-compose.yml version: '3.8

원문보기 내부링크
Naver Blog

전이 학습 : EfficientNet 사용

사전 준비 1. 이전 블로그에서 구축된 환경으로 모델 학습 및 추론을 진행합니다. 사전 훈련 모델 도커 환경 구축 사전 준비 1. 이전 블로그를 참고하여 S/W를 설치합니다. 도커 파일 1. 도커 파일 생성 도커 컴포즈 1. ... blog.naver.com 학습 동영상 데이터 구조 workspace cats_and_dogs_filtered train cats dogs validation cats dogs 코딩 1. 패키지 설정 import matplotlib.pyplot as plt %matplotlib inline import numpy as np import os import tensorflow as tf from tensorflow.keras.applications import * from tensorflow.keras.preprocessing import image_dataset_from_directory print(tf.__ve

원문보기 내부링크
Naver Blog

주피터 노트북 커널에 파이썬 특정 버전 추가하기

도커 환경 설정 1. 폴더 구조는 다음과 같습니다. home docker-compose.yml Dockerfile 2. [Dockerfile] 파일을 생성합니다. sudo vim Dockerfile FROM tensorflow/tensorflow:latest-gpu ENV DEBIAN_FRONTEND=noninteractive RUN apt-get update \ && apt-get install -y curl \ && pip install notebook EXPOSE 8888 3. Docker 이미지를 빌드합니다. docker build -t jupyter-kernel-test . 생략 Step 4/4 : EXPOSE 8888 ---> Running in ccfba1dd2b8c Removing intermediate container ccfba1dd2b8c ---> f18fb47685ed Successfully built f18fb47685ed Successfully tagg

원문보기 내부링크
Naver Blog

단일 서버 : 도커 환경 구축

도커 환경 설정 1. 폴더 구조는 다음과 같습니다. kafka cluster docker-compose.yml jars mariadb-java-client-2.7.2.jar 2. [mariadb-java-client-2.7.2jar] 파일을 [kafka] - [cluster] - [jars] 폴더에 다운로드합니다. 첨부파일 mariadb-java-client-2.7.2.jar 파일 다운로드 3. [docker-compose.yml] 파일을 생성합니다. sudo vim docker-compose.yml version: '3.8' services: 생략 kafka-connect-ui: restart: always hostname: kafka-connect-ui container_name: kafka-connect-ui image: landoop/kafka-connect-ui:0.9.7 ports: - "8003:8000" environment: CONNECT_URL: "http:

원문보기 내부링크
Naver Blog

단일 서버 : MariaDB 접속

DB 생성 1. MariaDB와 관련된 Docker 컨테이너에 접속합니다. docker exec -it mariadb bash root@mariadb:/# 2. root 계정의 비밀번호를 확인하고 로그인합니다. 단일 서버 : 도커 환경 구축 도커 환경 설정 1. 폴더 구조는 다음과 같습니다. 2. [mariadb-java-client-2.7.2jar] 파일을 [kafka] - [c... blog.naver.com # docker-compose.yml version: '3.8' services: mariadb: restart: always hostname: mariadb container_name: mariadb image: mariadb:latest ports: - "3306:3306" environment: MYSQL_ROOT_PASSWORD: passwd MYSQL_DATABASE: testdb 생략 mysql -p Enter password: passwd Welcome to t

원문보기 내부링크
1 2 3 4