Cassandra 와 Spark

Cassandra 테이블을 스파크 데이터와 join 하고 싶을때 https://github.com/datastax/spark-cassandra-connector/blob/master/doc/14_data_frames.md datastax , 쉽게 생각하면 카산드라 벤더에서 만든 스파크 드라이버를 이용 val createDDL = """CREATE TEMPORARY VIEW/TABLE words USING org.apache.spark.sql.cassandra OPTIONS ( table "words", keyspace "test", cluster "Test Cluster", pushdown "true")""" spark.sql(createDDL) // Creates Catalog Entry registe..

넷플릭스 미드 타임리스

이번 주말을 날려버린 타임리스라는 미드 입니다.넷플리스에 추천으로 떠서 봤는데, 딱 제가 재미있을 많한 내용이 많이나오네요 시간여행이 배경인 드라마이다보니 '닥터후'를 좋아하시면 좀 재미있게 보실수도 있습니다.(대신 다른행성을 간다거나 그런거는 없습니다.!!) 시즌1원 끝나고 시즌2 나올것 같은데, 마지막 반전보고 뒷통수 탁 쳤네요(개인적으로,)

네이버 인공지능 스피커 웨이브(WAVE) 사용기

지난번에 네이버 뮤직 이벤트를 할때, 가차 없이 1년 음악 이용권을 구매하고 네이버 인공지능 스피커 Wave를 받았습니다. 한 2주정도 사용해봤는데, 결론부터 말하면 정말 편합니다.(물론 개인차가 있을수는 있습니다.) 한가지 확실한건 인공지능 비서, 어시스턴트라는것을 써본거는 애플 시리 뿐이지만 비교해보면, 당연히 네이버에서 만들었으니 최적화된 서비스를 해줍니다 네이버 인공지능 스피커에 대한기사는 아니지만 KT기가지니의 경우를 보면 기가지니를 통해 가장 많이 하는 작업이 TV키는것과 음악을 듣는거라는 기사가 볼수 있습니다http://www.ilovepc.co.kr/news/articleView.html?idxno=16694패턴은 저와 비슷합니다. 주로 음악드는데, 사용을 많이 합니다. 컴퓨터에 스피커 바..

카카오 인공지능 스피커 '카카오 미니' 9월중 공개

카카오 TV 공식채널에 카카오 인공지능 스피커 카카오 미니 공개 동영상이 올라왔습니다 사실 요즘 인공지능 스피커가 관심이 많아서 네이버 웨이브도 구매했지만 2017/08/31 - [Information] - 네이버 인공지능 스피커 웨이브(WAVE) 사용기 통신사꺼도 써보고 싶지만, 가입하고 하기도 애매해서.. 카카오 미니는 9월 중에 공개한다고 하더라고요 http://www.bloter.net/archives/289153 (이건 멜론 1년 결제하면 주려나... ) 공식예약 뜨면 바로 구매해봐야겠네요

아파치 재플린 코드 자동완성(apache zeppelin code assistant)

몰랐는데, 재플린에서도 Code Assistant 기능이 있었네요.. 사용법 sc를 치고 CTRL 키를 누른상태에서 . 을 누르면 어시스턴스 기능이 나옵니다. 하 이렇게 좋은걸 모르고 있었다니...

HDFS 노드 추가 및 삭제

HDP에 익숙해져있다가 self-deployed Hadoop을 사용하다 보면, 답답할때가.... 예를들면, HDFS를 확장하는것조차 마우스 클릭 딸각한번으로 해결될 문제가. 메뉴얼로 정리해보면 1.Hadoop.tar.gz 파일을 확장하려는 노드로 배포 데이터 노드에서 ./hadoop-daemon.sh start datanode 2. 네임 노드(HA했다면 둘다 설정 복사)에서 hdfs-site.xml에서 설정한 파일을 참고해서 dfs.hosts /etc/hadoop/dfs.hosts dfs.hosts.exclude /etchadoop/dfs.exclude dfs.hosts에 호스트 파일에 새로 추가한 데이터 노드 추가 3. Acitve NameNode에서 ./refresh-namenodes.sh 노드 추가..

NodeManager 추가 및 삭제

2017/07/11 - [Hadoop & Bigdata/HDP(Hortonworks Data Platform)] - HDFS 노드 추가 및 삭제 지난글에 이어서, 생각해보니까 노드 새로고침할때 active 노드에서 해야되나... nodemanager를 추가할때는, yarn.include 파일에 추가할 노드 추가 yarn rmadmin -refreshNodes 반대로 제거할때는 yarn.exclude 에 넣고 yarn rmadmin -refreshNodes

비트코인을 요구하는 랜섬웨어 워너크라이(WannaCry)/워너크립터(WannaCryptor) 예방도구 feat.알약

알약을 만든 이스트시큐리티에서 알약 블로그를 통해서 랜섬웨어 예방도구를 공개하였습니다.. 오늘 회사에 오자마자, 혹시나 모를 랜섬웨어때문에 아침부터 랜선 뽑고 고생했는데, 쉽게 해결하는 방법을 알약을 만든 이스트시큐리티에서 알약 블로그를 통해서 공개했네요 필요하신 분들은 다음 블로그로 가서 받으시면 됩니다. 사이트 연결 링크 (공식) : http://blog.alyac.co.kr/1096

Spark 에서 Parquet 저장할때 GZ 말고 Snappy 사용법

Spark에서 paruqet 압축 알고리즘을 찾다가. 분명히 두가지 방법중 한가지 방법이면 된다고 하는것 같은데 sqlContext.setConf("spark.sql.psqlContext.setConf("spark.sql.parquet.compression.codec", "snappy")sqlContext.sql("SET spark.sql.parquet.compression.codec=snappy") 저는 이것이 동작하네요 sqlContext.sql("SET spark.sql.parquet.compression.codec=snappy") 사용하는 화경은 HDP 2.5 Spark 1.6 입니다

saveAsTable is not a member of org.apache.spark.sql.DataFrame

최근 클러스터 환경을 HDP(Hortonworks Data Platform) 2.5.3.0 -> HDP 2.6.1.0으로 올리면서 Spark 환경을 1.6 -> 2.1 로 바꾸었습니다. 사실 스칼라도 해보겠다고 두꺼운 Programming in Scala 3판도 샀지만..... 이미 초심은.. 그러던 도중 ... 분명히 Zepplien 에서 1.6에서 Parquet 파일을 Table로 저장할때, sqlContext.parquetFile("/tmp/extracted").sveAsTable("step01"); 로 했던것 같은데.. Spark를 2버전으로 바꾸니 saveAsTable is not a member of org.apache.spark.sql.DataFrame 다음과 같은 오류가 나네요 .. 아마 ..

Spark, SBT, libthrift 0.5.0-1 not found

twitter scrooge 를 spark scala 코드를 만지고 있는데, 다음과 같은 오류가 발생한다면 build.sbt에 아래를 추가하시면 될것 같습니다. resolvers ++= Seq( "Twitter Maven Repo" at "http://maven.twttr.com" ) 잘은 모르겟지만 libthrift 저게 maven centeral repo에는 업다고 하네요

zeppelin 1.7.1 with hive interpreter

맨날 HDP 에 설치가 잘된 제플린을 사용하다보니,, 수동으로 제플린을 사용하려고 하니 HIVE를 사용하려고 하니 다음과 같은 오류가 발생합니다. Prefix not found. paragraph_1493986135331_752263516's Interpreter hive not foundorg.apache.zeppelin.interpreter.InterpreterException: paragraph_1493986135331_752263516's Interpreter hive not found at org.apache.zeppelin.notebook.Note.run(Note.java:605) at org.apache.zeppelin.socket.NotebookServer.persistAndExecuteS..

스파크 & 스칼라

Parquet + Spark 조합을 사용하고 있습니다 SparkSQL로 처리하기가 애매한 상황이라. 직접 코딩좀 할일이 있어서 Scala를 만지는데 ... 1. sbt에 잘몰라서 설정하는데 고생2. sbt와 스칼라버전과 build.sbt 의 %,%% 차이를 몰라서 고생3. 책을 보고 있는데, 자바하고 문법이 비슷한것 같은데 이제는 파이썬에 너무 익숙해져서 스칼라가 눈에 잘 안들어오는...

발표자료, 제안서 등 문서에서 시스템, 네트워크 아키텍처 그릴때 사용하기 좋은 온라인 사이트

발표자료, 제안서 등 관련된 문서를 작성할때 시스템 / 네트워크 등 아키텍처를 그려야 할때가 있습니다. 웹상에서 보면 VISIO가 그렇게 좋다고 하지만, 확보된 환경이 아니네요.. 물론 PPT로도 그릴수가 있지만.. 생각보다 손이 많이 가고 가장 큰 문제는 예쁘게 안나온다는게 문제 입니다. 웹을 검색해보면 거의 3사이트로 압축이 됩니다.(유료는 제외합니다)프로그램 형태로는 제 블로그에 예전에 소개한 DIa도 있습니다 2009/05/20 - [Utility program] - 순서도 그리는 프로그램 - DIA그리고 리브레오피스(https://ko.libreoffice.org/discover/draw/) 드로우도 좋다고 하네요 1. CloudCraft https://cloudcraft.co/ 2.drawio..

추천하는 한글 검색 토렌트 사이트

토렌트 글을 적기전에 앞서... 티스토리를 한지도 9년이상이 되어버렸네요... 사실 여러가지 목적이긴 했지만.. 요즘에는 뜸하지만, 사실 이제는 수익도 얼마 안되고, 광고비를 받는 목적도 있었습니다.. 그러다보니, 이런저런 도구(구글 애널리틱스라던지, 네이버 애널리틱스라던지.)를 이용해서 이 블로그에 많이 들어오는 키워드인가도 분석해봤고, 사실 분석을 해보면 몇개 나오지만, 가장 많은 키워드가 토렌트 입니다. (이번 포스트에는 이 블로그와는 관련없지만 제가 요즘 관심가지고 있는 일본 아이돌을 그림의 태그로 토렌트(torrent)와 함께 집어넣었는데 어떻게 반영될까 입니다. ) 사실 요즘에는 넷플릭스를 쓰게된 이후로 미드 받는 용도로는 들쓰게 되었지만.. 아쉽게도 넷플릭스에서 제공안하는 미드가 생각보다 많..

[HIVE]create table metastore move trash error

HDP 만 사용하다가, HIVE를 직접 설치하려니..헷갈리네요 hive를 세팅하고 create table 하려고 하는데 metastore에 생성하려는 테이블이 trash 가 계속 된다면.. 메타스토어 DB가 제대로 세팅안된것입니다.. ... 분명히 예전에 mysql을 쓴다면,, 그 안에 들어가서 source 로 쿼리문으로 안에 테이블 구성했던것 같은데.. 지금은 shematool 이라고 제공하네요.. 혹시 create table 하는데 metasotre에서 만들려는 테이블을 trash로 지우는 현상이 일어나면서 테이블이 만들어지지 않는다면 metastore db 다시 한번 세팅해보세요 ~

What is Microsoft Azure?

EN-CNTNT-Infographic-VisualguidetoAzure.pdf Microsoft Azure is a flexible,open, and secure public cloud built for business. Access abroad collection of integrated services that accommodate many languages and operating systems. Use world-class tools to accelerate a wide variety of app development and delivery capabilities. 가끔씩, Azure를 이용해서 자원을 생성해서 사용하고 있습니다. 오늘 메일박스를 보니, 예쁜그림을 하나 보내왔네요. 아마도 마소 홈..

Python FLASK 로 HTTPS 기반 API 만들기

사실, 언제부터인가 Python을 쓰다보니,,그래도 가장 편했던 언어는 JAVA 언어였는데, 요즘 너무 어렵네요 여러여러 관점에서 다른 원격지에서 생성되는(로그든 어떤거든) 데이터를 수집하기 위해서 API를 서버가 필요한 상황이였습니다(저 같은경우는 사용자 브라우저에서 생성된 로그 데이터의 경우 입니다.) 일단 제가 사용하는 조합은 Python 2.7에서(Pyenv 로 3으로 올려서 사용했는데, 중간에 소스가 꼬여버리는 바람에) + Flask + Guicorn + Supervisor.d를 이렇게 사용하고 있습니다. 주변 케이스를 찾아보면 현 해당 케이스에서는 Node.js 를 기반으로 긍정적으로 평가하는것 같지만, 굳이 이걸 사용하는건 Python 이 편하기 때문에 먼저 SSL 키를 확보합니다.(확보되어..

Tomcat8 catalina MessageDispatch15Interceptor class not found

Tomcat8 catalina MessageDispatch15Interceptor class not found Tomcat 으로 클러스터링을 하는데, 왜인지 모르게 클러스터를 찾지 못하는 문제가 발생합니다 제가 사용하는 버전은 8.5.12 버전입니다. 그런데 8.5.12 에서 8.0.42 버전으로 다운그레이드 하니 저런 문제는 없어졌네요 . 아마 버전업 하면서 클래스명이 바뀐것 같은데, 이것때문에 시간 엄청 썻네요

vscode(visual studio code) 멀티 커서 단축키

그래도 지금까지 작업하기에는 Intellj가 좋지만.. 서브라임텍스트 말고 다른걸 찾던중 vscode를 찾았습니다. 서브라임에서 가장 많이 사용했던 멀티커서 사용법... Multi cursor improvements Ctrl+D selects next occurrence of word under cursor or of the current selection Ctrl+K Ctrl+D moves last added cursor to next occurrence of word under cursor or of the current selection The commands use matchCase by default. If the find widget is open, then the find widget set..

호튼웍스 로드쇼 Hortonworks Roadshow(Future of Data Roadshow) . seoul

MongoDB Hive 연동[FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org/bson/conversions/Bson 해결법]

혹시나 저 같은 이슈를 겪고 있는 분들을 Hbase와 Hive를 연동할수 있는것처럼 MongoDB 를 Hive에 연동하여 사용할수 있습니다 https://github.com/mongodb/mongo-hadoop/wiki/Hive-Usage 이곳에서 라이브러리를 받아서 사용하시면, 되십니다. mongo-hadoop-core.2.0.1.jar mongo-hadoop-hive-2.0.1.jar mongo-java-driver-3.2.1.jar FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org/bson/conversions/Bson 추가적으로 다음 에러는 mongo-java-driver-3.2.1.jar ..

사용하고 편리하고 예쁜 네이버 웨일 브라우저

드디어 네이버 웨일 브라우저 초대코드를 받아서 설치할수 있었습니다. 물론, 국내에서 나온 브라우저는 유일한건 아니지만(스윙 브라우저도) 있습니다. 그럼에도 반가운건 사용자는 더 편리한걸 사용할수 있으니까 매우 반가운건 사실입니다 아기자기 하게 생각지도 못한 편한 기능들이 많이 있습니다. (물론 스윙 브라우저도 , 타이머라던지 기발한 아이디어로 만들어진 확장들이 있으니까요) 아직 네이버 웨일브라우저를 위한 마켓플레이스는 오픈이 안된것 같습니다. 앞으로의 미래가 궁금하기도 하네요 다른것보다 배경화면이랄가. 저 고래가. 딱 눈에 들어오네요

HDPCA(HDP Certification Administrator) Practive Exam : 호튼웍스 자격증 미리 보기 (1/2)

자격증 미리보기라는 말이.. 좀 애매하긴 한데..예전부터 느끼는건 공부하는것과, 시험보는것은 많이 다른것 같습니다. 공부는 말그대로 공부고 시험은, 시험준비를 위해 기출을 풀거나 해서 유형을 파악하는건데, HDPCA라는 녀석은 전혀 파악이 안되더군요. 사실 HDP를 쓰면 쓰겠지만 그런데 호튼웍스(Hortonworks) 쪽에서 AWS에서 미리 테스팅 해볼수 있는 환경을 제공합니다 PRACTICE EXAMHortonworks University recommends that candidates attempt the practice exam to familiarize themselves with the exam environment and also with the types of tasks that appear..

[aws/아마존/ssh/putty] couldn't load private key unexpected end of file

AWS 에 Putty로 PEM 키를 읽어들일려고 할때 , couldn't load private key unexpected end of file 오류가 난다면 현재 사용하고 있는 Putty 버전에 버그가 잇는것입니다. http://www.chiark.greenend.org.uk/~sgtatham/putty/download.html 에서 최신버전을 받아서 다시 시도하시면 해결 되십니다.

아파치 암바리(Apache Ambari) 설치 / 주소

Ambari는 Hortonworks에서 개발한 하둡 클러스터를 프로비저닝(노드 / 하둡 컴포넌트 자동 설치), 매니지먼트(HDFS, HIVE 등등을 껏다 켯다, HA 등), 모니터링(HDFS , Hive 등등등)을 위한 아파치에 공개한 오픈소스 관리 도구입니다. 최근, 암파리 아파치 커뮤니티에서 약간의 변경이 생겨서인재 Ambari 2.2일때는 RPM, apt-get등으로 바로 받을수 있는 주소를 공개 했었는데, 지금은 Ambari를 직접 컴파일하는 방법으로 설치 방법을 공개했습니다 그렇다고, RPM, Apt-get으로 설치를 못하는것은 아닙니다. Hortonworks 공식 홈페이지 다큐멘트를 찾아보면, 바로 패키지 형태로 제공할수 잇는 링크를 제공합니다 \2016년 10월 19일 기준 암바리 2.4.1..

[MYSQL] Insert INTO + SELECT + ON DUPLICATE KEY UPDATE

어떤 작업을 하는중이였는데, 40만 row가 들어있는 테이블을 MySQL로 지지고 볶고 있었습니다.필요에 따라서는 테이블간 Join을 하였는데 주변 친한 형님이 왜 그렇게 하냐고 Merge를 하라고 하더군요..찾아보니..MySQL에서는 동일한 기능이 ON DUPLICATE KEY UPDATE 이거였는데,, 결국에는 제가 하는 어떤 작업을 위해서는 Insert + Select + ON DUPLICATE KEY UPDATE 를 같이 써야 되는구조여서 한참 구글링을 하다가 옆나라 블로그에서 찾았네요 .. INSERT INTO total (id,count) SELECT id, count FROM (SELECT id, count FROM daily GROUPBYdate) t ON DUPLICATE KEY UPDA..

[ERROR]Pig over Tez : org.apache.pig.tools.grunt.Grunt - ERROR 1003: Unable to find an operator for alias

PIG를 MapReduce 모드로 돌리면 발생하지 않는데 이상하게 PIG를 Tez 모드로 돌리면 Dump 뜰때마다 저런 오류가 있더군요.. 웹상에서 보면 버전 문제라는 이야기도 있고.. 아마 아직 남아있는 버그인것 같은데(현재 테스트중인 tez 버전은 0.84에 Pig는 0.16입니다.) 그때는 d = limit Alias 10dump 와 같이 limit 을 걸어주면... 작동은 하는것 같습니다. 추가로 Hbase 1.1.1 이상에서 Pig를 연결해서 사용하시려면, Pig를 컴파일해서 사용하시면 됩니다.(일단 Apache에서 Pig를 설치한다고 할때)(만약 파싱관련 오류가 난다면)

티스토리 초대장 드려요(~계속, 초대장 떨어지면 생기면 보내드려요 조건 없음)

i n v i t a t i o n 티스토리 초대장 조건 없습니다. 비밀글로 이메일 주소 남겨드리면 초대장 보내드려요 2016년 8월 23일 19시 기준으로 총 19장이 있습니다. 만약 19장이 떨어지면 나중에 생기면 보내드리겠습니다. 잘은 모르겠는데, 요즘 초대장 없이도 가입할수 있는 방법이 있는것 같더라고요 .. 번거로우신 분들은 비밀글로 댓글 남겨주세요 조건 없습니다 2014/07/27 - [Think , Dream / Fly] - 티스토리 초대장 드립니다,(종료)2014/02/23 - [Think , Dream / Fly] - [종료]초대장 19장 나누어 드립니다. (조건무 , 선착순)[종료][종료][종료][종료][종료][종료][종료][종료]2013/05/31 - [Think , Dream / F..

ambari password reset

1.ambari-server 에 SSH 로 접속2. ambari-admin-password-reset ambari 암호 변경 https://community.hortonworks.com/questions/15063/default-usernamepassword-for-ambari.html

tar 명령어로 멀티코어를 활용한 압축

서버에 백업할 데이터가 있는데,, 이게 약 40기가 정도 되네요tar 로 일반 옵션으로 압축하기에는 느려서...(생각도 안하고 있었지만.) 혹시 윈도우 압축 프로그램들 처럼 멀티코어를 활용할수 있는 방법(반디집 같은 경우는 기본적으로 제공되던것 같더군요..)? 이 있나 찾아보았는데 생각보다 쉽게 해결되었습니다 centos6 기준 yum install pbzip2 압축할때, tar --use-compress-prog=pbzip2 -cvf data.tar.bz2 data 하면 된다네요..

오버워치 , 게임 불감증을 날려버린 게임

사실 게임불감증이라는 말이 적당한 표현인지 모르겠습니다.개인적인 취미사항으로 게임을 좋아하는 편이여서, 시간되면 게임 경기하는것도 직관도 많이가고(대부분 스타크래프트2) 여유될때, 스팀으로 게임도 하는 편입니다. 하지만 예전부터 느끼는건데,, 블리자드가 확실히 게임을 잘만듭니다. 스팀으로 게임을 하다보면,, 어느순간. 라이브러리 늘리기 게임으로 가버리게 되는데(흔히 연쇄할인마라고 해서) 사놓고 안하는 경우가 태반이게 되더라고요. 처음에는 오버워치가 오리진이라고 써잇어서,, 오리진에서 나오나해서 봤는데, 그건또 아니였더군요..혹시나 무료로 풀리나했지만,,.. 절대로 스팀이였으면, 이 가격으로는 절대로 안사겠지만 나름 재밌게 하고 있습니다. 다른것보다 캐릭터들도 각각 다르고 , 능력도 달라서 재밋네요.게임하..

블로그를 뒤돌아 보면서

말도안된다고 생각이 드는건, 티스토리와 함께한 시간이 9년이 되어간다는것입니다. 공식적인 기록으로는 2007년도 부터 티스토리를 시작한걸로 되어있네요. 재밌는건, 티스토리를 하기 전부터 블로그는 이미 하고 있었습니다. 요즘에야 정말로 좋아졌지만 N사 블로그를 티스토리 시작하기 한 1년전부터 쓰고 있었습니다. 블로그 쓴걸 뒤돌아보니, 재미있네요 정말 많은 생각이 들지만, 언제부턴가 나름 취미로 자리잡고 있는 블로그를 어떻게 더 재밌게 해볼까 또 다른 고민을 해볼때가 된것 같네요..

아파치(Apache) 암바리(Ambari)2.2.1 Rest API(Service Stop and Start)

Apache Ambari를 사용하다보면, 암바리 자체를 이용해서 하둡 클러스터를 관리할수도 있지만. 떄로는 필요한 부분에 대하여 커스터마이징하거나, 또는 관리의 편의성을 위해 별도의 앱을 만들어 쓸 수도 있습니다. 다음은 암바리의 컴포넌트를 API를 이용해서 시작 및 중지하는 방법입니다. curl -u USER:PASS -i -H 'X-Requested-By: ambari' -X PUT -d '{"RequestInfo": {"context" :"Stop '"$1"' via REST"}, "Body": {"ServiceInfo": {"state": "INSTALLED"}}}' http://HOST/api/v1/clusters/CLUSTER/services/COMPONENT curl -u USER:PASS ..

HBASE regionserver.HRegionServer: STOPPED: Unhandled: org.apache.hadoop.hbase.ClockOutOfSyncException:

HBASE regionserver.HRegionServer: STOPPED: Unhandled: org.apache.hadoop.hbase.ClockOutOfSyncException: 서버간 시간차이때문에 발생하는 오류입니다. 서버간 시간이 제대로 동기화 되었는지 확인해보셔야 됩니다. 또는 NTP 데몬을 계속 켜놔서 시간을 맞추는 방법도 있습니다.

phpVirtualBox Invalid username or password , Virtualbox

Error MessagesInvalid username or passwordThe default username / password to use when logging in to phpVirtualBox is admin / admin. See: https://sourceforge.net/p/phpvirtualbox/wiki/Authentication%20in%20phpVirtualBox/Some users have reported issues logging in if the PHP engine can't write to its session folder. It is impossible to cover all the possible PHP configurations here, so difficult to ..

Ambari를 이용한 HDP(Hortonworks Data Platform ) 설치

사용하는 입장에 따라 다르지만, 직접 Hadoop을 받아서 설정하는 방법도 있지만, HDP(물론 무료!)를 이용해서 필요한 환경을 구축하는 방법도 있습니다. 제 사례를 들어보면 HDFS 부터 YARN,HBase, zookeeper,Hive까지 설치하는데 몇시간이 걸린다면,(물론 스크립트로 만들수도 있찌만) Ambari를 이용해서 HDP를 이용하면 원하는 환경은 바로 구성이 됩니다. 좀더 자세한 설명은 hortonworks.com/hdp/ 와 호튼웍스 공식 문서를 통해서 확인하실수 있습니다. http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.6.0-Win/bk_installing_hdp_for_windows/bk_installing_hdp_for_windows..

HUE make install ERROR [FFI_DEFAULT_ABI]

In file included from c/cffi1_module.c:3, from c/_cffi_backend.c:6366:c/realize_c_type.c: In function ‘realize_c_type_or_func’:c/realize_c_type.c:577: error: ‘FFI_DEFAULT_ABI’ undeclared (first use in this function)c/_cffi_backend.c: In function ‘init_cffi_backend’:c/_cffi_backend.c:6458: error: ‘FFI_DEFAULT_ABI’ undeclared (first use in this function)error: command 'gcc' failed with exit status..

HIVE : Error applying authorization policy on hive configuration: java.net.ConnectException: Call From ems2/192.168.1.12 to 0.0.0.0:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.a..

java.lang.RuntimeException: Error applying authorization policy on hive configuration: java.net.ConnectException: Call From HOST2/192.168.1.12 to 0.0.0.0:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused at org.apache.hive.service.cli.CLIService.init(CLIService.java:114) at org.apache.hive.ser..

Hbase 백업 및 복구 (Backup & Restore)

현재 상황이 외부인터넷이 연결된 클러스터에서 개발을 하고 Hbase에 들어있는 내용을 클라이언트의 폐쇠된 인터넷으로 클러스터 데이터를 옮기는 작업을 하고 있습니다. 다행은, 브릿지가 있어서 한대의 컴퓨터를 통해서 작업중이던 클러스터에 접근이 가능한 상황입니다 MySQL와 같이 RDMBS에서는 DUMP 방법이 편하게 되어있는데, 참HBASE는 뭐같네요 하지만 Backup Resotre방법은 쉽습니다.. 단 현 이방법은 테이블 단위로 진행이 됩니다. bin/hbase org.apache.hadoop.hbase.mapreduce.Export [ [ []]]> 다음과 같은 명령어를 이용해서 테이블을 백업합니다. 그러면 백업된 내용은 HDFS로 나오게 됩니다. 이걸 옮기려고 하는 환경으로 옮깁니다.저같은경우는 폐..

hbase table already exists

지금 상황은 Hbase가 잘못되어서 다시 설치하려는 케이스입니다. HDFS 안에 잇는 Hbase를 지웠는데 테이블을 생성하려고 할때 테이블이 존재한다면, zookeeper 내부에 있는 Table 정보도 지워주셔야 됩니다. 올바른건지 모르겠는데, 아마 다른 방법이 있을것 같은데,, 시간이 없다보니 zookeeper 내부에서 rmr /hbase 하고 hbase 들어가면 주키퍼에 /hbase 가 없다고 나올겁니다.. 저는 이상태에서 콘솔상에서 hbase hbck -fix를 하고 hbase shell로 다시 들어가니 다시 잘되네요

hbase cannot find an existing table / hbase table already exists (zookeeper)

2016/03/08 - [Study/--Hadoop Eco(Apache/HDP)] - hbase table already exists 어제 관련된 몇가지 조치를 하다가 HDFS 내의 HBASE를 날렸는데오 존재하는 테이블이라 나와서 여러가지를 해보았는데, 결론은 Zookeeper에 Table남아있어서 생긴 결과였습니다. 외국 해외포럼에서 찾아보니 좀비 테이블이라고 지칭하는데, 이걸 제거하는 방법은 Zookeeper Server 접속하며서 Hbase 노드에 있는 Table a목록중에 해당 테이블을 제거 하면 됩니다. 이번에 HBASE 쓰면서 느낀건.. 엄청 잘깨진다..

Vagrant port forwarding

The forwarded port configuration expects two parameters, the port on the guest and the port on the host. Example:Vagrant.configure("2") do |config| config.vm.network "forwarded_port", guest: 80, host: 8080 end This will allow accessing port 80 on the guest via port 8080 on the host.For most providers, forwarded ports by default bind to all interfaces. This means that other devices on your networ..

JAVA 또는 Srping으로 Hbase를 사용할때 팁

HBase 데이터를 만지다가, 생각지도 못한것으로 고생을 해서 리마인드 차원에서 포스팅 합니다. Java또는 Spring 에서 Hbase를 사용하는 방법은1. Native Library 2. Trift3. Rest API 이때 속도는 1 > 2,3 정도 Native 방식이 빠름,만약에 Native 방식을 할때는,Hbase와 같은 네트워크 망을 사용해야하고 Client에서 반드시 hosts를 지정해서 사용해야됨(만약 다른 네트워크라면 Trift와 Rest로 사용가능) ..(관련해서 스택오버플로우에도 물어보긴 했지만.. 재미는 못봤음) Hbase같은경우 , 일반적인 RDBMS 처럼 select의 개념으로 생각면 피곤. HBASE의 경우 Select에 해당하는것이 scan인데 이때 전체를 fullScan 해서..

오픈소스에 관련 포럼에 물어보기

요즘 이런 저런 작업을 하느라 특정 아파치 오픈소스 포럼에 메일 구독을 하고서 물어보고 있습니다.웹상에 정리된것은 많은데,, 많은 부분에 경험이 부족해서 그런지 몇개 알게된것만 적어 봅니다. 만약 ,어떤 오픈소스를 사용하는데 있어 물어보고 싶을떄(코드 수정일수도 있고, 등등) 예를들어 https://hadoop.apache.org/mailing_lists.html 이라고 할경우, 자신의 메일을 이용해서 메일을 보내면 자동적으로 구독이 됩니다. 제가 이용하고 있는 오픈소스는 메일링 리스트가 유저,개발,커밋으로 나누어져 있는데, 어라 여긴 하나밖에 안보이네요.(다른 종류를 찾지 못한것일수도 있지만.) 메일링 리스트를 이용하는 방법은 자신의 메일(gmail 이면) 로그인 한다음 user-subscribe@ha..

파이썬으로 병렬처리 하기 3 마지막장 (Parallel Python)

오늘 심각한 고민을 했습니다 ... 자바는 그냥 갔다 버려야되나.. Parallel Python 이거 써보고 할말을 잃었습니다. 생각보다 너무 쉽고. Parallel Python을 사용하기 위해서는 대략 다음 절차를 수행하시면 됩니다. 연산을 하려는 노드, Master노드에 Parallel Python 설치(http://www.parallelpython.com/) [현재 저같은경우 Python 2.7을 사용하고 있습니다.] 그다음 연산하려는 모든 노드에서 네트웍 대역이 같다면, ppserver.py -a (이 의미는 실제 코드 설명할때 설명0 그리고 마스터 노드에서 병렬처리할 코드를 작업하시면 됩니다. 큰틀은 다음과 같습니다. 가장 중요한 부분은 ppserver= ppservers=("*",) 입니다. ..

sqoop export : For input string: "\N" (From Hive to MySQL)

sqoop export 를 할때 For input string: "\N" 해결 할수 있는 방법Sqoop export 옵션에 --input-null-string '\\N' --input-null-non-string '\\N' 추가 2015/10/29 - [Study/--Hadoop Eco(Apache/HDP)] - Sqoop 1.4.6 설치, 사용 예제(Migrating data using sqoop from Mysql to HBase)2015/11/16 - [Study/--Hadoop Eco(Apache/HDP)] - Hive를 이용해서 Rank 구하기2015/12/23 - [Study/--Hadoop Eco(Apache/HDP)] - Sqoop-export : from hive to mysql

HDFS NFS gateway 사용법

하둡 2버전은 잘모르겠지만. 1버전을 이용할때는 리눅스에서 HDFS에 직접 마운트를 해서 사용하고 싶을때가 있었습니다. 그떄 fuse-dfs를 이용해서 마운트 했는데, 2버전때 없어졌나 했는데.. 제가 HDP(Hortonworks Data Platform)을 이용해서 그런지 잘 안보였던것 같더군요.. cloudera에는 fuse-dfs가 그대로 있던것 같았습니다. 홈페이지에서 보기에는 http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.4/bk_hdfs_nfs_gateway/content/hdfs-nfs-gateway-user-guide.html 다른 배포판은 모르겠지만.. 아파치 하둡1을 이용할때는,, fuse-dfs를 사용하기 위해 관련 라이브러리 설치하고..

Combination 구하기 (Number of Cases)

지금도 진행중이지만, 발생할수 있는 경우의 수를 계산할일이 생겼는데, 이제는 산수도 헷갈리는 문제가 발생하였습니다. 경우의 수를 쉽게 구하는 방법이 있습니다.(예를들면 M이라는 갯수가 있을때 N개씩 뽑을대 발생할수 있는 McN) 경우의 수,, 표현식이 맞는지 잘모르겠지만.. 예전에 울프럼알파? 수학용 검색엔진이 있다고 언듯들은적 있는데, 바로 계산해주네요 그리고 만약 자바에서 할경우에는, 하마타면 로직을 만들뻔 했지만 combinatoricslib 라이브러리가 존재,https://code.google.com/p/combinatoricslib com.googlecode.combinatoricslibcombinatoricslib2.0 홈페이지에는 참고할만한 내용이 없을 정도로 라이브러리 자체가 심플하게 구성..

MySQl Memory DB Table is Full

환경은 Cetnos 64bit 30GBRAM, MySQL 5.7 버전을 사용하고 있습니다. 많은 텍스트들을 보면 Hadoop MapReduce에서 반복적인 작업은 지양하라고 되어있는데, 현재, 싱글 머신에서 돌리기에는 양이 너무 많아서(쓰레드를 붙이더라도)... MapReduce에 약간의 꼼수를 써서 포팅해서 사용하고 있습니다. 현재 10개의 Hadoop Node에서 총 40개의 Task(MapReduce) 걸었습니다. Map 작업 한번에 총 약 12개 정도의 쿼리를 날립니다. 사실 이 쿼리가 단일 머신에서 할때는 0.55ms 정도 나오는데 10Node로 동시에 Query를 날리니 9s 넘게 걸리더군요.. 물론 제가 쿼리를 엉망으로 만든것은 있습니다. 이러한 문제점을 해결하기 위해, 쿼리에 사용되는 Ta..

파이썬으로 병렬처리 하기 1 (Parallel Python)

몇가지 처리해야할 작업이 있습니다. 몇 가지 케이스에 대해 계속 테스트를 해보고 있지만. 이걸 Hadoop MapReduce로 처리하는것은 정말 성능이 안나오더군요. 흔히 말한는 반복적인 작업... 이걸 Storm, 또는 Spark를 통해 해결해 보고 싶지만. 현재 사정상 신규아키텍처를 도입하는데 문제가 있어서... 물론,,, 현재 환경은 HDP(Hortonworks Data Platform)2.3 이기 때문에, 설치하거나 실행하는데, 문제는 아닙니다. Storm 같은경우 Topology를 만들면 되겠지만.. 약간 제가 생각하는 작업에는 불리할것 같고.. Spark쪽은 아직 제가 지식이 부족해서 시간대비 성과가 부족할것 같은 생각 때문입니다. 물론, 전 아직까지는 언어중에 Java가 좋지만, 요즘 왠만한..

파이썬으로 병렬처리 하기 2 (Parallel Python)

잠깐동안 예제를 따라해보면서 해본 느낌은.. 잘 모르겠지만 엄청 간단합니다. 먼저 Parallel Python에서 http://www.parallelpython.com/content/view/18/32/ 에서 다운 받아서, pp를 다운받아서, 돌아갈 머신과 마스터 노드에 python setup.py install 하면 끝.. 그리고 사용방법은 계산노드(slave)에서 ppserver.py -a(auto discovery) 하면 끝.. 물론 포트를 지정해 준다면 -p 옵션을 사용하면됩니다. 그런다음 마스터 노드에서 다음과 같은 방법으로 하면됩니다. (지금 같은경우는 1master node, 1slave node로 구성된 케이스) import sys,thread import pp class myTest: d..

Hive를 이용해서 Rank 구하기

일단 현재 상황은 MySQL 안에 366996 로우가 들어있는 상황이고, 여기안에 데이터가 있는 상황입니다여기에 데이터가 있는데, 랭킹을 매겨야 하는 상황입니다. select B,T,(select count(*)+1 from 9_Spending_blk where T>t.T) as rank from a_blk as t order by rank asc; SELECT a.B, a.T, count(b.T)+1 as rankFROM 9 a left join 9 b on a.T>b.T and a.B=b.Bgroup by a.B, a.T 통해서 RANK를 구하려고 했는데, 생각보다 느리게 되더군요.... MySQL로 구하는거 포기하고HIVE로 옮긴다음 해봤더니 금방 구할수 있었습니다. 절차는 다음과 같습니다. sqo..

Centos6에서 MySQL 5.1 to 5.7 업그레이드

현재 사용중인 리눅스는 Centos6 64bit 이고 MySQL 버전은 기본 5.1 버전입니다. 5.7로 업그레이드 하기 위해서는 다음과 같은 절차로 진행하시면 되십니다. 먼저 MySQL 사이트에 들어가서 RPM 을 바운받아 YUM repo를 추가합니다. http://dev.mysql.com/downloads/repo/yum/ wget http://dev.mysql.com/get/mysql57-community-release-el6-7.noarch.rpm :: 설치 /etc/init.d/mysqld stop :: mysql 정지 yum remove mysql mysql-server* 기존 mysql 삭제yum install mysql-server :: 5.7 설치 /etc/init.d/mysqld sta..

Sqoop-export : from hive to mysql

만약 Hive에서 test라는 테이블을 mysql로 옮길때는 1. Hive의 Test와 동일한 Test테이블을 Mysql에 생성2. sqoop 을 이용 sqoop export --connect jdbc:mysql://192.168.1.1/database --username user --password password --table test --export-dir /apps/hive/warehouse/test --input-fields-terminated-by '\001' --lines-terminated-by '\n'

기업용 무료 백신 AVAST for business (1/2) - 웹 인터페이스

AVAST 제품 라인업은 잘모르겠으나, Endpoint를 시작으로 기업용 모델을 별도로 판매하고 있습니다. 최근 클라우드 기반의 Avast 백신이 나왔습니다. 기본적인 기능을 무료로 제공하고 나머지 기능(방화벽,샌드박스등)은 월 $2의 요금을 받고 서비스 하고 있습니다. 사실, Avast Endpoint를 이용하고 있었지만, 컴퓨터를 윈도우 10으로 업글하면서 아직 지원을 하지 못하고 있어, AVAST없이 살고 있다, AVAST for Business로 옮겨탔습니다. 일단 현재 저는 월 2$를 내고 프리미엄 버전으로 신청해서 사용을 하기 시작했습니다.(한달은 무료로 주는것 같더군요..결국에는 계속 이용할것 같습니다... 선택권이 얼마 없어서 다른 백신들은 최소 5copy이상 팔거나,개인은 구매하기 힘들어..

Sqoop 1.4.6 설치, 사용 예제(Migrating data using sqoop from Mysql to HBase)

Sqoop2 가 있지만, 1이 익숙한 관계로 다음은 MySQL 에서 Hbase로 Migration 하는 예제 입니다. wget http://mirror.apache-kr.org/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gztar zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gzmv sqoop-1.4.6.bin__hadoop-2.0.4-alpha /usr/local/sqoop vim /etc/profile export HBASE_HOME=/usr/local/hbase export SQOOP_HOME=/usr/local/sqoop export PATH=$PATH:$SQOOP_HOME/bin:$HBASE_HOME/bin:$..

MapReduce :: Type mismatch in value from map

주말에 갑자기 텍스트 데이터를 분석할 일이 있어서,, 분석이라기 보다는. 문제는 이 파일이 파일한개가 40~50GB 정도 되는것 같습니다. 보통은 Toad로 MySQL로 밀어 넣어서,, 확인 해보려고 했더니, Toad가 OutofMemory 오류가 나더군요.. 저 오류는 자바에서 본걸로 기억하는데 Toad가 자바로 만들어졌나.. 결국에는 포기하고 HDFS에서 MapReduce로 프로그램을 만들었습니다. Type mismatch in value from map Map작업을 돌리다보니, 이런 오류가 나더군요. 이오류는 Map,Reduce의 형태가 드라이버 클래스와 안맞을때 나는 오류 입니다. 오랜만에,, 맵리듀스 프로그램을 만들어봣더니,, 머리가 아프네요 http://stackoverflow.com/ques..

드롭박스 무료로 저장공간 확보하기 Campus Cup

내용을 몇개 정정합니다. 이게 학교 사용자 숫자에 따라 용량이 차등 지급 됩니다. 제 드롭박스 계정으로 연결하니 저희 학교의 경우에는 8G 더 주네요 이전에 제가 위대한 스페이스 레이스라는 글을 포스팅 한적이 있습니다. 종료에 관련된 거였는데(2015/02/27 - [Think , Dream / Fly] - `드롭박스(Dropbox) 위대한 스페이스 레이스(Great Space Race) 2015년 3월 4일 종료), 이번에 이런 비슷한 이벤트를 다시 하는것 같습니다. 어느순간부터인가 드롭박스를 Pro버전으로 월정액을 이용하느라,모르고 있었는데 다시 하네요 참고로, 본 이벤트에 참여하시려면 아이디@학교명.ac.kr을 형태의 교육기관 이메일주소를 이용하셔야 합니다. https://www.dropbox.co..

한글 토렌트(DHT) 검색 사이트 btdigg.org

사실, 블로그의 전체적인 주제는 토렌트는 아닙니다. 처음에 이 블로그를 할때는 대학교때 공부하는 내용이나 정리해볼까 하다가, 굳이 전공이 아니더라도 넓은 범위의 IT관련 내용을 다루는것이 목표가 되었습니다. 2014/02/27 - [Information] - 토렌트 검색사이트(비트스눕 bitsnoop 대체 사이트)2015/02/10 - [Sufing The Web] - 비스툽,bitsnoop 대체 토렌트 검색 사이트 과거에 토렌트 관련글을 두개를 올렸었는데, 생각보다 많은 분들께서 이 글을 찾아보시더군요. 사람마다 토렌트를 쓰는목적은 다르겠지만, 저 같은경우는 멜론에서 들을수 없는 외국음악을 다운받는데 보통 이용을 한다는.. 몇몇 가수로 예를 들다면 정규 앨범은 한국에서 공개가 되는데, 싱글앨범들은 공개..

맥(osx,mac,macbook pro,mini,air)에서 bashrc 안될때

맥에서 작업을 하다가 설정을 bashrc에 반영시키려고 했는데, 작동을 안하더군요. 구글에서 찾아보니 , 맥에서는 bashrc 대신 bash_profile을 사용한다고 하네요 http://superuser.com/questions/244964/mac-os-x-bashrc-not-working In OSX, .bash_profile is used instead of .bashrc.And yes, the .bash_profile file should be located in /Users/YourName/ (In other words, ~/.bash_profile)For example, /Users/Aaron/.bash_profile

아파치 피닉스(Apache Phoenix) 설치

1. 하둡 , Hbase는 기본적으로 설치되어 있다고 가정, https://phoenix.apache.org/ 에서 파일 다운로드 2. 압축해제3. Hbase 정지4. phoenix-버전-HBase-1.1-server.jar 을 HBASE lib 폴더에 저장5. phoenix-core-버전-HBase-1.1.jar 을 HBASE lib 폴더에 저장6. Hbase 재시작 확인절차 1. ./sqlline.py 172.168.0.47:2181:/hbase - System Table은 피닉스가 처음 실행할때 자동으로 생성 2. Hbase shell - Hbase Shell에도 똑같이 시스템 폴더들이 생긴것을 알수 있음

EST NOD32 Antivirus 8 사용 후기

사실 어렸을적에 바이러스로 제대로 한번 털린적이 있습니다. 아마도, 구루구루(P2P)나 당나귀 시절이였떤것 같은데 emule 나오기전에요. 그동안 애지중지 모아두었던 파일들이 전부 다 날라가버렸습니다..정확히 말하면 지금 생각해보면 윈도우가 꺠져서 부팅이 안되었던것 같습니다. 그떄 이후로, 되도록이면, 백신은 구매해서 계속 사용하고 있습니다.지금 유료로 사용하는 백신은 집(v3 365),개인용 노트북(ESET NOD32), 업무용(Avast endpoint)를 사용하고 있습니다. V3 365같은경우는 백신만 이용하는것은 아니고 주치의(원격 진료서비스)를 같이 이용하고 있습니다. 집에 부모님 컴퓨터를 제가 항상 고칠수는 없다보니 계속 연장해서 쓰고 있네요. 개인용 노트북은 노턴부터 시작해서 여러가지를 구매..

솔찍한 윈도우 10(Windows 10) 사용후기

간략하게 윈도우 10에 대한 후기를 적어보려고 합니다. 윈도우 10의 등장은 말이좀 많았던것 같습니다. 국내 쇼핑몰,은행을 이용을 못하게된다니.... ActiveX 기반이라 아깝기는 하지만... 그런데 몇일간 사용해 본걸로는,다 사용가능 합니다. 방법은 이번에 새로 등장한 윈도우 10 Edge 말고, IE 11을 그대로 이용하시면 됩니다. (IE edge가 등장했지만, 크롬에 더 손이가네요.. ) 윈도우, 8 부터 8.1을 사용해보았지만, 몬가 어설픈모바일과 일반 컴퓨터를 합치려고 했다면 좀 성숙한 느낌이랄까,토나오는 메트로 UI를 버리고 시작버튼도 다시 생겼습니다. 물론, 새로운 디자인과 함께요 사양은 공식적인것이 있겠지만,잘은 모르겠고, 제 윈도우 8.1 돌리던 노트북을 10으로 올렸더니 잘돌아가는 ..

Hbase + Hive 연동

HDP(Hortonworks data Platform)을 이용할때는 external Table을 선언하면 바로 동작하던것 같은데, 일반 Apache Hadoop에서는 약간 다르기 보다는 귀찮은게 많은것 같습니다. Hadoop 2.7.1, Hbase 1.1.1 , Hive 1.4.0을 기준으로 정리하면(각 컴포넌트들이 이미 설치되어 있다고 전제) 1. Hive로 필요한 Hbase 라이브러리 복사cp /HBASE_HOME/lib/hbase-client-x.x.x.jar /HIVE_HOME/lib/cp /HBASE_HOME/lib/hive-common-x.x.x.jar /HIVE_HOME/lib 2.Hive Shellcreate external table mytable(key string,c1 string,c..

스프링(Spring) 4.0 튜토리얼(tutorial)

http://jeromejaglale.com/doc/spring4_tutorialSpring MVC Fast TutorialBuild a web application quickly using Spring 4.Installation on Mac OS | Installation on UbuntuHello, World!Building a Spring MVC web applicationDisplaying and process a formValidating a formReferenceSpring official documentation: HTML | PDFMy book about Spring 4 at amazon.comThe previous version of this tutorial (for Spring 2.5..

[Apache:Hbase] 에러 해결하는 방법 2015-08-05 13:49:25,287 INFO [root:16020.activeMasterManager] master.ServerManager: Waiting for region servers count to settle; currently checked in 0, slept for 9017 ms, expecting minimum of 1, maximu m of 21..

HDP 가 정말로 좋지만, 요구 환경때문에, Apache Hbase를 사용하고 있습니다. (사실 몇몇 요구사항때문에 Hbase를 직접 컴파일하고 빌드한 상황이라, 바이너리를 받았으면 이런오류가 안생기실수도 있습니다) 참고로 제 환경은 Centos 6.6 64bit, Hbase 1.0.1.1 입니다. 방금전에 문제 겪은것에 대해 해결방법을 포스팅합니다 2015-08-05 13:49:25,287 INFO [root:16020.activeMasterManager] master.ServerManager: Waiting for region servers count to settle; currently checked in 0, slept for 9017 ms, expecting minimum of 1, maximu..

Aapche hive select count(*) 과 같은 작업을 할때 MapReduce 작업이 무한이 진행될때

2015/08/05 - [Study/------Hadoop] - [Apache:Hbase] 에러 해결하는 방법 2015-08-05 13:49:25,287 INFO [root:16020.activeMasterManager] master.ServerManager: Waiting for region servers count to settle; currently checked in 0, slept for 9017 ms, expecting minimum of 1, maximu m of 21.. 연장선의 글입니다. 컴파일을 해서 사용중이라 그런지 포트가 엉망인지 모르겠습니다.Hive에서 Hbase 사용을 위해 External Table 을 만들고 select count(*)와 같이 , MapReude작업을 하려고 ..

SSH root(또는 특정 아이디를) 특정 아이피 대역에서만 접근하게 하는 방법

리눅스로 작업을 하다가, ubuntu를 자주 사용했을 경우는 sudo를 썻지만, 레드헷계열을 사용하다 보니 root을 많이 사용하게 되네요 이때, 몇가지 고민이 되는데, 사내에 있는 서버들을 사내의 ip대역에서만 root 계정을 접근하게 하고 싶고 나머지 대역에서는 접근하지 못하게 할 수 있을까 하고 생각이 들었는데, 정말로 쉽네요. /etc/ssh/sshd_config에서 PermitRootLogin yes 바꾸고 AllowUsers [email protected].* 이런식으로 바꿔버리면 root에 대해서 192.168.200.* 대역에서만 들어올수 있습니다 만약 저기에 대역을 추가하고 싶다면 AllowUsers [email protected].* [email protected] 이렇게 추가하면 된..

윈도우7 64비트 group policy client 서비스에 연결할 수 없습니다(Failed to Connect "Group Policy Client Service" Windows 7 x64)

어느 순간부터인가 윈도우를 시작하면 "group policy client 서비스에 연결할 수 없습니다" 오류 메세지를 출려합니다. 웹상에 검색해보니, 시스템 복원을 해보라고 추천해주더군요. 저는 추천해도 똑같은 증상이 나와서 확인해보니 Microsoft 에서 레지스트리를 직접 편집하여 해결하는 메뉴얼을 제공해 주고 있었습니다. 레지스트 편집이다보니, 약간 부담스러웠는데, 찾다보니 유튜브에 해결방법을 녹화시켜 놓은것이 있어 올립니다. 나오는 순서대로 차근차근 따라서 하면 문제가 해결됩니다

Strom-kafka : ava.lang.RuntimeException:java.lang.RuntimeException: org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /brokers/topics/topic_sdka/partitions

일단 환경은 HortonWorks HDP 플랫폼 위입니다. Storm을 Kafaka의 Consumer로 Spout를 만드는데, 이게 오픈소스라 그런지는 몰라도 잔 버그가 많습니다. Strom-kafka : ava.lang.RuntimeException:java.lang.RuntimeException: org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /brokers/topics/topic_sdka/partitions 이런 당황스러운 오류가 Spout 쪽에서 날수가 있는데, 스택오버플로우에서는 버전을 맞추라느니, 뭐라느니, 그러는데 결론은 Kafka, Storm, Zookeeper Restart 한다음에 다시..

구글 지메일와 아웃룩을 동기화 시키기(Google Gmail to Outlook)

소개 동영상 요즘 업무용 메일로 google gmail을 사용하고 있습니다. 음.. 예전부터 Outlook을 꾸준히 사용해와서 인지, 크롬에서 사용하는 google gmail 이 정말 편하지만 Outlook 환경에서 사용하는게 더 편하네요. 가장 쉽게 사용하는 방법은 POP3 또는 IMAP를 이용해서 Outlook에 연결해서 사용하면 됩니다. 하지만 여기서 한가지 고민이 생길수가 있습니다. 만약 gmail 에 연락처가 있는데, 이걸 아웃룩과 동기화 하고 싶다 , 또는 캘린더에 있는 내용을 아웃룩과 통합하고 싶다는 욕심이 생기기 마련입니다. 네이버 또는 구굴을 검색하면 유료, 무료 버전의 여러 프로그램들이 존재합니다. 업무를 좀더 편하게 해보려고, 여러가지 툴을 사용해보았는데, 전혀 찾을 필요가 없었습니다..

드롭박스 개인 보안 솔루선 폴더 크립토(Folder Cryptor for dropbox)

https://www.foldercryptor.com/ Dropbox를 Pro버전으로 바꾸면서 사실 제 거의 모든 자료들은 DropBox에 보관하고 있습니다.(참고로 Pro 버전이 1달에 9.99달러에 1TB 구글 드라이브와 가격은 똑같습니다.) 구글 드라이브를 안쓰게 된 이유는 여러가지가 있지만 일단 Dropbox가 편리합니다. 아직 까지 저에게는... 요즘 페이스북이 사용자 타겟팅 광고를 하는건지, 페이스북에 Dropbox용 보안 툴이 나왔다는 광고를 보고 구매까지 해버렸습니다. (무료버전으로도 충분히 사용할 수 있지만, 2.99 달러에 기능제한 없이 사용 할 수 있기 때문에,, 얼마 가격도 안하고..) 폴더크립토라는 서비스인데, 드롭박스의 보안을 위한 서비스입니다. 드롭박스가 자체적으로 보안이 될텐..

우분투(Ubuntu ) mp4box 이용방법

오랜만에 설치해서 그런지 헷갈렸네요. 설치 apt-get install gpac 사용법 MP4Box (소문자인줄 알다가 뻘짓함.)

블로그 검색 유입은 역시 네이버!

예전부터, Google analytics 와 네이버 애널리틱스로 블로그 방문자 통계를 내보면, 항상 네이버가 압도적이네요.분명 다음이나 구글도 좋은검색엔진이지만, 최근에 블로그를 잘 못했는데, 방문자 유입 키워드와 네이버 검색엔진좀 분석해서, 네이버 검색엔진에 좀더 최적화를 시켜봐야겠네요.

구글 애드센스 광고 수익 최적화에 대한 생각

본문의 그림은 구글 애드센스에서 제공하는 각 플랫폼별 광고수익을 보여주고 있습니다. 여기서 눈여겨 볼수 있는점은, 애드센스를 하시느분들은 메일을 받아서 아시겠지만 최근 구글의 검색방식이 모바일 친화적인 방법으로 알고리즘이 변경 되었습니다. 그 여파 때문일까요, 현재 제 블로그의 광고수익의 17%는 모바일에서 나오는것 같습니다. 하지만, 아직 제 블로그에는 모바일 이용자보다는,, 일반 데스크탑 이용자가 더 많네요. 모바일 이용자를 더 끌여들일만한 연구를 좀더 해봐야겠습니다.

Hbase Thrift Java Client Demo

reference : https://svn.apache.org/repos/asf/hbase/branches/0.20_on_hadoop-0.18.3/src/examples/thrift/DemoClient.java package org.apache.hadoop.hbase.thrift; import java.io.UnsupportedEncodingException; import java.nio.ByteBuffer; import java.nio.charset.CharacterCodingException; import java.nio.charset.Charset; import java.nio.charset.CharsetDecoder; import java.security.PrivilegedExceptionActi..

JAVA 기반 형태소 분석기

http://kkma.snu.ac.kr/ 꼬꼬마 형태소 분석기 http://www.shineware.co.kr/, http://shineware.tistory.com/entry/KOMORAN-ver-24 KoMoRan 형태소 분석기

`드롭박스(Dropbox) 위대한 스페이스 레이스(Great Space Race) 2015년 3월 4일 종료

2년전인가, Dropbox에서 스페이스 레이스 프로모션을 한적이 있습니다. 학교 계정으로 가입하면 가입한 숫자 만큼 용량을 제공해주는 프로모션이였습니다. 드롭박스가 기본 2GB주고, 이것저것 포인트 하면 용량이 늘긴하지만 , 상당히 부족한 양이였군요. 전 여기서 25GB를 얻었습니다. 엇그제, 이메일로 스페이스 레이스가 종료된다는 메일을 받게되었습니다. 사실, 여러가지 클라우드를 쓰고 있지만 그래도 가장 쓰기 편한건 Dropbox이더군요. 그래서 지금은 Pro 버전으로 전환해서 쓰고 있습니다. 사실 Pro버전으로 전환한 이유가, 과거에는 100G에 10달러인가 그랬는데,, 지금은 1TB에 10달러입니다. 다른 Cloud Storage 서비스보다는 훨씬 많이 싸게 주는 가격입니다.사실, 최근에 알게된것 같..

enableSharding may only be run against the admin database.

db.runCommand({ "enablesharding" : "database" }){"ok" : 0,"errmsg" : "enableSharding may only be run against the admin database.","code" : 13} 만약 MongoDB를 사용하다 샤딩을 설정하려다 저런 오류를 발생하면, 지금 Admin 인지 확인해보세요 use admin 또는 Mongos host:port/admin

Vim 색깔 설정(Debian vim color scheme)

개인적인 용도로 클라우드 서비스를 이용해서 리눅스 서버 한대를 이용하고 있습니다.아마존이나, 유클라우드 같은 서비스도 있지만 너무 가격이 비싸서 저 같은경우는 Ramnode(http://www.ramnode.com/)를 이용하고 있는데 최고 작은 사이즈의 인스턴스의 경우 1년에 15달러 정도 합니다.(사실 서버가 여러군데 있는데, 아시아에는 없습니다. 시애틀에 있는 서버를 이용중인데 속도가 좀 느리긴 합니다. 하지만 VPN과 개인적인 Proxy용으로 만든거라 나름 쓸만합니다. ) 여러 리눅스 배포판을 제공하는데, 지금은 데비안7을 사용하고 있습니다. 분명히도 우분투도 데비안 계열이였는데,Vim을 사용하니 흑백 화면만 나오는것입니다. 해결방법은 간단합니다. 데미안 위키에 간단하게 나와있네요. vimrc를 ..

간단하게 쉽게 사용할수 있는 심플노트(Simplenote,http://simplenote.com/)

스마트폰을 사용하게 되면서 부터 달라진 것이 있다면, 메모 또는 스크랩 종류 앱 , 서비스를 많이 이용하게 된것입니다. 사실 생각해보면 Firefox scrapbook을 유용하게 사용하였는데, 좀더 편하게 정보를 수집하는 방법을 고민하다 Evernote를 알게되어 본격적으로 사용하게 되었습니다. 그러다보니 좀더 효율적으로 수집되는 정보와 수집된 정보들을 어떻게 효율적으로 관리할까라는 고민을 하게되었습니다. Pocket : 인터넷 기사 수집 Evernote : 기사를 제외한 필요한 정보 수집 또는 메모Onenote : Pocket과 Evernote에서 저장된 정보를 필요에 따라 재가공 및 저장네이버 메모(Naver Memo) : 갑자기 생각나거나, 급하게 메모해야할경우.. 세미나를 참석하거나 내부 회의를 ..

hive web interface(hwi) 설치하기

생각해보면, hadoop이나, hbase는 web interface를 제공해서 중간 중간 제가 원하는 정보를 얻을수 있습니다. 물론 콘솔로도 얻을수 있으나, 예를들어 어떤 노드가 죽었나, 또는 region들이 제대로 분할되었나(hbase를 처음사용하다보니, 실제 분할되고 하는것들을 보고 싶었거든요) 그런데 hive는 웹인터페이스를 보고 싶었는데, 없다는것이 문제였습니다. 관련해서 검색해보니, 별도로 설정해서 hwi를 실행해야 하는것이였습니다. 일단 저의 환경은 다음과 같습니다.Hadoop 2.6.0Hbase 0.98.9zookeeper 3.4.6hive 0.14.0 출처 : https://cwiki.apache.org/confluence/display/Hive/HiveWebInterface hive.hw..

스팀(Steam) 번들(Bundle) 게임 사이트

https://www.humblebundle.com 제가 자주 이용하는 번들 사이트 중 하나 입니다. 정말 괜찮은 번들이 나올때가 있습니다.자물쇠 걸린 게임의 경우는 평균가를 초과해서 구매하면 나중에 열리게 됩니다. http://www.indiegala.com/ 주로 인디게임이 올라오는 번들입니다. http://www.bundlestars.com/ 번들 스타도 자주 접속하는 번들 사이트인데, 알찬 번들이 잘 올라옵니다. 사실, 번들 게임을 파는 곳은 블로그에서 포스팅 한 곳 말고도 많이 있습니다. 이번 포스팅의 경우에는 제가 자주가는 번들 사이트 위주로 포스팅을 해보았습니다. 보통 어떤 게임 플랫폼을 사용하시는지는 잘 모르겠지만, 번들 게임 사이즈를 이용할때는 DRM을 필히 확인하고 구입하셔야 합니다. ..

Mongodb에서 도큐먼트(document) 생성시간 찾기

잠깐 일때문에 Mongodb를 보고 있었는데, 몽고디비 안에 document 생성시간을 알아야될 필요가 생겼습니다. 생각해보니 따로 date필드를 만들어 시간값을 넣은것도 아니고.... 찾아보니 document생성할때 기본적으로 생성되는 _id로 시간을 구할수 있다고 하네요 https://steveridout.github.io/mongo-object-time/ 사이트에가서 생성된 _id를 집어넣으면 자동적으로 시간으로 변환해줍니다.

Centos 토렌트 머신 만들기 ,Transmission 사용하기

지금 외국 클라우드 서비스를 이용하고 있습니다. 주목적은 VPN 서버를 설치해서 사용하고 있지만, 공간도 남고해서 토렌트 머신으로 만들생각을 했습니다. 2010/01/11 - [Study/Linux] - 리눅스 서버를 토렌트 머신으로? transmission 과거에 제가 debian 환경에서 transmission으로 토렌트 머신을 만드는 방법을 포스팅 한 글이 있습니다. 지금 생각해보니, 정말 어렵게 설치했네요. 설치 방법은 정말로 간단합니다.(그리고 setting.json 변경이 안되는 문제점 해결방법도 적어놓도록 하겠습니다.) 일딴 제가 사용한 운영체제는 centos 6 32bit입니다. 6버전을 사용한 이유는 제가 사용하는 클라우드 서비스에서 7 버전은 32버전을 지원안하네요(centos7 부터 ..

Hbase, org.apache.hadoop.hbase.TableExistsException: hbase:namespace

Unhandled exception. Starting shutdown.org.apache.hadoop.hbase.TableExistsException: hbase:namespaceat org.apache.hadoop.hbase.master.handler.CreateTableHandler.prepare(CreateTableHandler.java:120)at org.apache.hadoop.hbase.master.TableNamespaceManager.createNamespaceTable(TableNamespaceManager.java:230)at org.apache.hadoop.hbase.master.TableNamespaceManager.start(TableNamespaceManager.java:85)a..

JSON 정렬, 유효성 검사

http://jsonlint.com/ JSON 정렬, 유효성 검사

비스툽,bitsnoop 대체 토렌트 검색 사이트

2014/02/27 - [Information] - 토렌트 검색사이트(비트스눕 bitsnoop 대체 사이트) 제가 작년에, 토렌트 검색 싸이트를 포스팅한적이 있었는데, 생각보다 많은 분이 들어오시네요.그래서 이번에는 요즘에 제가 사용하는 토렌트 검색 싸이트를 포스팅합니다. 첫번째 검색사이트는 VITORRNET 입니다. 참고로 이 싸이트는 한글검색도 되네요 http://www.vitorrent.net 두번재는 Btkitty 입니다. 중국에서 만든사이트인것 같은데, 한글 검색또한 매우 잘됩니다. http://btkitty.org/

해외직구, 블랙프라이데이 배대지(배송대행지)

이제 작년 이맘대쯤 나라를 들썩이게 했던 미국 블랙프라이데이가 시작됩니다. 물론, 전 그떄 스팀게임을 주로 구매했지만, 이번에는 물건 좀 보고 미리미리 준비해야겠네요(이번포스트는 저번 포스트용도와 마찬가지로.. 백업용도..) 오마이집해외 배송대행 전문업체, 미국 물류센터 소개, 배송대행 신청, 관부가세 계산 등 안내. www.ohmyzip.com/포스트베이해외 온라인쇼핑 배송대행 전문업체, 배송비, 국가별 통관, 기프트카드 정보 등 안내. www.postbay.com/ 몰테일해외 구매대행 사이트, 미국, 일본, 공동구매, 해외사서함 서비스 제공. post.malltail.com/

아웃룩(outlook) Express 2003, 2007, 2010, 2013 최대 용량 / 압축 방법

아웃룩 관련글을 몇건 블로그에 작성했었습니다. 블로그 로그를 분석하다보니 생각보다 아웃룩을 검색해서 들어오시는 분들이 많다는것을 알게되었습니다. 사실, 아웃룩을 사용하는 이유는 편하다는 이유도 있겠지만. 기존 포털(다음,네이버,네이트)와 같이 고용량의 메일서비스를 제공할때는 필요가 없을수도 있으나, 공식적인 메일 계정(회사)라던지 그런곳에서 너무 적은 용량의 메일공간을 주어서 백업을 해야할 필요성이 생기거나, 아니면 너무 웹인터페이스가 너무 안좋아서 불편하던가, 아니면 일정이라던지, 여러가지 관리를 이용해서 생기는 케이스가 많으실것입니다. 물론, 오픈소스인 썬더버드를 추천을 드리고 싶지만, 저도 쓰다보면 결국 아웃룩으로 돌아오게되더군요. (아마도 익숙함때문이겠죠) 그런데, 아웃룩의 문제는 컴퓨터에 백업을..

해외여행후 시간이 꼬여버린 사진 정리하기.(사진 시차 조정) EXIF Date Changer

사실, 학회라던지 이런일로 여러번 해외로 출장을 다닌적이 있습니다. 물론 그런지역들은 한국에서 이동하더라고 예를들면 태국이나 대만(시차가 5시간? 2시간) 정도밖에 차이가 안나니미러리스나 DSLR로 사진을 찍어도 큰 문제는 안생겼습니다.(저 같은 경우는 날짜로 정리하거든요) 그런데 이번이 문제였습니다. 생각해보니 지난 하와이갔을때는 별로 문제가 없었던것 같은데(시차가 얼마가 났는지 기억이.) 이번에 샌프란시스코로의 일정이 문제였습니다. 샌프란시스코는 LA 기준 시간을 쓰는데, 이시간이 -17시간정도 한국하고 차이가 납니다. 그것도 생각안하고, 카메라의 시간은 한국기준으로 잡혀있고, 신나게 사진찍고와서 사진을 빼보니 엉켜버리더군요. 당연한 이유였습니다. 카메라를 찍게되면 EXIF 부분에 시간이 저장이 되게..

SSH RSA 접속 안될때

Hadoop을 1.0 버전때에서 사용해봐서 2.0 버전을 공부해보려고 StandAlone 모드로 설치하던 중에 발생한 문제입니다. 물론 이러한 경우가 아니라도 적용이 가능할것 같습니다. ssh-keyges -t rsa -P ""이렇게 해서 id_rsa 와 id_rsa.pub 가 생성된후 authorized_keys를 생성한다음ssh localhost로 한다음에 접속하려고 하니 권한이 없다고 뜨는것입니다. ssh-server를 다시 실행해봐도 안되고, 지금 제가 사용하는 버전이 Ubuntu 14.04 LTS 데스크톱 버전입니다.(주로 Hadoop MapReduce 관련 작업을 할때 윈도우에서 이클립스에서 Maven에 올려서 작업했는데, 리눅스에서 하면 MR작업을 바로 걸수 있다고해서, 데스크탑 모드로 약간..

우분투 14.04 데스크탑 버전을 사용하면서.

사실 지금까지 Hadoop Cluster 운용목적으로 서버용버전으로 계속 사용해왔습니다. 오랜만에 노트북을 밀고 Ubuntu 14.04 데스크탑 버전으로 오랜만에 설치해보았는데..생각해보니 데스크탑 버전은 10.04 버전, 페도라는 12인가 11인가 까지 사용해본이후로 사용하니 한 2년정도 만에 사용해보는것 같습니다. 14.04를 사용해보면서 느낀것.. 예전에 10.04 쓸대 한글입력할때 문제가 있었지만,.. 분명히 ibus로 사용해서 한글 입력이 제대로 되었는데, 이상하게 안되네요. 웹을 검색해보니 몇가지 이슈가 있어서 fcitx로 한글 입력을 했더니 잘되네요. 그리고, 예전에는 브라우저 설치하면 플래쉬를 사용하려면 모듈설치파일을 받아서 그 해당 브라우저의 플러그인 폴더로 복사했던것 같은데, peppe..

supermicro x8dtl-3 하드 인식안할때,

비유하자면, 기계가 무섭다랄까. 사실 주변에서 컴퓨터 전공한다고하면 어떤게 좋냐 막 물어보는데, 전 그런걸 잘모르겠더군요.. 사실 이걸 제가 접근한게 제대로 된건지는 모르겠고. 고급 지식을 가지신분들에게야 껌이시겠지만, 혹시 저와 같은 입장에서 고민하고 계실지 못하는 분들을 위해서 글을 남깁니다. Hadoop을 이용하는 연구를 하다보니 클러스터를 운용하게 되는데, 사실 여러 밴더들로 이루어져있습니다. HP, supermicro, 그리고 또 어디더라, D로 시작하는것이 있는데, 사실, HDFS를 이용하다보면 한 노드가 날라가도 다른 노드의 정상적인 복제본을 통해서 복제되기 때문에 그렇게 문제는 안되었지만 결국에는 HDD를 교체하고, HDFS를 다시 깔아야 했길래 오늘 맛탱이가간 5노드의 HDD를 전부 교체..

우분투(Ubuntu) 프록시 환경(Squid3)에서 apt-get 사용하기

2012/06/22 - [Study/Linux] - 인트라넷 또는 클러스터 구성시 우분투 apt-get 사용방법 사실 제가 과거에 apt-cache를 이용해서 내부 인터넷 클러스터 환경에서 Ubuntu apt-get 을 사용할수 있는 방법을 포스팅 한적이 있습니다. 사실 클러스터 환경을 운용하다보니 제 개인적인 생각으로는 효율적이지는 않았습니다.왜냐하면, 가끔씩 컴파일 할 일이 생길때 ant를 실행할때 외부 인터넷 연결을 필요로 하거나, 또는 외부 wget같은걸로 외부에서 받아올려고 할때는 안됩니다. 그래서 결정한것은 마스터 , 1번 외부노드로 연결되는 서버에 Proxy를 구축하는 방법입니다. 사실 정확하게는 기억이 안나는데,브릿지를 구성하는 방법이 잇긴한데, 제가 설정을 작못해서 그런지, 느리더군요. ..

카스퍼스키(kaspersky), 노턴(Norton)를 저렴하게 구입해보세요

과거에 제가, Avast를 프로모션을 이용해서 저렴하게 구입할수 있는 방법을 포스팅한적이 있습니다.사실 이제 Avast 라이센스도 다 되어가서, 새로운 백신이 필요할 시점이였습니다. 이번에는 사용해보지 않은 다른 백신을 사용해보고자 알아보던중에 카스퍼스키가 세일하는것을 알게되었습니다. 사실 이전에 직접 구입해서 사용해본 백신은 V3, 노턴, Avast를 사용해 봤끼 때문에 카스퍼스키를 구매하였습니ㅏㄷ. (알약은 PC버전에서 따로 기업용을 제외하면 유료버전이 없으므로 제외..) 사실, 프로모션이기 때문에, 매우 저렴하기 떄문에 백신을 구매하시고자 한다면 한번 고려해보시는것도 좋을것 같습니다. 물론 유료 백신을 사용하지 않으시더라도, 알약, 또는 V3lite 같은 백신을 PC에 설치하시는것이 바이러스나 악성..

카스퍼스키 안티바이러스(Kaspersky Antivirus 2013)

2014/09/11 - [Information] - 카스퍼스키(kaspersky), 노턴(Norton)를 저렴하게 구입해보세요 이전글을 통해서 카스퍼스키를 저렴하게 구매할수 있는 글을 포스팅하였습니다. 사실 요즘 인터넷을 보니 백신들이 미친듯이 프로모션을 하는지 뿌리네요. AVG 백신의 경우 1년 이용권을 무료로 뿌리고 있고, 어제 같은 경우는 AVG 4년권이 뿌려졌죠..(물론, 인터넷을 통해서 확인한건 뿌려지긴 했는데 불법라이센스라나... 여러 인터넷 커뮤니케이션을 보시면 보실수 있습니다.) 일단 이번 포스팅은 구입한 카스퍼스키에 대한 포스팅입니다. 이녀석을 깔면 이렇게 생겼습니다 . 사실 카스퍼스키는 2011버전인가 크랙버전으로..... 예전에 사용해본적이 있습니다. 그리고 바로 지우고 다른 백신으로..

ubuntu 14.04에서 guest session 제거

우분투 서버용 버전만 계속 사용하다가, 노트북에 Ubuntu 14.04 데스크톱 버전을 설정하였는데, 그 사이에 변경이 있던건지는 잘모르겠지만, 설정 위치가 살짝 바뀐것 같습니다. 우분투 guest session 을 없애는 방법을 검색했더니 역시 구글신.. 2012/02/09 - [Study/Linux] - 우분투 11.10 손님(Guest) 막기 http://askubuntu.com/questions/451526/removing-guest-session-at-login-in-ubuntu-14-04 Just press Ctrl+Alt+T on your keyboard to open Terminal. When it opens, run the command(s) below:sudo nano /usr/shar..

R 프로그래밍

몇일간 R에 대해서 수업 들으면서 느낀것.. 빅데이터 분석으로 R은 만능은 아님(R자체가 데이터를 메모리에 로드해서 사용하기 때문에 만약 컴퓨터가 가진 메모리보다 데이터가 크다면..?) --> 이래서 데이터를 읽어올때 한줄씩 읽어오는 방법도 사용 --> 때에 따라서는 전처리 단계 필요, 또 R이 오픈소스 이다보니까, R에서 전처리 단계에서 속도가 느려서 이를 개선한 Revolution R(현재 7버전) 이라는게 있음,,(유료인가..?..) 또는 하둡을 이용해서 해결, Rhive, Rhadoop, 등등 ++ Java에서 R호출가능, R에서 자바호출가능(?) 그런데 어느정도 전처리된 단계가 있고 R로 처리를 하면 자동적으로 환상적인 Visualization 대박인듯..(할게 많구나..) R관련 재미있는 사이..