sparklyr로 R과 spark연동하기

2025년 날씨 빅데이터 콘테스트를 준비하던 중 데이터가 너무 커서 노트북에서 돌리기에 한계가 있다고 생각이 들었다. 그래서 효율적으로 모델을 돌리기 위해서 이것저것 찾아보던 중 modeltime 패키지가 spark 백엔드를 지원하는걸 보고 spark에 대해서 찾아보았다.

그러던 중 sparklyr이라는 패키지를 이용하면 R에서 대용량 데이터 처리를 원활하게 할 수 있다는 소식을 듣고 설치하는 과정을 기록해둔 것이다. 물론 디버깅과정을 기록한 것이다.

나중에 내가 쓰려고.. sparklyr는 여기를 참고하면 되겠다. https://spark.posit.co/get-started/ Install – sparklyr Install Install the package You can install the sparklyr package from CRAN as follows: install.packages ( "sparklyr" ) Install Spark locally Caution The ...