온디바이스 AI의 시대가 도래하면서, 사용자가 서버에 작업을 요청하는 것이 아닌, 사용자의 하드웨어에서 직접 DeepSeek, LLAMA와 같은 최신 LLM을 실행하는 것이 점점 중요해지고 있습니다. 저도 LLM API를 이용해서 작업하고 있는게 많다보니...
한 달에 OpenAI에 30만원++ 사용… Tier가 낮아서, 하루에 작업 할 수 있는 Request limit에 계속 걸리고, 내 PC에서 구성해보고 싶다는 생각도 있고, LLM 외에도... 영상 / 목소리 생성에도 관심이 생겨서 DeepSeek 모델을 로컬에서 실행할 때, Apple Silicon과 Windows/Linux 환경이 각각 어떤 효율성과 강점을 보이는지 벤치마크 데이터와 실제 사용 사례를 통해 분석해보고자 합니다.
Apple Silicon (M1~M4) 메모리 최적화 Apple Silicon의 가장 큰 강점 중 하나는 통합 메모리 아키텍처입니다. 일반적인 PC는 CPU, GPU, NPU 등 다양한 Compone...
