로컬 AI 이미지 생성 시작하기.

나는 이 글의 핵심을 로컬 AI 환경 구축의 이유와 구성을 중심으로 정리합니다. 먼저 로컬 AI를 선택한 큰 이유는 두 가지입니다. 하나는 내 사적인 데이터가 온라인에 기록되기 싫기 때문이고, 둘째는 온라인 서비스의 개인화가 100% 가능하지 않다는 점입니다. 그래서 온라인 서비스의 검열과 대중성에 묶이지 않는, 오프라인에서 자신의 환경에 맞춘 개인화를 추구합니다. 온라인 모델은 대용량 데이터로 일반화는 잘되지만 특정 취향의 핀포인트에는 한계가 있습니다. 따라서 로컬에서 모델을 저장하고 도구를 통해 완전히 오프라인으로 작동시키려는 의도를 가지게 됩니다.

로컬 AI 구축의 가장 큰 걸림돌은 도구 설치와 환경 구성입니다. 대부분의 AI 도구가 파이썬 기반이고 의존성 문제가 환경마다 달라 호환이 어려워서, 단독 설치보다는 통합 도구를 사용하는 편이 훨씬 수월합니다. 대표적으로 Stability Matrix, Pinokio 같은 통합 도구가 그렇고, ComfyUI도 선택지로 남습니다. 단독 설치보다는 이들 도구를 통해 파이썬 도구들을 자동으로 설치하는 편이 실용적입니다. 다만 그래픽 카드가 엔비디아 5xxx대나 VRAM이 부족하면 문제가 생길 수 있어, 지원 버전과 호환 여부를 꼼꼼히 확인해야 합니다.

구체적으로는 두 가지 축으로 접근합니다. 이미지 생성은 SDXL 기반의 모델이 중심이고, 여기에 언어 모델이 가미된 이미지 모델은 덜 사용합니다. 대체로 안정적인 기초를 위해서는 Stability Matrix를 통해 Stable Diffusion WebUI를 설치하는 것을 권합니다. 다만 SDW의 다양한 버전은 제 각각 성능과 품질 차이가 크므로, 초기에는 SDXL 중심의 설정으로 시작하는 편이 좋습니다. 모델은 체크포인트 위주로 확보합니다. 코어 체크포인트로는 SDXL과 그 파생들, 그리고 인기도와 취향에 맞춘 PONY, Illustrious 계열을 우선 추천합니다. 이때 꼭 Vae 선택 여부를 확인해야 하며, 일부 체크포인트에는 Vae가 내장되어 있지만 없으면 따로 구해 연결합니다.

모델 파일은 한 경로에 공유하는 것이 편리합니다. Stability Matrix의 데이터 폴더 아래 Models에 SDXL 기반 모델을 넣으면 여러 도구가 같은 경로를 참조해 편리합니다. 구동을 위해서는 VRAM과 시스템 RAM의 여유가 필수적이므로, 영상까지 고려하면 시스템 RAM을 크게 확보하고 가상 메모리 페이징을 활용하는 방식이 필요합니다. 대개 50GB 이상, 가능하면 100GB 이상을 확보하는 편이 안정적입니다. 속도와 품질의 균형을 맞추려면 xformers의 도입이 속도 향상에 도움이 되지만 품질 저하를 유발할 수 있어 신중히 선택합니다.

모델 선택 시 중요한 포인트는 해상도와 프롬프트 설정입니다. SDXL 기반의 모델은 보통 1024x1024의 기본 해상을 많이 권하며, 비율에 따라 832x1216, 1216x832 같은 비정사각형 해상도도 사용됩니다. 긍정 프롬프트와 부정 프롬프트, 샘플링 방법, 샘플링 스텝 수, CFG 스케일 등의 기본 설정은 각 모델의 안내를 참조하되, Vae의 선택이 결과물에 큰 영향을 준다는 점을 반드시 기억해야 합니다. 특히 Vae는 출력 품질에 결정적이므로 체크포인트와 함께 제공되는 Vae를 우선 사용하거나, 필요시 sdxl vae를 연결합니다.

마지막으로, 설치와 설정은 과정을 하나씩 차근차근 진행하는 편이 안전합니다. 안정적인 시작은 Stability Matrix를 통한 다중 도구 연동과 SDXL 기반 모델의 체크포인트 확보에서 출발합니다. 이때 모델 파일은 StabilityMatrix\Data\Models\에 저장하면 여러 도구가 하나의 경로를 공유해 편의성이 크게 높아집니다. 이렇게 구성하면 로컬 환경에서 온라인 의존 없이도 충분한 개인화를 구현할 수 있습니다.