ollama 설치(ubuntu in windows)

May 22, 2024

WSL 업데이트
참고링크3

Ollama는 페이스북에서 만든 생성형 인공지능 모델이며 local 기반에서 작동할 수 있는 특징을 가지고 있다. Chat-gpt 사용 시 외부 정보 노출이 우려될 때 사용할 수 있다.

llama의 경우 윈도우 버전의 경우엔 아직 preview 버전이라서 안정적인 실행을 하기 위해서 window의 가상환경에 ubuntu를 설치해서 ollama를 다운 받았다. 아래 코드를 우분투에서 실행하면 ollama를 다운받을 수 있다.

curl -fsSL https://ollama.com/install.sh | sh

로컬 기반에서 작동할 수 있는 생성형 인공지능 모델이라고 하지만, 아무래도 인공지능은 인공지능인 만큼 굉장히 많은 저장공간을 필요로 한다.

7년된 내 노트북은 256GB라는 저장공간을 가지고 있기 때문에 한번에 4GB정도 되는 모델을 다운받기엔 큰 부담인 것 같다.

그리고 인공지능인 만큼 연산을 위해서는 GPU가 필요한데, GPU없이 CPU만을 사용해서 대답을 출력하려면 완전히 출력하는데

5분 정도 걸리는 것 같다(intel core i5 7세대 기준). 아무튼 GPU가 필요하다~~!

tinyllama라는 일종의 경량화 모델이 있긴 하지만, 이건 대답 속도는 llama3에 비해서 빠르지만 정확도가 낮은 것 같았다.

그래도 로컬 기반에서 GPT 같은 모델을 굴리고 싶다면 설치해 볼만 하다.

참고