로컬AI 설치

AI Agent라는게 있다고 한다. 그리고 노트북LM?이라는 것도 있다고 하는데 RAG비스무리 한 것 같다. 

 

이것들을 써보기 위해 일단 Local AI부터 설치하고 구동시켜보기로 했다.

 

일단, 로컬 AI 구동부터 필요하니까 Ollama를 설치했다. 

 

그리고, 커맨드에서 ollama run Gemma2:9B를 입력해서 Gemma2:9B모델을 설치했다. (이 모델을 고른 이유는 제미나이한테 물어봤더니 이걸 추천해서 이걸로 해봤다.)

이 커맨드를 입력하면 설치와 실행을 단번에 해준다. 설치되어 있으면 그냥 실행만 해준다.

 

그리고, 외부 컴퓨터에서 이 모델에 접근할 수 있게 AnythingLLM도 깔았다. 외부 컴퓨터에서 접근을 하려면 환경변수에서 0.0.0.0으로 값을 정해놓고, 포트를 열어서 노트북으로 데스크탑의 로컬AI를 쓸 수 있게 설정을 해놨다.

 

그래서 켜봤더니, 나름 그냥저냥 하더라. 제미나이같은거 쓰다가 로컬모델 쓰니까 좀 띨빵해서 아직은 못 쓰겠다.

그래픽카드를 좀 더 좋은 거 바꿀때까지는 로컬AI는 안 쓰는 걸로 해둬야겠다.

 

주요 명령어들은 아래와 같다.

 

명령어들 확인:ollama help

 

로컬AI 구동:ollama run {모델명}

로컬AI와의 대화에서 벗어나기 : /bye

 

로컬AI 정지:ollama stop {모델명} 

 

AI모델 삭제:ollama rm {모델명}

 

설치한 AI모델 리스트 확인: ollama list

 

 

나의 경우에는 Gemma2:9B를 받았으니 ollama stop Gemma2:9B를 해야 멈추는거다.

참고로 구동할 때 모델이 존재하지 않으면 자동으로 다운로드 한다.