Ollama를 이용한 LLM 로컬 채팅 웹 서버 구축하기
2025. 3. 21. 21:25
안녕하세요
이번에는 Ollama를 이용하여
LLM모델을 파이썬으로 모델질의를 하고
그것을 api서버를 구축을 진행하려고 합니다.
1. ollama설치 및 모델 다운로드
혹시 해보시지 않았다면 아래의 예제를 보고 실행해보세요
2025.03.21 - [AI/연습] - ollama를 활용한 로컬에서 LLM 사용하기(약 10분)
ollama를 활용한 로컬에서 LLM 사용하기(약 10분)
이번에는 ollama를 이용하여로컬에서 오픈소스 모델을 테스트하는 연습니다. 1.Ollama 설치https://ollama.com/ OllamaGet up and running with large language models.ollama.comOllama를 접속하여 설치를 합니다. 2.모델
testingstoryforqa.tistory.com
2. 파이썬 환경 구성
-poetry설치
-python 3.12이상 설치
-ollama , fastapi, uvicorn[standard] 라이브러리 추가
3. 파이썬 코드로 질문해보기
다운받은 ollama모델이름을 설정하고 위의 코드와 같이 실행하면
터미널에서 결과를 확인할 수 있습니다.
4. fastapi서버를 실행하는 코드를 작성
위와 같이 코드를 작성합니다.
5. Fastapi서버 실행합니다.
명령어 실행
uvicorn app.main:app --reload
6. fastapi서버의 스웨거로 API 실행해서 결과 확인
접속 : http://127.0.0.1:8000/docs 하여
아래와 같이 질문하고 답변을 받을 수 있습니다.
7.저장소 참고
위에 테스트 내용은 제 저장소에서 다운받아서 실행해
보실 수 있습니다.
'AI > 연습' 카테고리의 다른 글
| ollama를 활용한 로컬에서 LLM 사용하기(약 10분) (0) | 2025.03.21 |
|---|
