셀프 호스팅 LLM 서비스 구축
기능 요청
(필수) 배경
- 내부 서비스 및 외부 공개 서비스에 공용으로 사용할 이용량 별 요금 걱정 없는 셀프 호스팅 LLM 서비스가 있으면 좋을 것으로 생각
(필수) 요청 기능
- 라마3와 같은 모델을 온프레미스 환경에 셀프 호스팅으로 가동하고
- 해당 모델을 연결해줄 인터널 API 전용 마이크로 서비스를 개발하여 추후 모델 변경이 생겼을 때 사이드 이펙트 최소화
- 현재 비용상 고성능의 GPU를 신규로 사용할 수는 없고 가능한 현재 서버에 장착된 RTX2060 을 기준으로 동작이 가능하도록 구현
- 추후 필요 시 셀프 호스팅에서 OpenAI 의 API 등으로 즉시 전환하여 사용할 수 있도록 API Gateway 같은 형태로 구성
(선택) 참고 링크
(선택) 마감일
Edited by Bell