스트리밍 (1) 썸네일형 리스트형 [AI CHAT BOT] 응답 속도 개선을 위한 스트리밍 설계, Next -> Nest -> Python 실시간 렌더링 [Python] 멀티프로세싱으로 처리 속도 올리기 (multiprocessing)이전 글 읽으러 가기! 👋 소개안녕하세요! 대학생 개발자 주이어입니다! 저는 현재 진행 중인 프로젝트에서 단순히 GPT API를 호출해 답변을 받는 구조로 챗봇을 제작하고 있었습니다.하지만 서버 배포 후 테스트 과정에서 무료 vm의 낮은 성능과 콜드스타트 등의 문제 때문에 답변을 기다리는 시간이 너무 길어졌고,이는 사용자 경험을 현저히 떨어뜨리는 문제가 될 것이라고 생각했습니다. 저번 TRAIVEL 프로젝트에서도 비슷한 문제가 있었지만 Next -> Express로 한 단계 통신이었기에 큰 문제가 되지 않았습니다.하지만 이번의 경우 RAG 방식을 사용한 Next -> Nest -> Python으로 두 단계 이상의 통신이었고.. 이전 1 다음
