생성형 AI 추론 서빙 분야 스타트업 ‘프렌들리AI(FriendliAI)’가 생성형 AI 모델을 쉽게 활용할 수 있는 ‘프렌들리AI 서버리스 엔드포인트(Friendli Serverless Endpoints)’ 서비스를 출시했다고 4일 밝혔다.

프렌들리AI 서버리스 엔드포인트는 연구자, 개발자, 머신러닝 엔지니어, 데이터 과학자가 서빙 인프라 관리를 신경 쓰지 않고도 최신 생성형 AI 모델들을 쉽게 사용할 수 있도록 돕는 서비스다. 기존 생성형 AI 활용에 있어 복잡한 인프라 설치 및 운영 과정과 모델 서빙의 GPU 최적화 등의 문제를 해결했다.

이를 통해 누구나 쉽게 낮은 비용과 빠른 속도로 라마2(Llama 2), 스테이블 디퓨전(Stable Diffusion), 코드 라마(CodeLlama), 미스트랄(Mistral) 등의 인기 있는 생성형 AI 모델을 자사 서비스에 통합하여 텍스트 생성, 이미지 생성 등을 활용할 수 있다. 이는 챗봇, 코드 추천, 문서 요약, 썸네일 생성 등의 다양한 분야에서 활용이 가능하다.

또한 프렌들리AI 서버리스 엔드포인트는 오픈소스 프레임워크를 쓰는 다른 솔루션 대비 최대 4배 빠른 시간 내에 응답을 생성하고 있어 원활하고 빠른 생성형 AI 경험을 제공한다. 낮은 비용과 빠른 속도는 프렌들리AI만의 최적화된 서빙 엔진 ‘프렌들리AI 엔진(Friendli Engine)’으로 가능하다. 해당 엔진은 기존 솔루션에 비해 서빙에 필요한 GPU 수를 최대 7분의 1 수준으로 줄인다.

프렌들리AI에서는 사용자들이 직접 만들거나 튜닝한 생성 AI 모델이나 공유가 필요 없는 전용 GPU 자원을 쓰고 싶은 사용자들을 위해 클라우드 GPU를 선택해 직접 인스턴스를 활용할 수 있는 ‘프렌들리AI 전용 엔드포인트(Friendli Dedicated Endpoints)’와 사설 자원에서 직접 수행하는 도커(Docker) 이미지 형태로 제공되는 ‘프렌들리AI 컨테이너 (Friendli Container)’도 제공하고 있다.

프렌들리AI 전병곤 대표는 “생성형 AI의 미래는 해당 기술에 누구나 쉽게 접근해서 사용할 수 있도록 하는 것에 있다고 생각하며 오픈 소스 생성형 AI 모델을 더 빠르고 저렴하게 제공하기 위해 새로운 서비스를 개발했다”며, “프렌들리AI 엔진이 장착된 프렌들리AI 서버리스 엔드포인트는 AI 업계에 게임 체인처가 될 것으로 기대하고 있다. 해당 서비스를 통해 생성 AI를 누구나 쉽게 쓸 수 있도록 지속적으로 노력해 나갈 것”이라고 밝혔다.