빙 검색, SLM과 TensorRT-LLM으로 개선

Table of Contents

Bing, 새로운 기술로 검색 서비스 개선

새로운 기술 도입으로 검색 속도와 정확도 향상

SLM 모델 도입 및 TensorRT-LLM 적용

Bing의 검색 팀은 최근 SLM(Sparse Lightweight Models) 모델과 TensorRT-LLM을 적용해 Bing 검색 및 딥 서치(Deep Search)의 성능을 크게 향상시켰다고 발표했다. 이번 혁신적 도입은 기존 LLM(Large Language Models) 대비 처리 속도가 약 100배 향상되는 결과를 낳았으며, 이를 통해 검색어를 보다 정교하고 정확하게 처리할 수 있게 되었다.

속도, 정확도, 비용 측면의 세 가지 주요 개선점

새로운 기술 전환은 특히 사용자 경험과 관련하여 세 가지 핵심 이점을 제공하고 있다.

빠른 검색 결과 제공
최적화된 추론 기술이 적용되면서 검색 속도가 더욱 빨라졌다. 이를 통해 사용자들이 정보를 탐색하는 데 걸리는 시간이 단축되며 Bing의 검색 효율성이 전반적으로 향상되었다.
검색 정확도 향상
SLM 모델의 첨단 기능을 활용해 보다 정확하고 맥락에 맞는 검색 결과를 제공할 수 있게 되었다. 이는 사용자들이 필요로 하는 정보를 더욱 쉽게 찾을 수 있도록 도와준다.
운영 비용 절감

대규모 모델의 운영 및 호스팅 비용이 줄어들면서 Microsoft는 절약된 자원을 바탕으로 추가적인 기술 혁신에 재투자할 수 있는 여력을 확보했다.