Introdukcijom Intel Inference Microservices usluge, kompanija pruža kontejnerizovano rešenje za zaključivanje velikih jezičkih modela namenjeno procesorima Xeon. Ovo rešenje omogućava preduzećima da direktno koriste već postojeće procesore Xeon bez potrebe za dnevima ručne optimizacije hardvera. Svaki mikroservis funkcionise kao nezavistan kontejner koji pruža usluge za jedan model putem OpenAI kompatibilnog API-ja.
Pri pokretanju, kontejner automatski detektuje model procesora Intel i primenjuje prethodno verifikovane parametre konfiguracije za taj model i hardver. Prva verzija mikroservisa bazirana je na vLLM motoru, podržava BF16 preciznost i može da radi u Docker ili Kubernetes 1.24 i novijim okruženjima. Zahtevi za hardverom su četvrta, peta ili šesta generacija Intel Xeon procesora, sa preporukom od 32GB memorije.
Namer je da se ovim rešenjem pojednostavi proces optimizacije hardvera za zaključivanje velikih jezičkih modela, čime se omogućava brža i efikasnija primena ovih tehnologija u preduzećima.