AI

·AI
개요로컬 LLM, 어떤 모델을 골라야 할까❓로컬 LLM 시대가 본격화되면서 가장 먼저 부딪히는 질문이 있습니다. "내 장비에서 어떤 모델이 실제로 돌아갈까?" 막상 모델을 고르려 하면 선택지가 너무 많습니다. 어떤 모델이 내 환경에서 실제로 잘 돌아가는지는 직접 받아보기 전까지 알기가 어렵습니다. 스펙 표를 봐도 감이 잘 안 오고, 받아보면 생각보다 느리거나 메모리가 부족해서 실행이 안 되기도 합니다. 여기서 이 문제를 해결해주는 기능이 최근에 등장했습니다. 바로 "llmfit"입니다. 본 글에서는 이 llmfit에 대한 기능을 정리하고자 합니다. llmfit이란❓ GitHub - AlexsJones/llmfit: Hundreds of models & providers. One command to f..
지누박
'AI' 카테고리의 글 목록