Najciekawsze modele na Ollamie - 6 modeli do różnych zastosowań

Ollama to narzędzie, które pozwala uruchamiać modele językowe (LLM) na własnym komputerze lub serwerze - bez wysyłania danych do chmury. Instalację, API i podstawy opisaliśmy w osobnym tutorialu Ollama. Tutaj zajmiemy się czymś innym: doborem modelu do zadania.

„Model na Ollamie” to nie jeden byt. W bibliotece są setki modeli, a każdy ma inny charakter - jeden świetnie rozmawia, drugi pisze kod, trzeci rozumie obrazy, a jeszcze inny zamienia tekst na wektory do wyszukiwania. Wybranie złego modelu do zadania to zmarnowany czas i pamięć. Pokażemy sześć modeli, które naszym zdaniem najlepiej oddają tę różnorodność - po jednym na typowe zastosowanie.

Jak działa zapytanie do modelu na Ollamie

Zanim przejdziemy do modeli - krótko o mechanice. Ty wysyłasz pytanie (prompt) do Ollamy, ona ładuje wybrany model do pamięci i zwraca odpowiedź. Wszystko dzieje się na Twoim sprzęcie: żadne dane nie opuszczają maszyny. To kluczowa różnica wobec usług w chmurze - i powód, dla którego firmy stawiają modele lokalnie.

Na nasz serwer pobraliśmy sześć modeli. Tak wygląda lista po pobraniu - i od razu widać, jak bardzo różnią się rozmiarem:

Każdy z tych modeli pobraliśmy jedną komendą ollama pull - model ściąga się raz, a potem działa w pełni offline. Tak wyglądało pobieranie na naszym hoście:

Komplet komend, którymi pobraliśmy całą szóstkę - możesz je skopiować i uruchomić u siebie:

ollama pull llama3.1:8b
ollama pull hf.co/speakleash/Bielik-11B-v2.3-Instruct-GGUF:Q4_K_M
ollama pull qwen2.5-coder:7b
ollama pull llava:7b
ollama pull gemma2:2b
ollama pull bge-m3

1. Asystent ogólny - model klasy Llama

Najbardziej uniwersalny wybór. Model ogólnego przeznaczenia poradzi sobie z rozmową, streszczaniem, pisaniem e-maili i prostym rozumowaniem. To dobry punkt startowy, jeśli nie masz jednego, wąsko określonego zadania. Poprosiliśmy go o streszczenie reklamacji klienta, ocenę emocji i propozycję odpowiedzi:

Szybkość generacji - CPU: 8,4 tok/s, GPU (RTX 3060): 62,6 tok/s (ok. 7,5× szybciej na GPU)

Taki model jest „dobry we wszystkim, mistrzem w niczym”. Jeśli zależy Ci na konkretnej specjalizacji - kodzie, polszczyźnie czy obrazach - lepiej sięgnąć po model wyspecjalizowany, o czym za chwilę.

2. Język polski - Bielik

Bielik to rodzina modeli trenowanych przez polską społeczność (SpeakLeash) z myślą o naszym języku. Modele ogólne radzą sobie po polsku coraz lepiej, ale model trenowany na polszczyźnie zwykle naturalniej odmienia, lepiej trzyma kontekst i rzadziej „kaleczy” język. Poprosiliśmy Bielika o wyjaśnienie różnicy między fakturą VAT a proformą:

Szybkość generacji - CPU: 5,9 tok/s, GPU (RTX 3060): 44,9 tok/s (ok. 7,6× szybciej na GPU)

Jeśli generujesz dużo treści po polsku - opisy, odpowiedzi do klientów, podsumowania dokumentów - rodzimy model bywa wyraźnie lepszym wyborem niż model ogólny tej samej wielkości.

3. Kod - model wyspecjalizowany (Qwen Coder)

Do programowania istnieją modele trenowane głównie na kodzie. Przy tym samym rozmiarze biją model ogólny: lepiej rozumieją składnię, rzadziej zmyślają nieistniejące funkcje i trzymają się konwencji. Poprosiliśmy taki model o napisanie funkcji walidującej polski NIP (z cyfrą kontrolną). Oto jak wykonał to zlecenie w terminalu:

A oto ta sama funkcja, wyciągnięta z odpowiedzi modelu i gotowa do skopiowania:

def waliduj_nip(nip: str) -> bool:
    """
    Funkcja walidująca polski NIP (Numer Identyfikacyjny Podatkowy).
    
    :param nip: Ciąg znaków reprezentujący NIP do walidacji.
    :return: True jeśli NIP jest poprawny, False w przeciwnym razie.
    
    """
    # Usuń spacje i myślniki z wejścia
    nip = nip.replace(' ', '').replace('-', '')
    
    # Jeśli wynik nie ma dokładnie 10 cyfr (same cyfry) -> zwróć False
    if len(nip) != 10 or not nip.isdigit():
        return False
    
    # Wagi dla pierwszych 9 cyfr: [6,5,7,2,3,4,5,6,7]
    wagi = [6, 5, 7, 2, 3, 4, 5, 6, 7]
    
    # Oblicz sumę
    suma = sum(int(nip[i]) * wagi[i] for i in range(9))
    
    # Oblicz kontrolną cyfrę
    kontrolna = suma % 11
    
    # Jeśli kontrolna == 10 -> zwróć False (NIP niepoprawny)
    if kontrolna == 10:
        return False
    
    # Zwróć True wtedy i tylko wtedy, gdy kontrolna == dziesiąta cyfra NIP
    return int(nip[9]) == kontrolna

Szybkość generacji - CPU: 8,9 tok/s, GPU (RTX 3060): 65,4 tok/s (ok. 7,3× szybciej na GPU)

Nie wierzymy modelowi na słowo - uruchomiliśmy tę funkcję na prawdziwych numerach NIP. Liczy cyfrę kontrolną poprawnie: akceptuje poprawny numer, odrzuca błędny:

4. Wizja - model multimodalny (LLaVA)

Część modeli rozumie nie tylko tekst, ale i obraz. Model wizyjny (multimodalny - przyjmuje obraz na wejściu) opisze zdjęcie, odczyta tekst z paragonu czy zrzutu ekranu. Daliśmy mu prawdziwe zdjęcie i poprosiliśmy o opis po polsku. Oto obraz wejściowy:

A tak model opisał to zdjęcie - sam, na podstawie pikseli:

Szybkość generacji - CPU: 9,7 tok/s, GPU (RTX 3060): 73,5 tok/s (ok. 7,6× szybciej na GPU)

Rdzeń opisu jest trafny: model sam rozpoznał kota, śnieg, brązową sierść i ciemne oczy - bez żadnej podpowiedzi tekstowej. Ale polszczyzna mu się sypie: „z wyraźnymi pędzami" czy „trudna rzeźba terenu" to językowe potknięcia mniejszego modelu wizyjnego. To typowe - świetnie nadają się do wstępnej analizy obrazu, ale ich opisy warto traktować jak podpowiedź, nie pewnik.

5. Mały i szybki - Gemma 2B

Nie każde zadanie wymaga dużego modelu. Do klasyfikacji, prostych odpowiedzi czy pracy na słabszym sprzęcie świetnie sprawdza się mały model (rzędu 2 miliardów parametrów). Zmieści się nawet na laptopie bez wydajnej karty graficznej i odpowiada błyskawicznie. Poprosiliśmy go o zaklasyfikowanie wiadomości od klienta do jednej kategorii:

Szybkość generacji - CPU: 24,5 tok/s, GPU (RTX 3060): 131,6 tok/s (ok. 5,4× szybciej na GPU)

Mały model nie poprowadzi głębokiego rozumowania, ale do prostych, powtarzalnych zadań - segregowania zgłoszeń, tagowania, krótkich odpowiedzi - jest idealny. Działa też tam, gdzie duży model po prostu się nie zmieści.

6. Wyszukiwanie semantyczne - model embeddingowy (bge-m3)

Ostatni model jest inny niż pozostałe - nie rozmawia. Model embeddingowy zamienia tekst na wektor liczb (embedding - lista liczb opisująca znaczenie tekstu), tak że fragmenty o podobnym sensie mają zbliżone wektory. To podstawa wyszukiwania semantycznego (po znaczeniu, nie po słowach kluczowych) i systemów RAG, czyli odpowiadania na pytania na podstawie własnych dokumentów. Do polskich tekstów wybraliśmy model wielojęzyczny bge-m3 - radzi sobie z polszczyzną wyraźnie lepiej niż popularne modele anglojęzyczne. Zadaliśmy pytanie i kazaliśmy modelowi dopasować najlepszy fragment z bazy wiedzy sklepu:

Zapytanie: „Jak mogę zwrócić kupiony produkt?” - model porównał je z 5 dokumentami (wektory o 1024 wymiarach) i wskazał najlepiej pasujący.

Ciekawostka z pomiarów: dla pojedynczego, krótkiego zapytania embeddingi liczą się na CPU równie szybko co na GPU (u nas nawet odrobinę szybciej) - narzut przesłania danych na kartę nie zwraca się przy tak małej pracy. Karta zaczyna się opłacać dopiero przy masowym indeksowaniu tysięcy dokumentów naraz.

Porównanie i dobór modelu

Zebraliśmy wszystkie modele w jednej tabeli - każdy zmierzony dwa razy: na CPU i na karcie graficznej. Widać dwie zależności. Po pierwsze: im mniejszy model, tym szybciej generuje. Po drugie: karta graficzna (u nas NVIDIA GeForce RTX 3060) przyspiesza generację około 5-8× - im większy model, tym większa różnica. Wyjątkiem są embeddingi, gdzie przy jednym krótkim zapytaniu GPU nie daje przewagi.

A jeśli zaczynasz od zadania (a tak należy robić) - ta ściąga podpowie, w którą stronę patrzeć:

Jak to uruchomić u siebie

Po zainstalowaniu Ollamy pobranie i uruchomienie modelu to dwie komendy. Na przykład dla małego, szybkiego modelu:

ollama pull gemma2:2b
ollama run gemma2:2b

Pełną instalację, konfigurację API i integrację z Pythonem opisaliśmy w tutorialu Ollama od zera.

Najczęstsze pytania

Chcesz zbudować z tego coś działającego?

Pokazujemy na szkoleniach, jak z lokalnych i chmurowych modeli złożyć realne rozwiązania - agentów, automatyzacje i wyszukiwanie po własnych dokumentach.

Szkolenie: Tworzenie agentów AI -->

Budujesz wyszukiwanie po dokumentach? Zobacz też szkolenie z budowy systemów RAG.