Akcelerowane przez platformę RTX Leo AI i Ollama wprowadzają model LLM dla użytkowników przeglądarki Brave

Skupiona na bezpiecznym i prywatnym przeglądaniu internetu przeglądarka Brave korzysta z zaawansowanej sztucznej inteligencji, akcelerowanej przez platformę RTX. W aplikacji udostępniono szybkie i bezpieczne narzędzia AI w postaci asystenta Leo AI.

Leo to wielki model językowy zintegrowany z przeglądarką Brave, znacząco zwiększający jej funkcjonalność. Wykorzystanie sieci typu LLM pozwala między innymi na kontekstowe rozmowy z AI w trakcie przeglądania internetu. Asystent jest w pełni bezpieczny i niezwykle szybki, co zawdzięcza także poniższym aspektom technicznym:

• Leo AI może działać w chmurze lub lokalnie na komputerze korzystając z interfejsu Ollama.
• Przeglądarka Brave wykorzystuje karty graficzne NVIDIA RTX, a w szczególności rdzenie Tensor, które akcelerują działania związane z AI oraz pozwalają na lokalną obsługę modelu LLM Ollama. NVIDIA pracuje nad optymalizacjami interfejsów takich jak Ollama, aby zapewnić jak najbardziej responsywne i wydajne doświadczenia z RTX AI. Przepustowość modelu to aktualnie 149 tokenów na sekundę, co można przełożyć na około 110 słów w tym samym czasie.
• Llama.cpp to biblioteka i środowisko pracy z otwartym kodem źródłowym. CUDA to interfejs programowania aplikacji NVIDIA, który umożliwia programistom optymalizację pod kątem kart graficznych GeForce RTX i NVIDIA RTX. Zapewnia on akcelerację rdzeni Tensor dla setek modeli, w tym popularnych wielkich modeli językowych (LLM) takich jak Gemma, Llama 3, Mistral czy Phi.
• Wykorzystanie lokalnej AI do zadań takich jak streszczanie treści czy wnioskowanie gwarantuje zachowanie bezpieczeństwa danych i wydajności obliczeń.

Twórcy oprogramowania mogą dowiedzieć się więcej o działaniu interfejsów Ollama i llama.cpp na blogu technicznym NVIDIA, a pozostałe informacje na temat Leo AI można znaleźć w najnowszym wpisie na blogu AI Decoded.