Skupiona na bezpiecznym i prywatnym przeglądaniu internetu przeglądarka Brave korzysta z zaawansowanej sztucznej inteligencji, akcelerowanej przez platformę RTX. W aplikacji udostępniono szybkie i bezpieczne narzędzia AI w postaci asystenta Leo AI.
Leo to wielki model językowy zintegrowany z przeglądarką Brave, znacząco zwiększający jej funkcjonalność. Wykorzystanie sieci typu LLM pozwala między innymi na kontekstowe rozmowy z AI w trakcie przeglądania internetu. Asystent jest w pełni bezpieczny i niezwykle szybki, co zawdzięcza także poniższym aspektom technicznym:
- Leo AI może działać w chmurze lub lokalnie na komputerze korzystając z interfejsu Ollama.
- Przeglądarka Brave wykorzystuje karty graficzne NVIDIA RTX, a w szczególności rdzenie Tensor, które akcelerują działania związane z AI oraz pozwalają na lokalną obsługę modelu LLM Ollama. NVIDIA pracuje nad optymalizacjami interfejsów takich jak Ollama, aby zapewnić jak najbardziej responsywne i wydajne doświadczenia z RTX AI. Przepustowość modelu to aktualnie 149 tokenów na sekundę, co można przełożyć na około 110 słów w tym samym czasie.
- Llama.cpp to biblioteka i środowisko pracy z otwartym kodem źródłowym. CUDA to interfejs programowania aplikacji NVIDIA, który umożliwia programistom optymalizację pod kątem kart graficznych GeForce RTX i NVIDIA RTX. Zapewnia on akcelerację rdzeni Tensor dla setek modeli, w tym popularnych wielkich modeli językowych (LLM) takich jak Gemma, Llama 3, Mistral czy Phi.
- Wykorzystanie lokalnej AI do zadań takich jak streszczanie treści czy wnioskowanie gwarantuje zachowanie bezpieczeństwa danych i wydajności obliczeń.
Twórcy oprogramowania mogą dowiedzieć się więcej o działaniu interfejsów Ollama i llama.cpp na blogu technicznym NVIDIA, a pozostałe informacje na temat Leo AI można znaleźć w najnowszym wpisie na blogu AI Decoded.
Szymon Góraj
Zastępca redaktora naczelnego Miłośnik literatury (w szczególności klasycznej i szeroko pojętej fantastyki), kina, komiksów i paru innych rzeczy. Jeżeli chodzi o filmy i seriale, nie preferuje konkretnego gatunku. Zazwyczaj ceni pozycje, które dobrze wpisują się w daną konwencję.
