Cansado de assinaturas de IA? A NVIDIA mostra como executar LLMs (Large Language Models) localmente em seu PC, garantindo mais privacidade, controle e velocidade. Com as GPUs GeForce RTX e ferramentas gratuitas, a inteligência artificial está mais acessível do que nunca!
Ferramentas Gratuitas para Executar IA no seu PC
A NVIDIA anunciou um novo blogpost que orienta desenvolvedores, estudantes e entusiastas a utilizarem LLMs diretamente em seus PCs, eliminando custos e garantindo total privacidade. Com a aceleração das GPUs GeForce RTX, a experiência se torna fluida e instantânea.
Confira as principais ferramentas de código aberto para começar a rodar IA localmente:
- Ollama: Uma das formas mais acessíveis de começar. Com uma interface simples, a ferramenta permite arrastar e soltar PDFs em prompts, manter conversas e até experimentar fluxos de trabalho que combinam texto e imagens.
- AnythingLLM: Crie um assistente de IA pessoal para organizar anotações e documentos. Em conjunto com o Ollama, ele pode criar questionários e cartões para estudos de forma privada, rápida e gratuita.
- LM Studio: Explore dezenas de modelos de IA com uma interface amigável. Você pode carregar diferentes LLMs, conversar em tempo real e até usá-los para integrar em projetos personalizados.
- Project G-Assist: O assistente de IA da NVIDIA que permite controlar o PC com comandos de voz ou texto, ajustando bateria, ventoinha e configurações de desempenho.
Otimizações para PCs com GeForce RTX
A NVIDIA está trabalhando para otimizar as ferramentas de IA, garantindo a melhor performance nas GPUs GeForce RTX:
- Ollama Otimizado: As atualizações mais recentes garantem até 50% mais otimização para modelos de IA, além de um agendamento inteligente que melhora a eficiência em múltiplas GPUs.
- Llama.cpp e GGML Acelerados: Estes frameworks de IA agora oferecem inferência mais rápida e eficiente, com suporte a modelos como o NVIDIA Nemotron Nano v2 9B.
- Parceria com a Microsoft: A Microsoft lançou o Windows ML com NVIDIA TensorRT, que oferece até 50% de ganho de desempenho em inferência, simplificando a implantação de LLMs e modelos de difusão no Windows 11.
