Lokalde Yapay Zeka AI Kullanmak

 Linklerle desteklenmiş güncel bir yazıdır. Kendi bilgisayarınızda localde AI kulanmak için talimatları uygulayınız:

1- https://ollama.com/ üzerinden OLLAMA programı bilgisayara indirilir. Bütün AI modelleri ollama tarafından desteklenir.

2- https://ollama.com/search (models) linkinden istenilen marka model LLM indirilir.

3- OLLAMA MODELS:

Örneğin https://ollama.com/library/deepseek-r1 linkinden:

ollama run deepseek-r1   (POPÜLER)

ollama run deepseek-r1:1.5b (Bu örnekte olduğu gibi r1 sonrasına parametre ekleyerek daha düşük parametreler kullanılabilir)

ollama run deepseek-r1:1.5b  terminal cmd ekranına basılıp enter ile indirme işlemi başlatılır.

Farklı marka modeller de indirilip cmd terminalde kullanılabilir.

4- Modeli Arayüzle Kullanmak:

Pinokio bu amaçla kullanılabilir: https://pinokio.computer/

Veya AnythingLLM kullanılabilir: https://anythingllm.com/

Bu progralardan herhangi birini kurduğunuzda, OLLAMA ile bilgisayarınıza indirdiğiniz modelleri models menüsünden seçip arayüzle kullanabilirsiniz. Örneğin anythingllm den agent configuration menüsünden ollama seçerek ollama ile yüklediğiniz modelleri kulanabilrisiniz.

Modelinize ayarlar kısmından doküman, kod örneği vb. ekleyip AI eğitimi yapabilirsiniz.

Not:

Eğer bilgisayarınızda 8gb ram varsa ai parametre seçiminiz 4b dan fazla olmamalı.

Eğer bilgisayarınızda 64gb ram varsa ai parametre seçiminiz 32b dan fazla olmamalı.

Yani lokalde ai işi yapmak istiyorsanız i9 işlemci, iyi bir ekran kartı ve en az 128gb ramli bir bilgisayarınız olmalı.