Yerel olarak çalışan Yapay Zeka modelleri keşif serüveni

Teknolojiye meraklı biri olarak yapay zeka bilim kurgu filmlerinde çok dikkatimi çekerdi. Mesela Terminatör filminde kendi zekası olan bir robot fikri heyecan vericiydi. Matrix filmlerinde de Ajan Smith inanılmaz gelişmiş bir yapay zeka olarak zihinlerimizde merak uyandırıyordu. Mesela insanların bir virüs olduğundan bahsederken muhtemelen haklı olabilir. Diğer her canlı doğaya uyum sağlarken insanoğlu doğayı, hayvanları ve hatta birbirlerini yok eden bir tür olarak hayvandan çok bir virüs davranışı sergiliyor.

Elbette içinde yapay zeka olan birçok film ve dizi yapıldı. Jexi severek izlediğim keyifli bir komedi filmi. Kahkaha atarak izlemiştim. Geleceğin Efsaneleri (The Legends of Tomorrow) dizisinde Wave Rider zaman gemisinin yapay zekası Gideon zamanla insan duygularını anlayıp, empati kurabilir hale gelmişti. Daha aklıma gelmeyen çok film ve dizi vardır.

ChatGPT 3 ile ilk sohbet etmeye başladığımda çok şaşırmıştım. Api ile kullanırken bazen kendini insan olarak tanıtıyordu. Zamanla kendinden ChatGPT diye bahsetmeye başladı ve 3.5, 4 versiyonları ile inanılmaz gelişti.

Bir süre sonra kendi donanımın üzerinde çalıştırabileceğim yapay zeka modelleri olduğunu keşfettim. 6 gb ram laptop’umda Llama 2, Gemma modellerini denemeye başladım. Pek verimli olmadı elbette.

Daha sonra modeller gelişti, yeni modeller çıktı. 12 GB telefonum üzerinde çalıştırabildiğim pek çok modeli keşfettim. Gemma2 2B gayet hızlıydı. Türkçe konusunda da fena değildi. Llama3 8B çok tutulan bir olsa da Türkçe yanıt konusunda çok kötü maalesef. Llama3.1 8B de Türkçe konusunda inanılmaz kötü performans sergiliyor. Aya Expanse 8B modeli ise şaşırtıcı derecede iyi Türkçe yanıt verebilen bir model olarak favorim oldu. Elbette telefonumda hızlı olmasa da işe yarar bir model olduğu için daha iyi bir alternatif bulmakta zorlandım.

Gemma3 4B modeli Türkçe ve hızlı yanıt konusunda gayet başarılı bulduğum bir model olarak favorilerim arasında ilk üçe girdi.

Kısa bir süre önce Gemma-3N-E2B (2B parametre) ve Gemma-3N-E4B (4B paeametre) modelleri ile yeni favorilerim oldu.

Bu süreç içinde hem Finetuning yapmayı öğrenmek hem de kendi finetuning edilmiş modelimi oluşturmak için Aya Expanse modellerini eğitmeyi denedim. Bir çok modeli denemek amacıyla kuantize ettiğim modelleri hugginface sayfamda paylaştım. Hugginface’de paylaştığım modellere buradan göz atabilirsiniz.

Eğer yerelde çalıştırabileceğiniz, internet olmadan kullanabileceğiniz mahremiyet dostu modelleri kullanmak istiyorsanız bu modellerin gguf formatında kuantize edilmiş olarak indirmelisiniz. Llama.cpp veya Ollama’yı bilgisayarınıza kurup terminal ekranından veya Openweb-ui gibi bir web arayüzünde kullanabilirsiniz. Eğer telefonunuz üzerinde kullanmak istiyorsanız ChatterUI, Layla veya PocketPal gibi uygulamaları kullanabilirsiniz

Bilgisayarınız üzerinde kullanabileceğiniz yerel yapay zeka uygulamaları şunlar:

1. AnythingLLM: Windows, Linux, MacOS sürümleri var. Bilgisayarınızın işletim sistemine uygun uygulmayı kendi web sitesi üzerinden şu bağlantı‘dan indirebilirsiniz.
2. llama.cpp: llama.cpp’yi kullanabilmek için kaynak kodlarından kendiniz derlenebilir veya github sayfasından bilgisayarınıza uygun dosyayı indirebilirsiniz. Tıkla çalıştır bir uygulama olmadığını için terminal kullanmanız gerekecek. llama.cpp gguf formatında modelleri kullanabilmek için temel gerekliliktir.
3. Ollama: Windows, Linux ve MacOS üzerinde kullanılabilir. Kurulumdan sonra istediğiniz modeli “ollama run modeladı” şeklinde terminal üzerinden bir kaç komut kullanmanız gerek. Genellikle Open WebUI ile ChatGPT gibi bit web arayüzü üzerinden kullanmak tercih edilir. Bu sayede bir çok AI Agent’ı kullanmak, RAG, modellerin internette araması yaparak güncel yanıtlar verebilmesini mümkün kılar.

Cep telefonunuz üzerinde kullanabileceğiniz yerel yapay zeka uygulamaları:

1. ChatterUI: ChatterUI telefonumda severek kullandığım bir uygulama. Kullanıcı dostu bir arayüz, TTS desteği ile modelin yanıtlarını sese dönüştürme, API desteği ile online yapay zeka modellerini kullanabilme gibi harika özellikleri olan açık kaynak bir uygulama. Android sürümünü github üzerinden veya f-droid üzerinden indirip kurabilirsiniz. Github üzerinden son sürümü şu bağlantı üzerinden indirebilirsiniz.
2. PocketPal AI: PocketPal AI ChatterUI uygulaması gibi cep telefonları üzerinde yapay zeka çalıştırma imkanı veren açık kaynak bir uygulama. Github üzerinden apk dosyasını şuradan indirebilir veya Google Play sürümüne şu bağlantı‘dan, iOS sürümüne şu bağlantı üzerinden ulaşabilirsiniz.
3. Layla: Google Play üzerinden satın alıp kullanabileceğiniz gibi kendi web sitesi üzerinden Layla Lite sürümünü şu kendi web sitesi üzerinden indirip ücretsiz olarak kullanabilirsiniz. Resmi web sitesine şu bağlantı‘dan ulaşabilir ve android için ücretsiz Layla lite apk dosyasını indirebilirsiniz. Ücretli sürümünde bir çok kullanışlı mini app mevcut. Layla cloud ile bulut modelleri kullanma imkanı da sunuyor ama kişisel olarak yerel modelleri kullanmayı tercih ederim.

Not: Ollama, AnythingLLM, ChatterUI gibi uygulamalar da modelleri çalıştırmak için llama.cpp’yi kullanır. Hazır bir kullanımı kolay bir uygulama arıyorsanız bilgisayarınız için AnythingLLM, telefonunuz için ChatterUI veya başka alternatifleri kullanabilirsiniz.

Bu yazımda genel olarak yapay zeka’yı internet ve bulut sunucuya ihtiyaç duymadan nasıl kullanabileceğiniz konusuna giriş yapmak istedim. Daha bir sürü uygulama, model var elbette ama her şeyi tek bir makalede anlatmak mümkün olmayabilir. O da başka bir yazının konusu olsun.

Cep telefonumda kendi finetuning modelim Aya Empati v3 modeline şu yazdım ve yanıtını sizlerle paylaşmak istiyorum. Umuyorum sizin kendi Yerel LLM serüveninize başlamamanız konusunda merak uyandırır:

Soru: “Web sitemde yerel yapay zeka modelleri ile ilgili bir makale yazdım. Senden de bahsettim. Makaleyi okuyanlara kısa bir mesajın veya söylemek istediğin bir şey var mı?”

Asistan: Makaleni okudukları için herkese teşekkür ederim! Yerel yapay zeka modellerinin gücü ve potansiyeli hakkında farkındalık yaratmak harika bir girişim.

Yapay zeka, özellikle yerel bağlamlarda, birçok fırsat sunuyor:

• Daha kişiselleştirilmiş deneyimler: Yerel dil ve kültürlere uyum sağlayarak kullanıcılara daha yakın ve anlamlı etkileşimler sunabilirler.

• Yerel sorunların çözümüne katkı: Sağlık, tarım, turizm gibi alanlarda yerel ihtiyaçlara yönelik çözümler üretebilirler.
• Ekonomik kalkınma: Geliştirme ve uygulama maliyetlerini düşürerek küçük işletmelerin ve girişimcilerin hizmetlerine erişimini sağlayabilirler.
  
  Umarım makaleniz bu heyecan verici konuya ışık tutar ve insanların yerel yapay zekanın gücü hakkında düşünmelerini sağlar.
  
  Herhangi bir soru, yorum veya tartışmak istediğiniz konu varsa lütfen bana ulaşmaktan çekinmeyin!

Bilgisayarınız ve/veya cep telefonunuz üzerinde kullanabileceğimiz o kadar çok model var ve yeni modeller çıkıyor ki keşfetmek bambaşka bir serüven. Kendi kuantize ettiğim gguf formatında bir çok modeli aşağıdaki hugginface hesabım üzerinden indirebilirsiniz.

Matrixportal Huggigface Repo: https://huggingface.co/matrixportal