PocketPal AI, büyük dil modellerini doğrudan telefonunuzda çalıştıran bir uygulamadır. Bu sayede, internet bağlantısı olmadan ve sunuculara herhangi bir veri göndermeden yapay zeka ile etkileşim kurabilirsiniz. Uygulama, kişisel verilerinizin cihazınızdan ayrılmamasını sağlayarak gizliliğe odaklanır ve yapay zeka deneyiminizin tamamen sizin kontrolünüzde olmasını hedefler. Kullanıcılar, kendi cihazlarında yapay zeka modellerini çalıştırarak çevrimdışı ortamlarda bile kişisel sohbetler ve görevler gerçekleştirebilir.
Cihaz Gereksinimleri
Uygulama, yapay zeka modellerini doğrudan cihaz üzerinde çalıştırdığı için belirli donanım özelliklerine ihtiyaç duyar. Daha küçük modeller için en az 6 GB RAM, daha gelişmiş modeller içinse 8 GB RAM önerilir. Son 2-3 yıl içindeki amiral gemisi veya güncel orta segment telefonlar modelleri iyi çalıştırabilirken, daha eski veya bütçe dostu cihazlar bu performansı sağlayamayabilir. Cihazınızın uyumluluğundan emin değilseniz, uygulama içindeki yerleşik kıyaslama aracı sayesinde cihazınızın hangi modelleri çalıştırabileceğini test edebilirsiniz.
Çevrimdışı Çalışma ve Veri Gizliliği
PocketPal AI’nin temel özelliklerinden biri, tamamen çevrimdışı çalışabilmesidir. Uçak modunda, sinyal olmayan yerlerde veya yeraltında bile yapay zeka modelleriyle etkileşim kurabilirsiniz. Bu, uygulamanın hiçbir zaman internet bağlantısına ihtiyaç duymadığı ve sunuculara veri göndermediği anlamına gelir. Kullanıcı verileri cihazdan asla ayrılmaz; sıfır veri iletimi ve sıfır telemetri politikası benimsenmiştir. Uygulama açık kaynak kodlu olduğu için bu gizlilik vaatleri bağımsız olarak doğrulanabilir.
Model Seçimi ve Özelleştirme
Uygulama, HuggingFace’ten yüzlerce açık kaynaklı modeli doğrudan cihazınıza indirmenize olanak tanır. Bu modeller üzerinde tam kontrol sahibisiniz; sıcaklık (temperature), bağlam uzunluğu (context length) ve sistem istemleri (system prompts) gibi parametreleri istediğiniz gibi ayarlayabilirsiniz. Ayrıca, Palshub.ai’den erişilebilen Pals adı verilen yapay zeka kişilikleri sayesinde modellere farklı karakterler ve amaçlar kazandırabilirsiniz.
Performans ve Optimizasyon
PocketPal AI, cihazınızın donanım gücünden en iyi şekilde yararlanmak için optimize edilmiştir. iOS cihazlarda Metal acceleration, Android cihazlarda ise NNAPI desteği bulunur. Uygulama, cihazınızın model performansını test etmek için yerleşik bir kıyaslama aracı sunar. Yakın zamanda yapılan güncellemelerle LFM3 ve Bonsai 2 modelleri için destek eklenmiş, ayrıca Q2_K ve Q3_K modelleri GPU üzerinde daha hızlı çalışacak şekilde iyileştirilmiştir. Daha önce indirilmiş seslerin çevrimdışı çalışmama sorunu da giderilmiştir, böylece eller serbest ses modu internet olmadan da kullanılabilir.
Yorum yaz