DeepSeek, Microsoft ile işbirliğine gidiyor!

DeepSeek, mobil dünyada büyük bir başarıya imza attıktan sonra şimdi Windows’a adım atıyor ve bu genişlemeye Microsoft'un da tam desteği bulunuyor. Dün, yazılım devi Microsoft, DeepSeek R1 modelini Azure AI Foundry’ye ekleyerek geliştiricilerin bu modeli kullanarak bulut tabanlı uygulamalar ve hizmetler geliştirmelerine olanak tanıdı. Bugün ise Microsoft, distile edilmiş R1 modellerinin Copilot+ PC'lere getirileceğini duyurdu.

DeepSeek, Microsoft ile işbirliği yapacak

Distile edilmiş modeller, ilk olarak Snapdragon X işlemcilerine sahip cihazlarda, Intel Core Ultra 200V işlemcili ve AMD Ryzen AI 9 tabanlı PC'lerde kullanılabilir olacak. İlk model, 1.5 milyar parametreye sahip DeepSeek-R1-Distill-Qwen-1.5B olacak ve daha büyük, daha yetenekli 7B ve 14B modellerinin ise kısa süre içinde kullanıma sunulması bekleniyor. Bu modeller, Microsoft'un AI Toolkit’inden indirilebilir olacak.

Microsoft, bu modelleri NPUs (Neural Processing Units) ile uyumlu hale getirmek için bazı optimizasyonlar yaptı. Bellek erişimine dayalı işlemler CPU üzerinde çalışırken, işlemci yoğun işlemler, örneğin transformer bloğu, NPU üzerinde çalıştırılıyor. Bu optimizasyonlarla birlikte, Microsoft, ilk token'ı almak için geçen süreyi 130ms'ye ve kısa prompt’lar (64 token altı) için throughput hızını saniyede 16 token’a çıkarmayı başardı. Bir "token", genellikle bir sesli harfe benzer bir şeydir ve çoğu zaman bir karakterden daha uzun olabilir.

Samsung’un yeni katlanabilir telefonları, fiyatıyla şaşırtabilir!

Microsoft, OpenAI (ChatGPT ve GPT-4'ün yapımcıları) ile güçlü bir destekçidir ve derin bir yatırım yapmaktadır, ancak açıkça taraf tutmadığı da görülüyor – Azure Playground’ında OpenAI’nin GPT modelleri, Meta’nın Llama’sı, AI şirketi Mistral ve şimdi de DeepSeek yer alıyor.

Eğer daha çok yerel AI ile ilgileniyorsanız, önce VS Code için AI Toolkit’i indirmeniz gerekiyor. Buradan modelinizi yerel olarak indirebilirsiniz (örneğin “deepseek_r1_1_5” 1.5B modelidir). Son olarak, Playground’da "Try" butonuna tıklayarak bu distile edilmiş R1 modelinin ne kadar akıllı olduğunu test edebilirsiniz.

"Model distilasyonu", bazen "bilgi distilasyonu" olarak adlandırılır, büyük bir AI modelinin (tam DeepSeek R1 671 milyar parametreye sahip) bilgilerini, daha küçük bir modele (örneğin 1.5 milyar parametre) aktarma sürecidir. Bu süreç mükemmel değildir ve distile edilmiş model, tam model kadar güçlü değildir; ancak daha küçük boyutu sayesinde, doğrudan tüketici donanımında çalıştırılabilir (yani binlerce dolara mal olan özel AI donanımlarına ihtiyaç duymaz).