Giskard'ın açık kaynak çerçevesi, yapay zeka modellerini üretime aktarılmadan önce değerlendiriyor - Dünyadan Güncel Teknoloji Haberleri

Giskard'ın açık kaynak çerçevesi, yapay zeka modellerini üretime aktarılmadan önce değerlendiriyor - Dünyadan Güncel Teknoloji Haberleri
Yapay zeka ekosistemindeki insanlarla yapılan görüşmelere dayanarak, Yapay Zeka Yasasının OpenAI, Anthropic, Mistral ve diğerlerinin temel modellerine mi yoksa yalnızca uygulamalı kullanım senaryolarına mı uygulanacağı hala belirsiz ” Giskard’ın kurucu ortağı ve CEO’su Alex Combessie bana söyledi

Şu anda Giskard için çalışan 20 kişi var Testlerden sorumlu olduğum dönemde, bunları pratik durumlara uygulamak istediğinizde her iki şeyin de iyi sonuç vermediğini ve tedarikçilerin performanslarını birbirleriyle karşılaştırmanın çok zor olduğunu görebiliyordum

Giskard, düzenlemeyi benimseyen bir yapay zeka girişimidir ve özellikle daha verimli bir şekilde test etmeye odaklanan bir geliştirici aracının ilk örneklerinden biridir

İkinci durumda, Giskard, geliştiricileri harici verilerle zenginleştirilmiş LLM’lerin (ya da yapay zeka araştırmacılarının söylediği gibi, erişimle artırılmış nesil, RAG) olası kötüye kullanımları konusunda uyarmak için özellikle iyi konumlandırılmış görünüyor

Geliştiriciler daha sonra testleri sürekli entegrasyon ve sürekli teslim (CI/CD) hattına entegre edebilir, böylece kod tabanında yeni bir yineleme olduğunda testler çalıştırılır Yapay zeka modelleri geliştiren şirketlerin, ağır para cezaları ödememek için bir dizi kurala uyduklarını ve riskleri azalttıklarını kanıtlamaları gerekecek

Şu anda OpenAI’nin API’lerini ve LLM’lerini temel model olarak kullanan şirketlerle çalışıyor ancak şirket Hugging Face, Anthropic vb

Kullanım durumlarının düzenlenmesi

Yapay zeka modellerini düzenlemenin birkaç yolu vardır

Giskard’ın test çerçevesinin arkasında üç bileşen bulunmaktadır



genel-24

Testler, modelin son kullanım durumuna göre özelleştirilir

Yapay zeka modelleri etrafında çok fazla abartılı reklam olsa da, AB’de Yapay Zeka Yasası ile düzenlemenin yürürlüğe girmesi ve diğer ülkelerde de ML test sistemleri hızla gündemdeki bir konu haline gelecektir , vesaire

Şirketin üçüncü ürününe LLMon adı veriliyor İlk olarak şirket piyasaya çıktı açık kaynaklı bir Python kütüphanesi bir LLM projesine ve daha spesifik olarak erişimle artırılmış nesil (RAG) projelerine entegre edilebilir Örneğin, bir sorun varsa geliştiriciler GitHub depolarında bir tarama raporu alırlar

“Daha önce Dataiku’da özellikle NLP model entegrasyonu konusunda çalıştım Ancak hem marka imajı açısından hem de artık düzenleyici açıdan bakıldığında etik yönü giderek daha fazla ortaya çıkıyor,” dedi Combessie Gelecekte tüm düzenleyici özellikleri buraya koyacağız” dedi Combessie


Giskard büyük dil modelleri için açık kaynaklı bir test çerçevesi üzerinde çalışan bir Fransız girişimidir Geliştiricileri önyargı riskleri, güvenlik açıkları ve bir modelin zararlı veya toksik içerik üretme yeteneği konusunda uyarabilir Örneğin, IPCC’nin en son raporuna dayanarak size iklim değişikliği hakkında bilgi verebilecek bir sohbet robotu oluşturuyorsanız ve OpenAI’den bir LLM kullanıyorsanız Giskard testleri, modelin iklim değişikliği hakkında yanlış bilgi üretip üretmediğini, kendisiyle çelişip çelişmediğini kontrol edecektir ile entegrasyonlar üzerinde çalışıyor Gelecekte girişim, bir modelin düzenlemelere uygun olduğunu kanıtlayan belgeler üretebileceğini umuyor GitHub’da zaten oldukça popüler ve Hugging Face, MLFlow, Weights & Biases, PyTorch, Tensorflow ve Langchain gibi ML ekosistemlerindeki diğer araçlarla uyumlu

“Yapay Zeka Kalite Merkezi’ni Banque de France ve L’Oréal gibi şirketlere, hata ayıklamalarına ve hataların nedenlerini bulmalarına yardımcı olmak için satmaya başlıyoruz

“Ve bunun birkaç yönü var: performans yönüne sahip olacaksınız ki bu, bir veri bilimcinin aklına gelen ilk şey olacaktır Combessie, “LLM’lerdeki müşterilerle çok açık bir pazar uyumu görüyoruz, bu nedenle piyasadaki en iyi LLM antivirüs yazılımı olmak için ekibin boyutunu kabaca iki katına çıkaracağız” dedi Bu kalite merkezi Giskard’ın bir parçasıdır prim teklifi

İlk kurulumdan sonra Giskard, modelinizde düzenli olarak kullanılacak bir test paketi oluşturmanıza yardımcı olur RAG üzerinde çalışan şirketler, test paketinin mümkün olduğu kadar alakalı olması için Giskard’a vektör veritabanlarına ve bilgi havuzlarına erişim verebilir

Resim Kredisi: Giskard

Giskard’ın ikinci ürünü, büyük bir dil modelinde hata ayıklamanıza ve onu diğer modellerle karşılaştırmanıza yardımcı olan bir yapay zeka kalite merkezidir Yanıt kullanıcıya geri gönderilmeden önce en yaygın sorunlara (toksisite, halüsinasyon, doğruluk kontrolü…) ilişkin LLM yanıtlarını değerlendirebilen gerçek zamanlı bir izleme aracıdır Bu testler; performans, halüsinasyonlar, yanlış bilgilendirme, gerçek dışı çıktılar, önyargılar, veri sızıntısı, zararlı içerik üretimi ve hızlı enjeksiyonlar gibi çok çeşitli konuları kapsamaktadır