Anthropic'in Claude 2.1 LLM'si, Context Recall'da OpenAI'nin GPT-4'ünden Geride Kaldı - Dünyadan Güncel Teknoloji Haberleri

Anthropic'in Claude 2.1 LLM'si, Context Recall'da OpenAI'nin GPT-4'ünden Geride Kaldı - Dünyadan Güncel Teknoloji Haberleri
Yukarıdaki parçadan da anlaşılacağı gibi, LLM’nin geri çağırma yeteneği, bağlam penceresi arttıkça giderek azalır Araştırmacı ayrıca 1K token’dan 200K token’a kadar değişen ve 35 eşit artışa bölünmüş bağlam penceresini de değiştirdi com/T1XdQreluH

— Antropik (@AntropikAI) 21 Kasım 2023

Anthropic dün, en son Claude 2 Bununla birlikte, bağlam hatırlama yeterliliği, özellikle OpenAI’nin GPT-4’ünün nispeten güçlü hatırlama yetenekleriyle karşılaştırıldığında, arzu edilenden çok daha fazlasını bırakıyor Her kırmızı blok, hatırlama başarısızlığını temsil eder

Kamradt özellikle aşağıdaki metni değişen pasaj derinliklerine yerleştirdi:

“San Francisco’da yapılacak en iyi şey bir sandviç yemek ve güneşli bir günde Dolores Park’ta oturmak co/uLbS2JNczH sohbet deneyimi 1 Konsolumuzda API üzerinden mevcuttur ve https://t com’un bir bilgilendirme ve etik politikası vardır ”

Araştırmacı giriş metnini 35 eşit parçaya böldü ve ardından yukarıdaki gerçeği bu 35 derinliğin her birine yerleştirdi ve Claude 2

GPT-4’ün maksimum bağlam penceresi uzunluğu olan 128

GPT-4 Test Sonuçları

Karşılaştırma amacıyla OpenAI’nin GPT-4’üyle gerçekleştirilen benzer bir testin sonuçları yukarıda gösterilmektedir Kullanılan simgeleştirme yöntemine bağlı olarak, simge bir karakter, sözcük, alt sözcük ya da metnin ya da kodun tamamı olabilir

Bağlamı Hatırlama: Anthropic’in Claude 2 pic

Bu hikayeyi paylaş

Facebook

heyecan





genel-17

Claude 2 Buna git X gönderisi Kullanılan metodoloji hakkında daha fazla bilgi için 000 tokenlik “sektör lideri” bir bağlam penceresini desteklediğini ve model halüsinasyonlarında 2 kat azalma sağladığını duyurdu Wccftech 1’in pek de etkileyici olmayan bağlamı hatırlama yeteneği göz önüne alındığında parlaklığının bir kısmını kaybediyor 1 LLM’sinin 200K token içerik penceresi etkileyici görünüyor Claude 2 Bununla birlikte, bu genişletilmiş bağlam penceresinin gerçek dünyadaki uygulaması, Claude 2 1’den her seferinde ilgili soruyu yanıtlamasını istedi 1’in aynı ortamda GPT-4’e karşı nasıl performans göstereceğini zaman gösterecek

Elbette, Anthropic’in Claude 2 twitter

Yeni modelimiz Claude 2 belirsiz veya çelişkili girdi, yanlış veya anlamsız çıktı sağlama

Farkında olmayanlar için belirteç, LLM’lerin dili işlemek ve oluşturmak için kullandığı temel bir metin veya kod birimidir Yazarın bahsi geçen hisse senetlerinin hiçbirinde pozisyonu bulunmamaktadır

Claude-2 1’i GPT-4 ile karşılaştırdı OpenAI’nin GPT-4’ü

Yapay zeka uzmanı Greg Kamradt yakın zamanda, belirli bir modelin değişen geçiş derinliklerine yerleştirilmiş belirli bir gerçeği ne kadar doğru şekilde hatırlattığını belirlemeyi amaçlayan standart bir test aracılığıyla Claude 2 1 LLM’nin artık 200 000 token bağlam penceresi, halüsinasyon oranlarında 2 kat azalma, sistem istemleri, araç kullanımı ve güncellenmiş fiyatlandırma sunar

Claude 2 Buna yönel X gönderisi daha fazla detay için 1’in genişletilmiş bağlam penceresi, LLM’nin yaklaşık 470 sayfalık bir kitabı anlamasına ve işlemesine olanak tanır Burada, gerçeğin yerleştirildiği derinlik ve LLM’nin bağlam penceresi 15 farklı artışla değiştirildi 1 vs 1’inin belirli bir belge derinliğinde ve bağlam penceresi uzunluğunda gömülü gerçeği ne kadar doğru şekilde hatırlayabildiğini göreceksiniz

Büyük Dil Modellerinin (LLM’ler) mevcut yinelemelerinin artan bağlam yüklerini kavrama konusundaki sınırlı yeteneği, şu anda yapay zeka tekilliğine – yapay zekanın insan zekasını açıkça aştığı bir eşik – ulaşmanın önündeki en büyük engellerden biri olmaya devam ediyor İlk bakışta, Anthropic’in Claude 2


Bu bir yatırım tavsiyesi değildir 1, sektör lideri 200 000 jetonda yüzde 100 geri çağırma hatalarının önemli ölçüde daha az olduğunu unutmayın

Önceki bir gönderide GPT-4’ün uzun süren bir matematik sınavında xAI’nin Grok’unu ve Anthropic’in Claude 2 LLM’sini geride bıraktığını belirtmiştik 1-Test-Sonuçları

Yukarıda, Anthropic’in Claude 2 1’inin 200K jetonlu bağlam penceresi, yalnızca 128K jetonlu pencereyi destekleyen OpenAI’nin GPT-4’üyle karşılaştırıldığında oldukça etkileyici