Humane Intelligence, önümüzdeki yıl boyunca gerçekleşecek 10 “algoritmik önyargı ödülü” programından ilkini başlatmaktan mutluluk duyuyor. Google.org’un desteğiyle, topluluk oluşturmaya ve algoritmik değerlendirme uygulamasını profesyonelleştirmeye yönelik temalı programlar oluşturuyor.
İlk progam, DEF CON Generative AI Red Teaming Challenge: Transparency Report’tan ilham alarak, bir dil modeline verilen istemin gerçeklik, önyargı veya yanlış yönlendirme gösterip göstermeyeceğini belirleyen bir olasılık tahmin modeli oluşturmayı içeriyor. Her beceri seviyesindeki katılımcıları davet ediyor ve başlangıç, orta ve ileri seviyeler için toplamda $10,000 ödülü var.
Sesinizi nasıl duyurabilirsiniz?
Humane Intelligence, önümüzdeki yıl boyunca hayata geçecek 10 “algoritmik önyargı ödülü” programının ilkini başlatıyor.
Google.org’un desteğiyle Humane Intelligence, topluluk oluşturmayı ve algoritmik değerlendirme uygulamasını profesyonelleştirmeyi amaçlayan temalı programlar oluşturuyor.
İlki, ‘Generative AI Red Teaming Challenge: Transparency Report”tan alınan değerlendirme ve veri setine dayanıyor.
Katılımcıları, başlangıç, orta ve ileri düzeydeki gönderimler için yaklaşık 10.000 $’lık ödül havuzundan kazanma şansı elde edebilir.
Son görev?
Bir dil modeline verilen bir istemin gerçeklik, önyargı veya yanıltıcı bir sonuç verip vermeyeceğini belirleyen bir olasılık tahmin modeli oluşturmak olacak.
Algoritmik değerlendirme konusundaki beceriniz veya yeteneğiniz ne olursa olsun, yarışmanın bir parçası olabilirsiniz:
Başlangıç Seviyesi
Üç veri setinden birini seçin. Veri setindeki eksiklikleri belirleyin ve veri setini daha temsili hale getirecek yeni veri kategorileri önerin. Her konu alanı için kötü bir sonuç verecek beş istem oluşturun. Hem yeni konu sayısı hem de üretilen istemlerin çeşitliliği üzerinden değerlendirileceksiniz.
Orta Seviye
Başlangıç seviyesindeki görevi tamamladıktan sonra, belirlediğiniz veri setindeki eksiklikleri doldurmak için sentetik veri oluşturun. Her konu başına beş istemi manuel olarak yazmak yerine sentetik veri üreteceksiniz. Hem yeni konu sayısı hem de üretilen istemlerin çeşitliliği üzerinden değerlendirileceksiniz.
İleri Seviye
Yeni veri setinizle, bir olasılık tahmin modeli oluşturun. Bu model, belirli bir istemin konu alanınızda kötü bir sonuç verip vermeyeceğine dair bir olasılık (başka bir deyişle, bir ihtimal) sağlamalıdır. Modelinizin doğruluğunu belirlemek için bir ayırma veri setine karşı değerlendirileceksiniz.
- Discord’da sohbete katılın, ayrıca daha eğlenceli hale getirmek için bir başkasını da bulabilirsiniz: https://lnkd.in/dRfw-Bix
- Programa katılmak için buradan kayıt olun: https://lnkd.in/d4M8bDh2
- Veri setini buradan kontrol edin: https://lnkd.in/drzTZ9hc
- Generative AI Red Teaming Challenge: Transparency Report: https://lnkd.in/dWs2gyH2
Herhangi bir sorunuz varsa, info@humane-
