AI Model Trainer Ne Demek? Bir Yapay Zeka Nasıl Eğitilir?

Aklındaki yapay zekanın bir gün, bir yerde, biri tarafından eğitildiğini düşün. Çoğu insan bunu hiç düşünmez. Uygulamayı açar, bir soru sorar, cevabı alır ve "demek ki bu kadar akıllı" der. Oysa o cevabın arkasında aylarca süren bir eğitim var. Ve o eğitimin içinde, ekranın görmediği bir yerde, modelin verdiği her cevabı tek tek okuyan, puanlayan, düzelten insanlar var.

Ben o insanlardan biri oldum. Model eğittim, modellerin ürettiği cevapları denetledim, bir yapay zekanın "doğru" ile "yanlışı" nasıl ayırmayı öğrendiğine yakından tanık oldum. Bu sayfada sana iki şeyi birlikte anlatacağım. Birincisi, bir yapay zeka modelinin gerçekte nasıl eğitildiği, sade dille, teknik bilgi gerektirmeden. İkincisi, bu işi bizzat yaparken kendi gözümle gördüklerim. Çünkü bir şeyi okumak ile o şeyi kendi elinle yapmak aynı şey değil. Eğitimi bizzat yapınca, yapay zekaya bakışın baştan sona değişiyor. Ben sana o değişmiş bakışı aktarmak istiyorum.

AI model trainer ne demek

Önce adını net koyalım. AI model trainer, bir yapay zeka modelinin nasıl davrandığını şekillendiren kişidir. Modeli sıfırdan kodlayan mühendis değildir bu. Daha çok, modele "iyi cevap budur, kötü cevap şudur" diye yön gösteren insandır.

Şöyle düşün. Bir model, milyonlarca örnek üzerinden öğrenir ama hangi örneğin iyi, hangisinin kötü olduğunu kendi başına bilemez. Birinin ona bunu öğretmesi gerekir. İşte o birinin işi model eğitmektir. Kimi zaman modele örnek cevaplar yazarsın. Kimi zaman modelin ürettiği iki cevabı yan yana koyup "bu daha iyi" dersin. Kimi zaman da modelin verdiği bir cevabı baştan aşağı denetler, nerede yanıldığını işaretlersin.

Bu işin Türkçesi henüz tam oturmadı. Ben buna Yapay Zeka Model Eğitmeni diyorum. Sahada çoğu kişi İngilizcesini kullanıyor ama önemli olan kelime değil, işin ne olduğu. Bir yapay zekanın karakterini, üslubunu ve neyi yapıp neyi yapmayacağını belirleyen kişi, işte bu işi yapan kişidir. Yani Yapay Zeka Model Eğitmeni.

Bir model üç aşamada eğitilir

Bir yapay zeka modelinin eğitimini üç katmana ayırarak anlatmak en temizi. Bu katmanları bir kez kavradığında, kullandığın her aracın arkasında ne olduğunu görmeye başlarsın.

Birinci katman ön eğitimdir. Model burada devasa miktarda metni okur. Kitaplar, makaleler, internetteki yazılar. Ama "okumak" derken insanın okuması gibi düşünme. Model bu metinden tek bir şey öğrenir. Bir cümlede bir kelimeden sonra büyük olasılıkla hangi kelime gelir. Milyarlarca kez bunu tekrarlaya tekrarlaya, dilin kalıplarını içine sindirir. Bu aşamanın sonunda elinde dili akıcı kullanan ama henüz yönsüz, terbiyesiz bir ham model olur.

İkinci katman yönlendirmedir. Burada modele örnekler verilir. "Şu soru sorulduğunda cevap böyle olmalı." Binlerce örnek üzerinden model, sadece kelime tahmin etmeyi değil, yardımcı olmayı, soruya cevap vermeyi, bir formata uymayı öğrenir. Ham model burada bir asistana dönüşmeye başlar.

Üçüncü katman insan geri bildirimidir. İşin en insani ve benim en çok içinde olduğum kısım burası. Model bir soruya birkaç farklı cevap üretir. İnsanlar bu cevapları okur, karşılaştırır, puanlar. "Bu daha doğru, bu daha kibar, bu daha güvenli." Modelin bu insan tercihlerinden öğrenmesine, sade dille, insan geri bildiriminden öğrenme diyoruz. İşin teknik adıyla buna RLHF denir, yani insan geri bildirimiyle pekiştirmeli öğrenme. Modelin "karakteri" büyük ölçüde burada şekillenir.

Veri her şeyin temelidir

Sana bu işin içinden çıkardığım en net dersi söyleyeyim. Bir model, eğitildiği veri kadar iyidir. Ne bir gram fazlası, ne bir gram eksiği.

Veri kötüyse, model kötü olur. Veri taraflıysa, model taraflı olur. Veri belirli bir bakış açısıyla doluysa, model o bakış açısını dünyanın tamamı sanır. Bunu dışarıdan okuduğunda bir slogan gibi gelir. Bizzat yaşadığında ise bir sorumluluk gibi gelir. Çünkü modele ne gösterirsen, o onu öğrenir, ve milyonlarca insana o öğrendiğini geri verir.

Bu yüzden eğitimin en sıkıcı görünen kısmı aslında en kritik kısmıdır. Verinin temizlenmesi, ayıklanması, dengelenmesi. Hangi örneğin içeri girdiği, hangisinin elendiği. Parlak bir model değil, temiz bir veri yapar farkı. Bunu bir kez gören biri, herhangi bir yapay zeka aracına baktığında ilk olarak "bu neyle beslendi" diye sorar.

İnsan geri bildirimi modelin terbiyesini şekillendirir

Eğitimin en az anlaşılan ama en belirleyici kısmı bu, o yüzden biraz açayım. Model ham haliyle akıllı görünür ama kaba olabilir. Yanlış yöne sapabilir, emin olmadığı yerde uydurabilir, zararlı bir isteğe körü körüne uyabilir. Onu terbiye eden, insan geri bildirimidir.

Bu nasıl işler. Model bir soruya iki, üç, bazen daha fazla cevap üretir. Bir insan oturur, bu cevapları okur ve sıralar. Hangisi daha doğru, hangisi daha açık, hangisi daha güvenli. Bu sıralama modele geri verilir, model "demek ki insanlar bunu tercih ediyor" diye ayarını günceller. Binlerce, yüz binlerce kez tekrarlanır bu. Yavaş yavaş model, insanların iyi bulduğu cevaplara doğru kayar.

Ben bu işi yaptığımda fark ettiğim şey şu oldu. Modelin nazik, yardımcı ve dengeli görünmesi tesadüf değil. O üslubun her tonunu birileri, tek tek puanlayarak inşa etti. Yapay zekanın "kişiliği" dediğimiz şey, aslında ona kişilik veren binlerce insan kararının toplamıdır.

Bir çıktıyı denetlerken neye bakardım

Şimdi işin teknik tarafına geçeyim. Model eğitmenin yanında yaptığım asıl işlerden biri, modellerin ürettiği çıktıları denetlemekti. Bu denetim gelişigüzel bir "beğendim, beğenmedim" değildir. Belirli ölçütler üzerinden, her ölçütü ayrı ayrı puanlayarak yapılır.

Her çıktıyı birkaç eksende değerlendirirdik ve her ekseni üç kademeli bir hata ölçeğine göre işaretlerdik. No Issue, yani sorun yok. Minor Issue, yani küçük bir kusur var. Major Issue, yani ciddi bir hata var. Bir çıktıda Major Issue çıktığında orada durur, hatanın detayına iner, neyin nerede bozulduğunu tek tek raporlardık.

Denetlediğimiz başlıca eksenler şunlardı:

• Instruction Following (talimata sadakat). Model kendisine verilen yönergeye gerçekten uydu mu, yoksa kendi kafasına göre mi davrandı.
• Truthfulness / Trustfulness (doğruluk ve güvenilirlik). Verdiği bilgi gerçekten doğru mu, yoksa emin bir tonla uydurdu mu.
• Groundedness (kaynağa dayanma). Söylediği şeyi gerçek bir kaynağa dayandırabiliyor mu, yoksa havadan mı konuşuyor.
• Citation / Source Accuracy (kaynak ve bağlantı doğruluğu). Verdiği linkler gerçek mi, doğru kaynaktan mı çekiyor, yoksa var olmayan bir adres mi uyduruyor.
• Harmlessness / Safety (zararsızlık). Zararlı bir isteğe alet oluyor mu, yoksa sınırı koruyor mu.
• Coherence (tutarlılık). Cevabın içi kendisiyle çelişiyor mu, baştan sona tutarlı mı.
• Relevance (konuya uygunluk). Sorulan şeye mi cevap verdi, yoksa konudan saptı mı.
• Verbosity (uzunluk dengesi). Gereksiz uzattı mı, yoksa eksik mi bıraktı.
• Tone & Style (üslup). Ne robot gibi soğuk, ne yapmacık sıcak, doğru tonu tutturdu mu.
• Language Quality (dil kalitesi). Cümleler düzgün mü, akıcı mı, doğal mı.

Farklı başlıklarda, farklı çerçevelerde detaylı promptlar yazardık. Sonra modelin o promptlara verdiği çıktıyı bu eksenlerin hepsinden geçirirdik. Prompta sadık kaldı mı. Bilgi uydurdu mu. Verdiği bilgiler doğru mu. Verdiği linkler gerçek mi. Doğru kaynaktan mı çekiyor. Bir çıktının güvenilir sayılması için bütün bu kapılardan temiz geçmesi gerekirdi.

Bu işi yapınca anladığım şey şu oldu. Yapay zekanın güvenilirliği modelin içinde değil, onu denetleyen insanın titizliğinde başlar. Model ne kadar gelişmiş olursa olsun, çıktısını kontrol eden bir göz olmadan tam güvenilmez. Ve o göz ne kadar dikkatliyse, model o kadar sağlam olur. Bu yüzden ben yapay zekaya "kontrol et" demeyi bir slogan olarak değil, bizzat yaptığım bir işin sonucu olarak söylüyorum. Modelin nerede tökezlediğini kendi gözümle gördüm.

Türkçe konuşan yapay zekalarda benim de izim var

Burada sana, bu sayfanın en kişisel kısmını anlatayım. Ben modelleri yalnızca genel olarak eğitmedim. Yapay zeka modellerini ayrıca Türkçeye uygunluk, doğal konuşma ve doğru Türkçe tabir kullanma konusunda da eğittim.

Bunun ne demek olduğunu açayım. Bir yapay zeka Türkçe konuştuğunda, çoğu zaman cümleleri İngilizceden çevrilmiş gibi durur. Tabirler yapay kaçar, kelime seçimi yanlış olur, ton bir Türk'ün konuştuğu gibi değil, bir makinenin çevirdiği gibi olur. İşte bu farkı kapatmak da benim işimdi. Modele doğru Türkçeyi, doğal tabiri, bizim gerçekten kullandığımız ifadeleri öğrettim.

Bunun sonucu şu. Bugün insanların kullandığı bazı yapay zeka modellerinde benim izlerim var. Verdiği cevapların doğruluğunda, Türkçeyi doğru kullanmasında ve karakterinin tutarlılığında benim de bir rolüm oldu. Yani bir yapay zekaya Türkçe bir şey sorduğunda, sana akıcı, doğal, yerli bir cevap geliyorsa, bu kendiliğinden olmadı. Birileri o modele bunu öğretti. Bazı modellerde o birileri bendim.

Bunu, yapay zekanın gökten inmediğini görmen için söylüyorum. Bir dahaki sefere bir modelle Türkçe konuştuğunda, aklının bir köşesinde şunu tut. Bu modelin Türkçesini biri düzeltti. Bu karakteri biri verdi. O biri bendim. Yapay zeka, arkasında emek olan bir araçtır. O emeğin bir kısmı da bu sitede seninle konuşan kişinin.

Bu işi yapmış olmak bana ne öğretti

Şimdi en önemli kısma geliyoruz. Bir yapay zekayı bizzat eğitmek, onu dışarıdan kullanmaya bambaşka bir gözle bakmanı sağlıyor.

Modeli, her dediği doğru olan sorgulanamaz bir akıl gibi değil, eğitilmiş bir araç gibi görüyorsun. Kesin konuştuğunda etkilenmiyorsun, çünkü o kesinliğin nasıl inşa edildiğini biliyorsun. Sana katıldığında gururlanmıyorsun, çünkü katılma eğiliminin nereden geldiğini gördün. Uydurduğunda şaşırmıyorsun, çünkü boşluğu olası bir şeyle doldurmanın eğitimin doğasında olduğunu biliyorsun.

Bu, korku değil. Tam tersine, bu bir güven. Bir aracın nasıl yapıldığını bilen usta, o araçtan korkmaz, onu doğru kullanır. Ben yapay zekaya bu gözle bakıyorum ve bu siteyi açma sebebim de bu. Gördüğümü sana da aktarmak. Çünkü bu aracı içeriden tanımak bir ayrıcalık değil, herkesin hakkı olan bir okuryazarlık.

Onaylama eğilimi nereden gelir

Burada içeriden gördüğüm bir şeyi paylaşmam gerek, çünkü senin günlük kullanımını doğrudan ilgilendiriyor. Model, insanların iyi bulduğu cevaplara doğru ayarlanırken, hoşa giden cevaba doğru da kayar. İnsanlar kendilerini onaylayan, akıcı, kendinden emin cevapları daha çok beğenir. Model de zamanla bunu öğrenir.

Sonuç şu. Model bazen doğru olduğu için değil, sana hoş geldiği için bir şey söyler. Sana katılır, çünkü katılmanın puanı yüksektir. Kesin konuşur, çünkü kararlı ton güven uyandırır. Bunu yapan kötü niyetli bir tasarım değil. Bunu yapan, eğitim sürecinin doğal bir yan etkisi. İnsan tercihini öğreten bir sistem, insanın zaaflarını da öğrenir.

Bunu bilmek seni güçlendirir. Modelin sana katılması, haklı olduğun anlamına gelmez. Modelin emin konuşması, doğru olduğu anlamına gelmez. Bu eğilimin nereden geldiğini bilen biri, bir çıktıyı okurken "bu bana gerçekten doğru olduğu için mi böyle geldi, yoksa hoşuma gittiği için mi" diye sorar. Bu soru, yapay zeka okuryazarlığının kalbidir.

Sen bunu bilince ne değişir

Sen bir model eğitmeyeceksin, doğru. Ama bir modelin nasıl eğitildiğini bilmek, kullandığın her aracı farklı görmeni sağlar.

Bir cevap aldığında, artık onun gökten inmediğini biliyorsun. Birileri o modele bir veri gösterdi, bir üslup öğretti, bir denge kurdu. O cevap, o eğitimin izini taşıyor. Bunu bilen biri, çıktıya kör güvenmez, kontrollü güvenir. Modelin kesinliğini doğruluk sanmaz. Onayını teyit sanmaz. Eksik kaldığı yeri sezer.

İşte yapay zeka okuryazarlığı bu. Aracı yapanın gözüyle, onu kullanabilmek. Bunun temelini Anlamak kavramında, yani okuryazarlık kavramının ana sayfasında kuruyorum. Orada yapay zekanın ne olduğunu, nasıl "düşündüğünü" ve neden uydurduğunu sıfırdan anlatıyorum. Bu yazı, o resmin bir parçasını, işi bizzat yapmış birinin gözünden tamamlıyor.

Bir yapay zekanın nasıl eğitildiğini bilen, ona doğru soruyu sorar. Doğru soruyu soran, doğru cevaba ulaşır. Aracı tanı, sonra kullan.