Anne With An E 4. Sezon Videolarını Nasıl Yapıyorum? Deepfake Anlatımı
509Deepfacelab'i indirmek için: https://github.com/iperov/DeepFaceLab
Merhabalar, bu videomda size Anne With an E 4. Sezon fanfiction videolarını nasıl yaptığımı kısaca anlattım. Öncelikle kısaca kulandığım yöntemden bahsedeyim. Deepfake olarak bilinen bu sistem, basitçe birinin yüzünü, bir başkasının yüzüne monte etmek. Bunu yaparken de yapay zekadan yararlanıyor. Şimdi uzun uzadıya sistemi anlatmaktansa aşamaları gördükten sonra sistemin nasıl işlediğini kolayca anlayacağınıza inanıyorum.
Benim kullandığım program github’da açık kaynak kodlu olarak yayınlanan Deepfacelab. Bu programın arayüzü yok. Tek yaptığımız belirli komutları çalıştıran .bat dosyalarını açmak. Bir deepfake videosunu bitirmek için 8 aşamayı da tamamlamak gerekiyor.
Öncelikle kimin yüzünü kimin yüzüyle değiştirmek istediğimi, yani kaynak ve hedef dosyalarını belirliyorum. Data_src videosunda yüzünü kopyalamak istediğim kişinin, yani kaynağın, farklı açılardan çekilmiş ve farkı yüz ifadelerinin bulunduğu görüntülerin olması gerekiyor. Bunu bir video programında sadece onun yüzünün olduğu sahneleri birleştirip de yapabilirsiniz veya tek bir videodan da çıkarabilirsiniz. Eğer videoda başkalarının yüzü de olursa, o yüzleri daha sonra teker teker silmeniz gerekeceğini unutmayın.
Data_dst videosunda ise yüzünü kopyalayacağım kişinin, yani hedefin olması gerekiyor. Şimdi işlemleri kısaca anlatayım.
2. Ve 3. aşamayı çalıştırarak videoları resim haline getiriyorum. Videodaki her bir kare ayrıştırılıyor gördüğünüz gibi. Daha sonra 4. Aşamayı çalıştırarak kaynak videodaki yüzleri ayrıştırıyorum. Ayrıştırdıktan sonra klasöre giderek tek tek kontrol ediyorum. Yabancı yüzleri ve bulanık, siyahlaşmış, çarpık veya herhangi bir şekilde bozuk resimleri siliyorum. Kaynaktaki yüzlerin bulanık olmaması çok önemli çünkü yapay zeka yüzü öğrenirken resim ne kadar netse o kadar detaylı öğreniyor.
Resimlerden yüz çıkarma işlemi tek tek de yapılabilir, bu durumda yabancı yüz veya bulanık resim derdi olmaz.Tek tek yapmak zaman alsa da sonuç bayağı güzel oluyor.
Gördüğünüz gibi 4. Aşamanın birçok yan işlemi var. Ayrıştırılan yüzleri kolayca ayıklamak için bu aşamalar kullanılabilir.
5. aşamayı çalıştırarak aynı şekilde hedef videodaki resimlerden de yüzleri ayrıştırıyorum. Buradaki tek fark, ayrıştırılan yüzler bulanık olsa bile silmiyorum çünkü eğer silersem, sildiğim kareyi video’da işlemez ve kaynağın yüzü yerine hedefin yüzü kalır.
Bu aşamada kaynak aşamalarından farklı olarak bir de maskeleme var. Hedefin yüzüne gelen herhangi bir şeyi, maskeleme ile çıkartarak, yapay zekanın oraya kaynak yüzü yapıştırmamasını sağlıyorum. Ayıklanan yüzleri tek tek kontrol ederek yaptığım için bayağı zaman alıyor ama sonucun kalitesi için önemli bir adım.
Kaynak ve hedef yüzler ile işim bittiğinde işin geri kalanını artık yapay zeka yapıyor. 6. Aşamayı çalıştırdığımda önüme birçok ayar çıkıyor, burada yaptığım ayarlar, deepfake’in kalitesinde önemli rol oynuyor. Detaya girmicem ama merak eden olursa daha detaylı anlattığım bir video hazırlayabilirim.
Solda kaynağın yüzü, ortada hedefin yüzü, sağda ise yapay zekanın kaynağın yüzünü hedefin yüzüne kopyaladığı halinin bir önizlemesi var. İteration sayısı, yapay zekanın her bir resmi karşılaştırarak öğrenme sayısını gösteriyor. İteration ne kadar çok olursa sonuç da o kadar iyi oluyor.
Yapay zekanın bir modeli, yani burada Anne’in yüzü oluyor, ilk defa öğrendiğinde gördüğünüz gibi hiçbir şey belli olmuyor. İteration sayısı arttıkça yüz şekli belirginleşmeye başlıyor. Modeli bir defa öğrendikten sonra aynı modeli ikinci bir projede kullanmak isterseniz, 2-3 gün çalıştırmanıza gerek kalmıyor. Daha önceden 170bin iteration çalıştırdığım bir Anne modelini tekrar kullanabiliyorum. Bu sefer yapay zekanın sadece hedef videodaki yüzü öğrenmesi gerekiyor. Anne’in yüzü Elçin Sangu’ya benzediği için biraz şanslıyım.
7. aşamada artık kare kare yüzün yerleştirilmiş halini görebiliyorum. Bu aşamada yaptığım ayarlar sonuç için çok önemli, çünkü sahneler arasında ışık farkı olduğundan her kare veya sahne için farklı ayarlar seçmem gerekebiliyor. 2 dakikalık bir videoda yaklaşık 3 binden fazla kare olduğunu düşündüğümüzde bu aşama da diğerleri gibi bayağı zaman alıyor. Bu da bittikten sonra 8. aşamayı çalıştırıyorum ve Deepfacelab’deki işim bitmiş oluyor.
Adobe Premiere’de ise müzik ve altyazı gibi kurgu işlerini hallettikten sonra videom son halini almış oluyor.
Eğer sizde denemek isterseniz programın linki açıklamada mevcut. Programı kullanmak için güçlü bir işlemci ve en az 6gb ramli bir ekran kartına ihtiyacınız olduğunu unutmayın. Tabi hepsinden sabırlı olmak gerekiyor. İstediğiniz sonuçları ilk denemede alamayabilirsiniz. Deneme yaptıkça edindiğiniz tecrübelerle daha iyisini yapabilirsiniz. Bu videoda çok detaya girmedim ama eğer detaylı bir anlatım videosu isterseniz lütfen yorumlarda belirtin, elimden geldiğince yardımcı olmaya çalışırım. Görüşmek üzere.