Video Kodlayıcılar  – Multimedya Bölümü – Multimedya Bölümü Ödevleri – Multimedya Bölümü Tez Yaptırma –Multimedya Bölümü Ödev Ücretleri

Video Kodlama için Algısal Semantik

Semantik segmentasyondan yararlanan bir video kodlayıcı, bant genişliği gereksinimleri ve düşük bit hızlarında görsel kalite açısından video sıkıştırma verimliliğinin geliştirilmesini kolaylaştırır.

Kodlayıcı, semantik ayrıştırmayı kullanarak, bir çerçevenin ilgili ve ilgili olmayan bölümlerini farklı şekilde kodlamak için davranışını uyarlayabilir. Bu uyarlama, kodlamadan önce videoyu semantik olarak önceden filtreleyerek geleneksel bir çerçeve tabanlı kodlayıcı ile elde edilebilir.

Video Kodlayıcılar

Anlamsal ön filtreleme, MPEG-1 gibi geleneksel bir çerçeve tabanlı kodlama çerçevesindeki anlambilimden yararlanılarak elde edilir. Burada semantik ön filtreleme olarak anılan, sahnenin kodlamadan önce anlamlı nesnelere ayrıştırılmasının kullanılması, düşük bant genişliği iletimini desteklemeye yardımcı olur.

İlgi alanı olarak ön plan sınıfına ait alanlar kullanılır. İlgi alanına dahil olmayan alanların önemi, alçak geçiren bir filtre kullanılarak azaltılır. İkinci çözüm, temel bağlamsal bilgileri korurken arka plandaki bilgileri basitleştirir.

Arka planın basitleştirilmesi, kodlanacak bilgilerin azaltılmasına izin verir. İlgili nesneleri geliştirmek için basitleştirilmiş bir arka planın kullanılması, sıkıştırma oranlarını iyileştirmek için insan görsel sisteminin göreve yönelik davranışından yararlanmayı amaçlar.

Bildirilen çalışma, bir görüntünün ilgili alanlarının kalitesindeki artışın, görüntü arka planının kalitesindeki düşüşü fazlasıyla telafi ettiğinde, görüntü kalitesinde genel bir artışın elde edilebileceğini göstermektedir. Yüksek seviyeli semantik ipuçları kullanarak retinada foveasyon nedeniyle oluşan bulanıklığı taklit etmeyi amaçlayan bu çözümün bir örneği rapor edilmiştir.

Kodlamadan önce bir görüntünün daha az ilgili kısımlarını dikkate almanın başka bir yolu, kodlama algoritmasının özelliklerinden yararlanmaktır. Blok tabanlı kodlama durumunda, her arka plan makro bloğu yalnızca DC değeriyle değiştirilebilir. Bu yaklaşım aynı zamanda frekans azaltma ve ayrıntı kaybı etkisine sahip olsa da, videoda kabul edilemeyecek kadar güçlü engelleme yapaylıklarına yol açabilir.

Alternatif bir yaklaşım, nesne tabanlı kodlama kullanmaktır. Böyle bir durumda, kodlayıcının, MPEG-4, nesne tabanlı mod gibi, ayrı video nesnelerinin kodlanmasını desteklemesi gerekir. Bu çözümle, her bir video nesnesi, sahnedeki önemine göre farklı bir nesne sınıfına atanır.

Kodlama kalitesi, nesne sınıfına bağlı olarak ayarlanabilir: uygunluk ne kadar yüksekse, kodlama kalitesi de o kadar yüksek olur. Bu yaklaşımın bir avantajı, nesnelerin sıralamasını kontrol etme olasılığıdır. Video nesneleri, farklı sıkıştırma dereceleriyle kodlanabilir, böylece videoda izleyicinin daha çok ilgisini çeken alanlar için daha iyi ayrıntı düzeyi sağlanır.

Ayrıca, nesnelerin öncelik sırasına göre kodu çözülebilir ve ilgili içerik, görüntünün tamamını yeniden oluşturmak zorunda kalmadan görüntülenebilir.

Son olarak, hareketli karakter kodlaması, arka planı temsil eden bir görüntü alıcıya bir kez gönderildiğinde ve ardından nesneler kodlanıp alıcı tarafında arka planın uygun bir kısmı ile birleştirildiğinde kullanılabilir. Ancak bu çözümler, segmentasyondan sonra nesnelerin izlenmesini gerektirir, bu da yaklaşımın karmaşıklığını artırır.

h264 vs h.265 arasındaki fark
h264 h.265 nedir
H265 Nedir
Xiaomi video kodlayıcı
Video encoder nedir
H.265 oynatıcı
h.265 kayıt cihazı
Hevc nedir

Sunulan sonuçlar, anlamsal ön filtrelemenin çerçeve tabanlı bir kodlayıcının kodlama performansı üzerindeki etkisini göstermektedir. Örnek sonuçları, MPEG-4 test dizisi Hall Monitor’den ve MPEG-7 test dizisi Highway’den gösterilir.

Her iki sekans da 25 Hz’de CIF formatındadır. Arka plan, μ=0 ve σ=2 olan bir Gauss 9×9 düşük geçiş filtresi kullanılarak basitleştirilmiştir; burada μ ve σ, sırasıyla filtrenin ortalama ve standart sapmasıdır. Kodlama için sabit bit hızı (CBR) hız kontrolü kullanan TMPGEnc 2.521.58.169 kodlayıcı kullanıldı.

Semantik ön filtreleme ile ve olmadan 150 kbit/s’de MPEG-1 ile kodlanmış her bir test dizisinden bir örnek çerçeve gösterir. 150 kbit/s’de MPEG–1 ile kodlanmış her iki test dizisinin büyütülmüş alıntılarını göstermektedir.

Otoyol dizisinin başında sahneye giren mavi bir kamyonu gösterir. Kodlama yapıları nesne üzerinde daha az rahatsız edicidir.

Ayrıca, kamyonun ön sol tekerleği yalnızca semantik ön filtreleme ile görülebilir. Hall Monitor sekansında monitör taşıyan kişiyi gösteren benzer gözlemler yapılabilir.

Kodlama yapılarının miktarı, gösterildiği gibi semantik ön filtreleme ile önemli ölçüde azaltılır. Özellikle kişinin yüz hatları ve kıyafetleri net bir şekilde görülmekte, halbuki kodlama yapaylıkları ile bozulmaktadır.

Video Kalitesi Değerlendirmesi için Algısal Semantik

Semantik bölümlendirmeye dayalı bir kalite ölçüsü, multimedya bilgilerinin daha iyi bir şekilde iletilmesi için algısal gereksinimleri dahil etmeyi amaçlayan uçtan uca iletişim mimarileri için yararlıdır.

Tepe sinyal-gürültü oranından (PSNR) daha yüksek doğrulukla otomatik bir görsel kalite metriği kullanarak sübjektif derecelendirmeleri tahmin etmek, son yıllarda pek çok araştırmanın konusu olmuştur. Bununla birlikte, bugünün ölçümlerinden hiçbiri öznel deneylerin güvenilirliğini tam olarak sağlayamıyor.

Algısal kalite metrik tasarımı için iki yaklaşım ayırt edilebilir: Bir metrik sınıfı, retinada ve erken görsel kortekste genel bir düşük seviyeli görsel işleme modeli uygular.

Bu sınıftaki metrikler, genellikle fark analizi için referans videoya erişim gerektirir. Diğer metrik sınıfı, görüntüdeki belirli özellikleri arar, örneğin, belirli bir codec bileşeninden kaynaklanan sıkıştırma yapıları ve rahatsızlıklarını tahmin eder.

Algısal anlambilimin her iki metrik sınıfıyla kullanımını göstermek için burada her sınıftan belirli bir uygulamayı açıklıyoruz. İlki, bir görme modeline dayanan tam referanslı bir algısal bozulma metriğidir (PDM) ve ikincisi, ortak yapıların analizine dayalı, referanssız bir video kalitesi metriğidir. Bunlar daha sonra daha iyi bir tahmin performansı elde etmek için algısal semantik ile birleştirilir.

Tam Referans 

Tam referanslı PDM, renk algısının yanı sıra görmenin uzamsal ve zamansal yönlerini içeren insan görsel sisteminin bir kontrast kazanç kontrol modeline dayanır. Bu metriğin bir blok diyagramı gösterilmektedir. Metrik, girdi olarak hem test dizisini hem de karşılık gelen referans dizisini gerektirir.

Giriş videoları önce YUV veya RGB’den, renk bilgilerinin algısal temsiline daha yakın olan bir rakip renk uzayına dönüştürülür. Ortaya çıkan üç bileşenin her biri daha sonra bir filtre bankası olarak uygulanan bir uzay-zamansal ayrışmaya tabi tutulur.

Bu, görsel sistemdeki giriş sinyallerini renklerine, frekanslarına, yönelimlerine ve diğer özelliklerine göre ayıran farklı mekanizmaları taklit eder. Her kanalın bilgi hassasiyeti farklıdır, bu nedenle kanallar kontrast hassasiyet verilerine göre ağırlıklandırılmıştır.

Sonraki kontrast kazancı kontrol aşaması, bozulmaların görünürlüğü büyük ölçüde yerel arka plana bağlı olduğundan, video kalite değerlendirmesinin en kritik bileşenlerinden biri olan model maskelemeyi modeller.

Maskeleme, aynı algısal kanalda bulunan uyaranlar arasında en güçlüdür ve farklı özelliklere sahip uyaranlar için zayıflar. Algısal ayrışma, bu kanal içi ve kanallar arası maskeleme etkilerinin çoğunu hesaba katmamıza izin verir. Kontrast kazancı kontrolü sürecinde, çeşitli algısal kanalların engelleyici etkisiyle maskeleme gerçekleşir.

Kontrast kazancı kontrol aşamasının çıktısında, referans ve test videosu arasındaki farklar her kanal için hesaplanır ve daha sonra olasılık toplama kurallarına göre bir bozulma ölçüsü veya kalite derecelendirmesi halinde birleştirilir.

Makale Deniz

Biyografinin Tamamını Gör