İçerik Füzyonu – Multimedya Bölümü – Multimedya Bölümü Ödevleri – Multimedya Bölümü Tez Yaptırma –Multimedya Bölümü Ödev Ücretleri

Sinerjik Bağlam ve İçerik Füzyonu

Şimdiye kadar, sorgu kavramı öğrenme sorununu ele aldık: bir kavramı tasvir etmek için algısal özelliklerin doğru kombinasyonunun nasıl bulunacağı. Metin tabanlı aramalar sağlamak için resimlerde anahtar kelimelerin nasıl etiketlenebileceğini tartışmadık. Yalnızca algısal özellikler kullanılarak, belirli semantikler tasvir edilemez (algısal özellikler örneğin nerede, ne zaman veya kim olduğunu güvenilir bir şekilde söyleyemez).

Anahtar kelime ek açıklaması, algısal özellikleri tamamlayıcı olabilir. Bu bölümde, “resme” anahtar kelime açıklamasını getirerek tartışmamızın kapsamını genişletiyoruz. İlk olarak, resimler için anahtar kelimelerin nasıl yarı otomatik olarak sağlanabileceğini tartışacağız; daha sonra içerik ve bağlamın (kısaca tanımlanmıştır) görüntü organizasyonunu ve erişim kalitesini iyileştirmek için nasıl etkili bir şekilde birleştirilebileceğini tartışıyoruz.

Görsellere Anahtar Kelimeler Uygulamak

Geleneksel anahtar kelime ek açıklaması, insanlar tarafından manuel olarak veya ek açıklamayı açıklamalı resimlerden açıklamasız resimlere görüntü içeriği yoluyla yayan istatistiksel yöntemlerle gerçekleştirildi. Yarı otomatik not alma konusunda ilerleme kaydedilmesine rağmen, elde edilen kalite tatmin edici olmaktan uzaktır.

En az birkaç engel, görüntü açıklamasını zorlaştırır. İlk olarak, görüntüler değişen çevresel koşullar altında (örn. aydınlatma, hareketler vb.) ve çeşitli çözünürlüklerde alınır. İki farklı kamera modeliyle, iki farklı açıdan ve günün farklı saatlerinde çekilen aynı Eyfel Kulesi fotoğrafları yanlış etiketlenebilecek kadar farklı görünüyor.

Bu nedenle, görüntü içeriği yoluyla anahtar kelime yayılımı güvenilmez olabilir. İkincisi, bazı ilerlemeler kaydedilmiş olsa da, öngörülebilir gelecekte güvenilir nesne bölümleme elde edilemez. Nesneleri yüksek doğrulukla segmentlere ayırabildiğimizde, nesneleri tanımak daha kolay olacaktır.

Neyse ki, son donanım gelişmeleri yardımcı olmaya başlıyor. Kameralı telefonlardaki lenslerdeki gelişmelerle birlikte, birçok uzman kameralı telefonların birkaç yıl içinde dijital ve filmli kameraların yerini alacağına inanıyor.

Zamanı, yeri ve sesi kaydetme ve kamera parametrelerini (fotoğraf çekimi sırasında çevresel özellikleri söyleyebilen) sağlama yeteneğine sahip bir kamera, yüksek kaliteli otomatik açıklama elde etmek için iyimserliğin yenilenmesini sunar.

Semantik etiketler kabaca iki kategoriye ayrılabilir: wh etiketleri ve wh olmayan etiketler. Wh-semantiği şunları içerir: zaman (ne zaman), insanlar (kim), konum (nerede), yer işaretleri (ne) ve olay (ne zaman, kim, nerede ve neyden çıkarsanan). Ne zaman ve nerede bilgi vermek önemsizdir.

Zaten kameralar zaman sağlayabilir ve GPS veya CellID’den kolayca konum çıkarabiliriz. Ancak, neyin ve kimin belirlendiğinin belirlenmesi, zaman, konum ve fotoğraf içeriğine ek olarak bağlamsal bilgileri de gerektirir. Daha kesin olarak, kameralar tarafından sağlanan bağlamsal bilgiler arasında zaman, konum, kamera parametreleri, kullanıcı profili ve ses yer alır.

Tıpta füzyon Ne Demek
Füzyon nedir
Füzyon reaktörü nedir
Fisyon ve füzyon
Füzyon tip
Fisyon ve füzyon fiziğin hangi alt dalı
Füzyon reaktörü yapımı
Füzyon mutfağı

Görüntülerin içeriği, bütünsel özellikler (bir görüntünün renk, şekil ve doku özellikleri) ve yerel özellikler (bir görüntüdeki bölgelerin veya nesnelerin kenarları ve belirgin noktaları) olarak kategorize edilebilen algısal özelliklerden oluşur.

Bağlam ve içeriğin yanı sıra, (büyük ölçüde göz ardı edilen) bir diğer önemli bilgi kaynağı da (bizim anlamsal ontoloji olarak adlandırdığımız) anlamsal etiketler arasındaki ilişkilerdir.

Anlamsal bir ontolojiye sahip olmanın önemini açıklamak için, iki anlamsal etiketi olan bir örneği ele alalım: dış mekan ve gün batımı. Yalnızca bağlamsal bilgileri dikkate alırken, dış mekan etiketini kamera parametrelerinden çıkarabiliriz: odak uzaklığı ve aydınlatma durumu.

Gün batımını zaman ve mekandan çıkarabiliriz. Dış mekan ve gün batımı çıkarımlarının herhangi bir ortak bağlamsal modaliteye dayanmadığına dikkat edin. Bununla birlikte, bir gün batımı fotoğrafının kesinlikle dış mekan olduğunu söyleyebiliriz (ama tersi değil). Etiketler arasındaki anlamsal ilişkileri göz önünde bulundurarak, fotoğraf açıklamaları bağlamsal bilgilerden “geçişli” bir şekilde yararlanabilir.

Bağlam, içerik ve semantik ontolojiyi sinerjik bir şekilde birleştirmek için fotoğraflar için anlamsal etiketler oluşturmaya yönelik bir çıkarım çerçevesi olan EXTENT’i önerdi. EXTENT, semantik çıkarım yapmak için bir etki diyagramı kullanır. Diyagramdaki değişkenler, karar değişkenleri (yani nedenler) veya şans değişkenleri veya (yani etkiler) olabilir. Görüntü açıklaması için karar değişkenleri arasında zaman, konum, kullanıcı profili ve kamera parametreleri bulunur.

Şans değişkenleri semantik etiketlerdir. Ancak, bazı değişkenler her iki rolü de oynayabilir. Örneğin, zaman bazı kamera parametrelerini (pozlama süresi ve flaş açık/kapalı gibi) etkileyebilir ve dolayısıyla bu kamera parametreleri hem karar hem de şans değişkenleridir. Son olarak, etki diyagramı, karar değişkenlerini şans değişkenleri ile nedensel güç tarafından ağırlıklandırılmış yaylarla birleştirir.

Bir etki diyagramı oluşturmak için hem alan bilgisine hem de verilere güveniriz. Genel olarak, verilerden böyle bir olasılıksal grafik modeli öğrenmek NP zor bir problemdir.

Neyse ki, görüntü açıklamaları için bağlam, içerik ve anlamsal etiketler arasındaki ilişkiler hakkında bol miktarda ön bilgiye sahibiz ve bunları doğru modeli aramak için hipotez alanını önemli ölçüde azaltmak için kullanabiliriz. Örneğin, zaman, konum ve kullanıcı profili birbirinden bağımsızdır (şemada aralarında yay yoktur).

Pozlama süresi ve flaş açık/kapalı gibi kamera parametreleri zamana bağlıdır, ancak diğer modalitelerden bağımsızdır (dolayısıyla bazı sabit yaylar belirlenebilir). Anlamsal ontoloji bize kelimeler arasındaki ilişkileri de sağlar. Verilerden öğrenmemiz gereken yegane nedensel ilişkiler, bağlam/içerik ve anlamsal etiketler (ve bunların nedensel güçleri) arasındaki ilişkilerdir.

Füzyon modelimizin gücünü göstermek için algoritmamız tarafından oluşturulan bir model kullanalım. İki semantik etiket için öğrenilen diyagramı gösterir: dış mekan ve gün batımı. Değişkenler arasındaki ve değişkenler ile etiketler arasındaki nedensel ilişkileri gösteren yaylara ek olarak, dış mekan ve gün batımı arasındaki ilişkinin de kodlanabileceğini de görüyoruz.

Makale Deniz

Biyografinin Tamamını Gör