Ses ve Müzik Hesaplamaları alanı müziği ve müziğin işleyiş şeklini anlamak ve modellemek üzerine odaklanmıştır. Bu alanın temel amacı ses ve yapı algısından insanların müzikle ilişkilendirdikleri yüksek seviyedeki müzikal kavramları anlama yolunda gerçeğe en yakın ve etkili hesaplama modelleri geliştirmektir. Bu tarz bir araştırma, olguları birbirinden ayrı duran parçalara ve boyutlara ayırıp bunları kendi başlarına incelediği için nicel-analitik ve özünde indirgemecidir. Örneğin müzik algısı ile ilgili modellemelerde, ritmik bölütleme, melodi tanımlama, armoni çıkarımı gibi konuların az çok katı sınırlar içine alınmış hesaplamalı modeleri geliştirilmektedir. Böyle bir yaklaşım müziğin farklı boyutlarını (örneğin, ses ve tını, ritim, melodi, armoni, armonik ritim, ve algılanan bölüt yapısı arasındaki ilişkileri) göz ardı eder ve bunlardan yararlanma konusunda başarısız olur. Hesaplamalı müzik algısında bir “kuantum sıçraması,” ancak müziğin farklı yanları arasındaki karmaşık etkileşimi ele almaya (en azından ucundan) başlayan çokboyutlu modellere doğru yönelirsek mümkün olacakmış gibi görünüyor. 

Müzik ses işaretlerinden anlayıp çıkarabileceklerimiz ve insanların müzikle ilişkilendirdikleri semantik olarak anlamlı yüksek seviye kavramlar arasında halen çok geniş bir uçurum vardır. Bu “semantik uçurumu”, örneğin makine öğrenmesi ile kapatmaya yönelik çalışmalar, bize ancak çok az bir ilerleme sağlayabilir. Bu ilerleme eksikliğinin temel sebeplerinden biri, özelliklerin ses sinyallerinden çıkarıldığı ve daha yüksek seviyedeki özelliklerin de bu çıkarılan özelliklerin analiz edilip bir araya getirilerek hesaplandığı, oldukça katı bir aşağıdan yukarı yaklaşımın uygulanıyor olması gibi görünmektedir. Bu yetersizlik son yıllarda giderek çok daha fazla farkedilmektedir ve önümüzdeki yıllarda müzik algısı modellerinde yüksek seviye beklentiler (örneğin Huron, 2006) ve müzikal bilginin birleştirilmesi konusunda artan bir eğilim olacaktır. Sonuç olarak bu durum müzikologlar, psikologlar ve diğer alanlardan bilim insanlarının bu alana girip değerli bilgileri ile bu alana katkıda bulunmaları için çok önemli bir fırsattır.

Müziği 'anlamak', ses dalgalarını başlangıç, nota, melodi ve armoni gibi yüksek seviye nesneler halinde bölütleyerek deşifre etmekten çok daha fazlasıdır. Müzik, kendisinin yorumlanışı ve kategorizasyonunu etkileyen zengin bir kültürel, tarihi, ticari ve sosyal ağ içerisinde sarmalanmıştır. Yani dinleyiciler tarafından bir müzik parçasına atfedilen nitelikler yalnızca ses sinyalleri ile izah edilemez. Bu nedenle yüksek kalitede bir otomatik müzik tanımlaması ve anlayışı ancak müziğin dışındaki bilgi kaynaklarını da hesaba katarak geliştirilebilir. Bugün Müzik bilgi erişim (MIR) alanında yapılan araştırmalarda, interneti müzik hakkında sosyal bilgi kaynağı olarak kullanarak bu yöndeki ilk adımlar dikkatlice atılmaya başlamıştır. Müzikteki bu bağlamsal yönleri modelleme amaçlı daha sistematik pek çok araştırmanın yapılacağı beklenmektedir.

Müzik araştırmalarında bugünkü durumu saptamaya, hesaplamalı müzik modelleme konusundaki yaklaşımlar arasındaki farkları ortaya koyarak başlayabiliriz (bkz. diyagram). Bu yaklaşımlardan en yaygın kullanılanı, öncelikle bilgi modellemeye dayanan ve bu sebeple de bu modelleri geliştirmek için makine öğrenmesi ve sinyal işlemeyi kullanan Müzik Bilgi İşleme yaklaşımıdır. Hesaplamalı Müzikoloji, sistemli bir formalizasyonla, teorinin kendisini, varsayımlarını ve kapsamını anlamamıza yardım edecek, müzik kuramını temel alan modeller geliştirir. Başka bir yaklaşım olan Bilişsel Müzikoloji ise müziksel biliş ile ilgili teoriler inşa etmeyi hedefler. Burada amaç müzik dinleme ve icradaki müzikal algıyı, dinleme ve icradaki zihinsel süreçleri formalize ederek anlamaktır. Son olarak, İnsan-Bilgisayar Etkileşimi alanında Müzik Etkileşim konusundaki araştırmaları ve yeni bir paradigma olan kültürel hesaplamayı, kullanıcı ve onun içinde bulunduğu bağlamı müzik modelleme döngüsüne sokmak için kullanabiliriz.

 

 

Müzik bilgi İşleme

Müzik ve müzikal bilgilerin formal tanımlanması konusunda Müzik Bilgi Erişim (MIR) (Orio, 2006) alanındaki araştırmaları iki farklı eğilim şekillendirmektedir. Bir yanda sembolik tanımlamalar yalnızca nota, süreler, vuruşlar, ritim ve melodi kalıpları, armoni, ya da yapısal ilişkiler gibi müzikal kavramlarının soyut temsillerine odaklanabilmek için bütün ses sinyal analizlerini veya dinleyici davranışlarını göz ardı eder. Öte yandan işitsel içeriğin ve bağlamın tanımlanmasına dayanan yaklaşım ses, metin ve davranışa ait bilgiyi müziği tanımlama şekillerini çıkarsamak ve nitelemek için bir veri olarak kullanır. [Casey et al., 2008].

Ses içeriği işleme üzerine yapılan araştırmalarda, bilgi temelli işleme ile yukarıdan aşağıya işleme hızla gelişmektedir [Klapuri & Davy, 2006] ve bu projemizle yakından ilgilidir. Ayrıca multimodal işleme, kullanıcı profilleme ve müzik ontolojileri [Raimond, 2008] konuları da bu projede çok önemli yer tutmaktadır.

Tzanetakis et al. [2007] hesaplamalı etnomüzikoloji kavramını, etnomüzikolojik çalışmalarda bilgisayar araçlarının kullanılmasını ifade etmek için ortaya atmışlardır. Makalelerinde çokdisiplinli araştırma konusunda bazı fikirler sunmuşlar ve spesifik örnekler vermişlerdir. O günden beri bu başlık altındaki araştırmaların giderek arttığına şahit oluyoruz.

Hesaplamalı müzikoloji

Müziği anlamak yolunda teknolojilerimizi ilerletmek istiyorsak müzik terimleri ile ilgili "yukarıdan aşağıya" bir bilgiye kesinlikle ihtiyacımız vardır. Bu bilgi hesaplamalı uygulamalarda dil temelli modeller, müzik teorisi ile ilgili kavramlar üzerinden çeşitli şekillerde sağlanabilir. Sistematik müzikolojinin günümüzde en temel iddialarından bir tanesi, müziğin insanlar tarafından etiketlenmesi/açıklanması alanında da ileri sürülmüş olduğu gibi [Lesaffre, 2005] , kullanıcı merkezli ve eylem odaklı tavrın desteklenmesine duyulan ihtiyaçtır. Müzikolojik metodolojiler, bilgi erişimsel semantik uçurumun kendi kendine direttiği ve farkına varamadığımız kısıtlamalara çözümler getirebilir [Wiggins, 2009]. Örneğin bazı spesifik uygulamalarda etiketlemenin kesinlikle analizin hedefi ve niyetlerine bağımlı olduğu ve bugün karşımızda bulunan değerlendirme sorunlarının pek çoğunun aslında konunun uzmanı olmayanlar tarafından evrensel kurallar gibi kabul edilerek yanlış yorumlanan, standardize edilmiş ve sabit bazı temel gerçeklerin dayatılması sebebiyle ortaya çıktığı, müzik etiketlemede/açıklamada karşılaşılan problemler konusunda giderek daha fazla kabul görmektedir. Etnomüzikoloji alanında yıllardır süren müzik transkripsiyonu ve transnotasyonu konusundaki analiz ve alan araştırmaları notasyon ile analitik hedefler /niyetler arasındaki zorunlu ilişkiyi desteklemektedir [Barz and Cooley, 2008].

Müzik çalışmalarında formalizasyon, test edilebilirlik ve yanlışlanabilirlik kavramlarının rolü giderek artmaktadır. Müzik teorisi, linguistik, ve sistematik müzikolojiden müzik teknolojisi ve müzik psikolojisine kadar çok çeşitli disiplinler içinde test edilmiş ve detaylandırılmış olan oldukça formalize edilmiş bir çerçeve olarak Tonal Pitch Space Teorisi bu açıdan çarpıcı bir örnek teşkil eder [Lerdahl, 2001]. Bu teorinin en güçlü potansiyellerinden bir tanesi ise sosyal bilimler alanındaki araştırmalara dayanan paradigmalar üzerine kurulmuş olan metodolojik faydalarıdır. Ne yazık ki, Batı dışı müziklere çok daha uygun olabilecek, Tonal olmayan müziklere uygulanabilecek, Lerdahl'in teorisi gibi bir teori henüz yoktur.

Müzikoloji araştırmalarında Batı dışı müziklere özellikle uygulanabilecek alan, icra analizleri üzerinde çalışmaktır[Gabrielsson, 2003]. Tarihsel olarak icra üzerine yapılacak olan araştırma ifadede müzikal yazımdan "sapma" tarzlarının altında yatan genel prensipleri bulmaya odaklanmıştır fakat son zamanlarda bu doğaçlama müziği de içine alacak şekilde genişlemiştir. Müzikal icrayı anlamak için çeşitli yaklaşım ve disiplinleri birleştirmek gerekir (müzikoloji, makine öğrenmesi, psikoloji ve bilişsel bilimler).

Bilişsel müzikoloji

Müzikal kavramları, belirli müzik-kültürel çevrelere maruz kalındığında oluşan bilişsel süreçlerin sonuçları olarak düşünebiliriz. Bu tarz bir yaklaşım bilişin özünde değişken bir şey olduğunu kabul ederek işe başlar. Sabit bir özellik olmaktan çok, bilişsel davranış kişinin çevresiyle girdiği sürekli bir etkileşimin gelişimsel bir sürecinin sonucudur. Bu bakış açısında algı edilgen bir şekilde bilgiyi alımlama durumu değil, bilişin temel bir öğesi olan etkin bir süreçtir. [Purwins et al., 2008a; Leman, 2008].

Müziğin kavranmasında (cognition of music) kategori ve şemaların öğrenilmesi önemli yüksek seviye süreçlerdir. Kategoriler belli bağlamlarda belli bir şekilde ilişkili olan müzikal öğe grupları yaratmaya yardımcı olan kavramsal araçlardır. Birkaç müzikal öğe (örn. notalar, cümleler, articulations vb.) bir grup ortak özellik paylaştığında veya benzerlikler gösterdiklerinde aynı kategoride olmaya adaydırlar. (örn. “C#”, “g–minor”, “Frigyen dizisi”, “appoggiatura”). Algısal kategorilerin şekillenmesi konusunda birkaç hesaplamalı yaklaşım vardır. Marxer et al. [2007] diziler, motifler ve armoni kategorilerinin ortaya çıkışını modellemek için hiyerarşik gruplama modelini kullanmıştır. Mandler [1979] şemayı "nesnelerle, sahnelerle, veya olaylarla ilgili geçmiş deneyimler üzerine kurulmuş, şeylerin nasıl görünmesi veya hangi sırayla gerçekleşmesi gerektiklerine dair (genellikle bilinçdışı) beklentiler üzerine kurulu olan" bilgisel bir yapı olarak tanımlar. Örneğin, tonal şema melodik materyalin tekrar edilmesi deneyimi ile şekillenir. Hesaplamalı bakış açısından yaklaşıldığında, çerçeve, yazı, duruma bağlı kurallar veya kendi kendini organize eden özellikler şablonu gibi uygulamaların gerçeklenmesi genel şemayı oluşturmaktadır [Purwins et al., 2008b].

Müzikle ortaya çıkan duygusal tepkilerin altında yatan mekanizmalar Juslin and Västfjäll [2008] tarafından incelenmiştir. Circumplex duygulanım modelinde [Russell, 1980], duygunun hoşluk veya uyarılma boyutlarını kapsadığı ve ayrıca kültüre bağlı olduğu ispatlanmıştır. [Russel et al., 1989]. Müzik-dışı bağlam (örn. kişisel, sosyal, politik, ekonomik) semantik bir ağ olarak temsil edilebilir [Cano et al., 2004] ve matematiksel olarak dinamik bir sistem olarak modellenebilir [Newman, 2003].

Müzikal etkileşim

Kültürü insan davranışlarının tutumları, normları, değerleri, inançları, eylemleri, iletişimleri ve grupları (etnik, dini, sosyal, vb) içeren bir toplamı olarak düşünürsek, kültürel hesaplama dediğimiz yeni paradigma kullanıcıya kendi kültürünün özünde bulunan çeşitli yönleriyle ilişkili bir etkileşim deneyimi sunmaya çalışır. Dolayısıyla müzik etkileşimi konusunda, kullanıcıya müziğin içeriği ile kendi kültürünün değerleri ve atfettiklerini kullanarak haşır neşir olmasını sağlayacak arayüzler geliştirmeliyiz. Bu açıdan, kişinin kültürel belirleyicilerinin anlaşılması ve bunların etkileşim sırasında nasıl sunulması gerektiğinin anlaşılması büyük önem taşımaktadır [Salem & Rauterberg, 2005]. Hangi tip etkileşim deneyimlerinin en destekleyici imkana sahip olduğunu tespit etmek [Nakatsu et al., 2005] ve tipik Batılı analitik akıl yürütme ve formal mantıktan farklı olarak ne tür bir yaklaşım geliştirmemiz gerektiğini anlamak da önem taşımaktadır [Nisbett et al., 2001].

Müziğin keşfedilmesi gibi karmaşık bir olgu karmaşık arayüzlerin kullanılmasını gerektirmektedir. Fakat bu arayüzlerin hem ileri seviyedeki hem de yeni başlayan kullanıcılar tarafından kullanılabilir nitelikte olması gerekir. Masa üstü arayüzler üzerine yapılan çalışmalar (özellikle bir müzikal arayüz olan Reactable üzerine yapılan çalışmalar) [Jordà et al., 2007] müzik araştırmalarında kullanılabilecek arayüzlerin geliştirilmesi için iyi bir başlangıç noktası sağlamıştır [Julià and Jordà, 2009; Roy et al., 2004]. Masaüstü arayüzler çok boyutlu, süreğen ve gerçek zamanlı etkileşimi, keşfi ve çok kullanıcılı işbirliğini desteklemektedir. Bu arayüzler çift yönlü bant genişliğini maksimize etme imkanı verirken incelikli ve yakın bir etkileşime katkıda bulunur, görsel geribildirim ve fiziksel kontrolün kesintisiz bütünlüğü ile daha doğal ve doğrudan bir etkileşime olanak sağlar.