Bu süreç boyunca elde bulunan eğitim kümesinden veri ambarı tasarımı yapılması hedeflenir. Kelime bazlı frekans hesabı yapılır, kelime kümesi seçilir, seçilen küme ayrı bir tabloda saklanır ve kaynak olarak kullanılır. Veri ambarı söz konusu 2 tablo yardımıyla meydana getirilir ve süreç sonucunda artık veri algoritma girdisi olarak hazır hale gelmiş olur.

Bu adımı gerçekleştirmek üzere bir frekans tablosu yaratılır ve bu tabloya PHP çatımız yardımıyla oluşturulan fonksiyonlar sayesinde kelimeler eklenir. Fonksiyon her bir girdi metnini alıp boşluklara göre kelimelere böler, girdinin her bir kelimesini frekans tablosunda arar, varsa sayısını güncelleyerek bir arttırır yoksa tabloya ekleyerek bir sonraki kelimeye geçer. Kelime seçimi yaparken karar verme açısından yardımcı olsun diye her bir kelime için hangi analizde kaç tane geçtiği bilgisi de tutulur. Bu işlevler yönetim paneline kazandırılır.

CREATE TABLE `words_frequency` (
`id` int(11) NOT NULL,
`word` varchar(50) NOT NULL,
`count` int(11) NOT NULL DEFAULT '0',
`count_n` int(11) NOT NULL DEFAULT '0',
`count_h` int(11) NOT NULL DEFAULT '0',
`count_u` int(11) NOT NULL DEFAULT '0'
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

public function update_frequencies()
{
$data['chosen_entries'] = $this->Entry_Model->get_chosen_entries();
foreach ($data['chosen_entries'] as $row){
$entry_words = explode(' ', $row->content_text);
$entry_words = array_unique($entry_words);
foreach ($entry_words as $word) {
if($this->Word_Model->is_adready_inserted($word))
$this->Word_Model->count_up_word_f($word, $row->analysis);
else
$this->Word_Model->insert_word_f($word, $row->analysis);
}
}
redirect('');
}

Çizelge: Frekans tablosundaki bazı kayıtlar.

Bu çalışmada 8 çekirdekli bir bilgisayarda saatlerce frekans hesabı yapıldıktan sonra frekans tablosunda yaklaşık 100.000 kelime yer almış ve bunların arasından yaklaşık 63.000’i sadece bir kez geçmiş olduğu saptanmıştır.

Duygu Ağırlıklı Kelimelerin Seçimi

Veri ambarı tasarımı hedefine adım adım yaklaşırken duygu ağırlıklı kelimeleri seçmek için bir kaynak oluşturuldu. Bu kaynaktan yararlanarak kelimeler seçilir ve yeni bir seçilmiş kelime tablosu oluşturulur.

Frekans tablosu “COUNT” kolonunun değeriyle büyükten küçüğe doğru sıralanır ve Mysql Workbench yardımıyla Excel CSV dosyası olarak çıktı alınır. Alınan bu çıktı içerisindeki kelimelerden, araştırmacı ve sözlüğü kullanan kişilerden oluşan bir takım mutlu veya mutsuz gibi polar ağırlıkları olan kelimeleri tartışarak seçerler. Bu kelimeler çok sayıda girdi içerisinde geçen kelimeler, sayısı baskın olmasa da keskin bir şekilde duyguyu hissettiren kelimeler ve eğitim kümesinde kendini ifade etme şansı bulamamış, kullanımı sonucunda duygu ağırlığını ciddi şekilde etkileyen kelimeler olabilirler. Seçimi tamamlanmış kelimeler seçilen kelime tablosuna aktarılırlar.

Bu çalışmada bu şekilde yaklaşık 200 kelime seçilmiştir. Seçimlere karar verirken daha önce bu konuda çalışmalara imza atmış olan proje danışmanının yardımlarından yararlanılmıştır.

Çizelge: Duygu ağırlığı olan seçilmiş sözcükler.

Veri Ambarının Dinamik Olarak İnşa Edilmesi

Veri madenciliği algoritmalarının girdisi olarak kabul ettiğimiz veri matrisinin oluşturulması için atılan adımlar tamamlandığında veri tabanı tablosu bu kez farklı bir biçimde tasarlanır. Adım adım oluşturulan süreçlerin işaret ettiği tablodur veri ambarı. Her bir satırı bir girdiyi temsil eder ve her bir sütunu seçilmiş olan kelimelerden meydana gelir. Girdi içerisinde geçen kelimeler ilgili sütunda 1 değerini alırken içermeyenler 0 değerlerini alırlar. Kelime sütunlarının sonunda girdinin analizini tutan kolon bulunur.

Çizelge: Veri ambarı tablosunun yapısı.

Yönetim panelinin duygu analizi sürecindeki fonksiyonlardan sonuncusu olan veri ambarının oluşturulması birkaç adımdan oluşur. İlk olarak tablo yapısına seçilen kelimelerin benzersiz sütunları “WORD_” kelimesinin sonuna bir alttan tire sonrasında eklenerek kolonlar oluşturulur. Böylece veri ambarının genişliği dinamik olarak kurulmuş olur. Sonrasında her bir girdi tekrar kelimelerine ayrıştırılıp, sırasıyla her girdi kelimesi seçilen kelime tablosundaki bütün kelimeler ile karşılaştırılır. Eğer eşleşme gerçekleşirse girdi veri ambarına ilgili kelime için 1 değerini alarak kaydedilir.

Duygu analizi sırasında projenin planladığı bir diğer başarım metodu ise veri ambarını 3 farklı biçimde tasarlamaktır. Bu tasarım sayesinde veriler 2 boyutlu olarak duygu analizinden geçebileceklerdir. 1. boyutta girdiler nötr yada polar, 2. boyutta ise mutlu yada mutsuz olarak işaretlenebilir hale geleceklerdir. Bunu gerçekleştirmek için yönetim paneline seçenek eklenir.

CREATE TABLE `words` (
  `id` int(11) NOT NULL,
  `entry_id` int(11) NOT NULL,
  `length` bigint(20) NOT NULL,
  `analysis` varchar(1) DEFAULT 'n'
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

public function build()
{
	$fields = array();
	$results = array();

	$data['chosen_words'] = $this->Word_Model->get_chosen_words();
	foreach ($data['chosen_words']  as $row)
		$results[] = array( 'id' => $row->id );

	foreach ($results as $value)
		$fields[ 'word_'.$value['id'] ] = array('type' => 'INT', 'constraint' => 1, 'default' => 0);

	if($this->Word_Model->add_column_to_cws($fields))
		redirect('');
}
public function drop_columns()
{
	$results = array();

	$data['chosen_words'] = $this->Word_Model->get_chosen_words();
	foreach ($data['chosen_words']  as $row)
		$results[] = array( 'id' => $row->id );

	foreach ($results as $value)
		$this->Word_Model->drop_column_from_cws( 'word_'.$value['id'] );

	redirect('');
}
function truncate()
{
	if($this->Word_Model->truncate_table())
		redirect('');
}
public function update()
{
	$result = $this->Word_Model->get_chosen_words();
	$this->Entry_Model->update_whole_table($result);

	redirect('');
}

public function clear()
{
	$this->Entry_Model->clear_notr_entries();
	redirect('');
}
public function clear_weaks()
{
	$data['chosen_words'] = $this->Word_Model->get_chosen_words();
	foreach ($data['chosen_words']  as $row)
		$results[] = array( 'id' => $row->id );
	$data['words'] = $this->Word_Model->get_words();
	foreach ($data['words'] as $row)
		if( $this->Entry_Model->clear_weak_entry($row->id, $results) )
			$this->Entry_Model->delete_word_by_id($row->id);

	redirect('');
}

Proje yönetim panelinde yer alan veri madenciliği sayfası.

Yukarıdaki şekildeki aşamalardan geçerek oluşan veri ambarı artık veri madenciliği işlemine hazırdır. Projede karar kılınan veri ambarı yapısı aşağıdaki çizelgede gösterilen testler sonucunda yaklaşık 200 seçilmiş kelime kolonundan oluşan ve içerisinde en az 3 seçilmiş kelime geçen girdilerden meydana gelir. Bu bağlamda uygulama kolaylığı ve verdiği başarı göz önüne alınarak SMO algoritması veri madenciliği yöntemi olarak seçilmiştir.

Veri Madenciliği Aşaması

Bütün olarak sürecin son adımı olan bu adımda veri madenciliği uygulamaları test edilerek oluşturulan veri ambarından amacına uygun, en verimli olanını seçmek hedeflenir. Bu seçim 2 boyutta oluşturulan verilerin başarı oranlarıyla yapılır. Birinci boyutta verinin polaritesine göre, ikinci boyutta ise verinin duygu türüne göre ölçümler yapılır.

SMO fonksiyonel algoritmasıyla gerçekleştirilen WEKA çalışması.