xdxf_parser.php

<?php


$abbreviation_eng = [
    'a.' => '1',
    'adv.' => '2',
    'ant:' => '3',
    'artic.' => '4',
    'attr.' => '5',
    'cj.' => '6',
    'comp.' => '7',
    'conj.' => '8',
    'demonstr.' => '9',
    'emph.' => '10',
    'f.' => '11',
    'imp.' => '12',
    'impers.' => '13',
    'indef.' => '14',
    'inf.' => '15',
    'inter.' => '16',
    'interj.' => '17',
    'invar.' => '18',
    'm.' => '19',
    'mis.' => '20',
    'n-card.' => '21',
    'n-ord.' => '22',
    'n.' => '23',
    'neg.' => '24',
    'obj.' => '25',
    'p-p.' => '26',
    'p.' => '27',
    'pass.' => '28',
    'pers.' => '29',
    'pf.' => '30',
    'pl.' => '31',
    'poss.' => '32',
    'predic.' => '33',
    'pref.' => '34',
    'prep.' => '35',
    'pres-p.' => '36',
    'pres.' => '37',
    'pron.' => '38',
    'recipr.' => '39',
    'refl.' => '40',
    'rel.' => '41',
    'sg.' => '42',
    'subj.' => '43',
    'suf.' => '44',
    'sup.' => '45',
    'syn:' => '46',
    'v.' => '47',
];
$abbreviation_rus = [
    'ав.' => 'авиация',
    'австрал.' => 'австалийская терминология',
    'авт.' => 'автотранспорт',
    'ам.' => 'американская терминология',
    'анат.' => 'анатомия',
    'англ.' => 'английская терминология',
    'англоинд.' => 'англоиндийская терминология',
    'араб.' => 'арабская терминология',
    'арт.' => 'артиллерия',
    'арх.' => 'архитектура',
    'археол.' => 'археология',
    'астр.' => 'астрономия',
    'астрол.' => 'астрология',
    'бакт.' => 'бактериология',
    'библ.' => 'библейская терминология',
    'биол.' => 'биология',
    'бирж.' => 'биржевая терминология',
    'бот.' => 'ботаника',
    'букв.' => 'буквально',
    'бухг.' => 'бухгалтерская терминология',
    'брит.' => 'британская терминология',
    'вет.' => 'ветеринария',
    'вм.' => 'вместо',
    'воен.' => 'военное дело',
    'вопрос.' => 'вопросительный',
    'в разн. знач.'  => 'в разных значениях',
    'вульг.' => 'вульгаризм',
    'г.' => 'город',
    'генет.' => 'генетика',
    'геогр.' => 'география',
    'геод.' => 'геодезия',
    'геол.' => 'геология',
    'геом.' => 'геометрия',
    'гер.' => 'геральдика',
    'гидр.' => 'гидротехника',
    'гл.' => 'главным',
    'глаг.' => 'глагол',
    'голл.' => 'голландская терминология',
    'горн.' => 'горное дело',
    'грам.' => 'грамматика',
    'греч.' => 'греческая терминология',
    'груб.' => 'грубое слово или выражение',
    'дет.' => 'детская терминология',
    'диал.' => 'диалектизм',
    'дип.' => 'дипломатический термин',
    'др.-греч.' => 'древнегреческая история',
    'др.-рим.' => 'древнеримская история',
    'ед.ч.' => 'единственное число',
    'жарг.' => 'жаргонный термин',
    'жив.' => 'живопись',
    'ж.р.' => 'женский род',
    'ж.-д.' => 'железнодорожный термин',
    'зоол.' => 'зоология',
    'и др.' => 'и другое',
    'и пр.' => 'и прочее',
    'инд.' => 'индийская терминология',
    'ирл.' => 'ирландская терминология',
    'ирон.' => 'иронично',
    'иск.' => 'искусство',
    'исп.' => 'испанская терминология',
    'ист.' => 'исторический термин',
    'и т.п.' => 'и тому подобное',
    'итал.' => 'итальянская терминология',
    'карт.' => 'термин карточной игры',
    'кино' => 'кинематография',
    'кит' => 'китайская терминология',
    'ком.' => 'коммерческий термин',
    'комп.' => 'информатика и компьютерные технологии',
    'кул.' => 'кулинария',
    'л.' => 'лицо',
    'ласк.' => 'ласкательное слово или выражение',
    'лат.' => 'латинский термин',
    'лес.' => 'лесное дело',
    'лингв.' => 'лингвистика',
    'лит.' => 'литература',
    'лог.' => 'логика',
    'мат.' => 'математика',
    'мед.' => 'медицина',
    'мест.' => 'местоимение',
    'метал.' => 'металлургия',
    'метеор.' => 'метеорология',
    'метр.' => 'метрология',
    'мех.' => 'механика',
    'мин.' => 'минералогия',
    'миф.' => 'мифология',
    'мн.ч.' => 'множественное число',
    'мор.' => 'морское дело',
    'муз.' => 'музыка',
    'накл.' => 'наклонение',
    'напр.' => 'например',
    'нареч.' => 'наречие',
    'науч.' => 'научная терминология',
    'нач.' => 'начало',
    'нем.' => 'немецкая терминология',
    'неол.' => 'неологизм',
    'обыкн.' => 'обыкновенно',
    'опт.' => 'оптика',
    'особ.' => 'особенно',
    'охот.' => 'охотничий термин',
    'офиц.' => 'официальное выражение',
    'парл.' => 'парламентский термин',
    'перен.' => 'в переносном значении',
    'погов.' => 'поговорка',
    'пол.' => 'политический термин',
    'полигр.' => 'полиграфия',
    'португ.' => 'португальская терминология',
    'посл.' => 'пословица',
    'поэт.' => 'поэтический термин',
    'превосх.' => 'превосходная',
    'предл.' => 'предложение',
    'предлог.' => 'предлогами',
    'презр.' => 'презрительно',
    'преим.' => 'преимущественно',
    'пренебр.' => 'пренебрежительно',
    'прибл.' => 'приблизительно',
    'прилаг.' => 'имя пралагательное',
    'притяж.' => 'притяжательное местоимение',
    'прям.' => 'в прямом значении',
    'психол.' => 'психология',
    'р.' => 'род',
    'рад.' => 'радиотехника',
    'разг.' => 'разговорное выражение',
    'распр.' => 'распространительно',
    'редк.' => 'редко употребляемое слово',
    'рел.' => 'религия',
    'рит.' => 'риторика',
    'род.' => 'родительный (падеж)',
    'св.' => 'святой',
    'сказ.' => 'сказочная терминология',
    'см.' => 'смотри',
    'собир.' => 'собирательное выражение',
    'сокр.' => 'сокращение',
    'сослаг.' => 'сослагательный',
    'спорт.' => 'физкультура и спорт',
    'ср.' => 'сравни',
    'сравнит.' => 'сравнительная',
    'ср.-век.' => 'средневековый',
    'степ.' => 'степень',
    'стр.' => 'строительный термин',
    'сущ.' => 'имя существительное',
    'с.-х.' => 'сельское хозяйство',
    'твор.' => 'творительный (падеж)',
    'т.е.' => 'то есть',
    'театр.' => 'театральный термин',
    'текст.' => 'текстильное дело',
    'тел.' => 'телефония',
    'телев.' => 'телевидение',
    'тех.' => 'техника',
    'тж.' => 'также',
    'топогр.' => 'топография',
    'тур.' => 'турецкая терминология',
    'уменьш.' => 'уменьшительная форма',
    'унив.' => 'универскитетский термин',
    'употр.' => 'употребляется',
    'уст.' => 'устаревшее слово или выражение',
    'утверд.' => 'утвердительный',
    'фарм.' => 'фармакология',
    'физ.' => 'физика',
    'физиол.' => 'физиология',
    'филол.' => 'филология',
    'филос.' => 'философия',
    'фин.' => 'финансковый термин',
    'фон.' => 'фонетика',
    'фот.' => 'фотография',
    'фр.' => 'французская терминология',
    'футб.' => 'футбол',
    'хим.' => 'химия',
    'хир.' => 'хирургия',
    'церк.' => 'церковный термин',
    'что-н.' => 'что-нибудь',
    'шахм.' => 'шахматный термин',
    'шк.' => 'школьное выражение',
    'шотл.' => 'шотландская терминология',
    'шутл.' => 'шутливое выражение',
    'эвф.' => 'эвфемизм',
    'эк.' => 'экономика',
    'эл.' => 'электроника',
    'южноафр.' => 'юэноафриканская терминология',
    'юр.' => 'юридический термин',
    'яп.' => 'японская терминология'
];


$word_data = [
        'origin' => '',
        'transcription' => '',
        'translation' => ''
 ];
 
 $current_object = [
        'origin' => '',
        'transcription' => '',
        'words' => []
 ];
 
 $result = [];
 $qirim_result = [];
 
function compileObject($current_interval, $current_letter){
    set_time_limit(800000);
    $xml = file_get_contents('origin/dict_'.$current_letter.'_'.$current_interval.'.xdxf');
    
    $xml_object = explode("<ar>", $xml);
    unset($xml_object[0]);
    
    $result_object = [];
    global $word_data;
    global $current_object;
    global $result;
    global $qirim_result;
    $count = 0;
    
    $origins = [];
    foreach ($xml_object as $object){
        $count = $count + 1;
        $origin = explode('</k>',$object);
        if(strpos($origin[1], '</tr>')){
            $transcription_and_translation  = explode('</tr>',$origin[1]);
            $word_data['transcription']= str_replace('<tr>', '', $transcription_and_translation[0]);
            $word_data['translation']= str_replace('</ar>', '', $transcription_and_translation[1]);
        } else {
            $word_data['transcription'] = '';
            $word_data['translation']= str_replace('</ar>', '', $origin[1]);
        }
        $word_data['origin']= str_replace('<k>', '', $origin[0]);
        $current_object = [
            'origin' => $word_data['origin'],
            'transcription' => $word_data['transcription'],
             'words' => []
        ];
        
        $word_data['translation'] = compileTranslation($word_data['translation']);
        array_push($origins, $current_object['origin']);
        
       
        $current_object = [
                'origin' => '',
                'transcription' => '',
                'translation' => ''
         ];
         //echo json_encode($result);
         //die;
        }
    //file_put_contents('origins/'.$current_letter.'.txt', implode(' | ',$origins));    
    //print_r($qirim_result);
    //print_r($origins);
   //print_r($result);
}

function compileTranslation($translation_string){
    $result_object = [];
    $result_object = findAbbreviationEng($translation_string);
    if(strpos($result_object['word'],'_I')>-1){
        $result_object['word'] = getFirstMeaning($result_object['word']);
    } else if (strpos($result_object['word'],'1.')>-1){
        $result_object['word'] = getSecondMeaning($result_object);
    } else if(strpos($result_object['word'],'1&gt;')>-1){
        $result_object['word'] = getThirdMeaning($result_object);
    } else if(strpos($result_object['word'],'а&gt;')>-1){
        $result_object['word'] = getFourthMeaning($result_object);
    } else {
        $result_object = findAbbreviationRus($result_object);
    }
    return $result_object;
}

function getFirstMeaning($translation_string){
    $result_object = [];
    $translation_lvl1 = preg_split("/(_I+V?)/", $translation_string);
    array_shift($translation_lvl1);
    foreach ($translation_lvl1 as $second_meaning){
        if(strpos($second_meaning,'1.')>-1){
            $new_second_meaning = findAbbreviationEng($second_meaning);
            array_push($result_object, getSecondMeaning($new_second_meaning));
        } else {
            if(strpos($second_meaning,'1&gt;')>-1){
                $third_meaning = getThirdMeaning($third_meaning);
                array_push($result_object,$third_meaning );
            } else {
                $check_eng = findAbbreviationEng($second_meaning);
                array_push($result_object,findAbbreviationRus($check_eng));
            }
        }
    }
    
    return $result_object;    
}

function getSecondMeaning($translation_string){
    $result_object = [
        'abbreviation_eng' => $translation_string['abbreviation_eng'],
        'word' => []
        
    ];
    $second_meaning = preg_split("/ [0-9]\./", $translation_string['word']);
    array_shift($second_meaning);
    foreach ($second_meaning as $third_meaning){
        if(strpos($third_meaning,'1&gt;')>-1){
            $check_eng = findAbbreviationEng($third_meaning);
            $new_meaning = getThirdMeaning($check_eng);
            array_push($result_object['word'],$new_meaning );
        } else {
            $check_eng = findAbbreviationEng($third_meaning);
            array_push($result_object['word'],findAbbreviationRus($check_eng));
        }
    }
    return $result_object;
}

function getThirdMeaning($translation_string){
    $result_object = [
        'abbreviation_eng' => $translation_string['abbreviation_eng'],
        'word' => []
    ];
    
    $third_meaning = preg_split("/([0-9]*+\&gt;)/", $translation_string['word']);
    array_shift($third_meaning);
    foreach ($third_meaning as $fourth_meaning){
        if(strpos($third_meaning,'а&gt;')>-1){
            $check_eng = findAbbreviationEng($fourth_meaning);
            $new_meaning = getFourthMeaning($check_eng);
            array_push($result_object['word'],$new_meaning );
        } else {
            $check_eng = findAbbreviationEng($fourth_meaning);
            array_push($result_object['word'],findAbbreviationRus($check_eng));
        }
    }
    return $result_object; 
}


function getFourthMeaning($translation_string){
    $result_object = [
        'abbreviation_eng' => $translation_string['abbreviation_eng'],
        'word' => []
    ];
    
    $third_meaning = preg_split("/[а-я]{1}\&gt;/", $translation_string['word']);
    array_shift($third_meaning);
    foreach ($third_meaning as $meaning){
            $check_eng = findAbbreviationEng($meaning);
            array_push($result_object['word'],findAbbreviationRus($check_eng) );
    }
    return $result_object; 
}

$previous_abbreviation_eng = '';

function findAbbreviationEng($word_string){
    error_reporting(0);
    global $previous_abbreviation_eng;
    global $abbreviation_eng;
    $meaning_object = [
                'word' => $word_string,
                'abbreviation_eng' => []
    ];
    foreach ($abbreviation_eng as $abbr_eng=>$value){
        if (strpos($word_string,'_'.$abbr_eng) > -1 && strpos($word_string,'_'.$abbr_eng) < 6){
            $new_word_string = str_replace('_'.$abbr_eng, '', $word_string);
            $previous_abbreviation_eng = $value;
            return $meaning_object = [
                'word' => $new_word_string,
                'abbreviation_eng' => $value
            ];
        } else {
            continue;
        }
    }
    $meaning_object['abbreviation_eng'] = $previous_abbreviation_eng;
    error_reporting(1);
    return $meaning_object;
}

function findSynonims ($word){
    //$mysqli = new mysqli("127.0.0.1", "root", "root", "qirim_english_dictionary");
    //$mysqli->set_charset("utf8");
    global $abbreviation_eng;
    $word['synonim'] = '';
    if (strpos($word['word'],'_Syn:')>-1){
        $synonims = preg_split('/(_Syn:)/', $word['word']);
        $word['word'] = $synonims[0];
        $synonim = $synonims[1];
        if(strpos($synonim,'_Ant:')>-1){
           $antonims = preg_split('/(_Ant:)/', $synonim);
           $word['antonim'] = explode(',', $antonims[1]); 
           $word['synonim'] = explode(',', $antonims[0]);
        }else{
           $word['synonim'] = explode(',', $synonim);
        }
    } else if (preg_match('/= [a-z]*/',$word['word'])){
        if(preg_match('/[а-яА-Я]+/',$word['word'])){
            $synonim = explode('=',$word['word']);
            $word['word'] = $synonim[1];
            foreach ($abbreviation_eng as $abbr_eng=>$value){
                if (strpos($word['word'],'_'.$abbr_eng) > -1 ){
                    $new_word_string = str_replace('_'.$abbr_eng, '|', $word['word']);
                    $previous_abbreviation_eng = $value;
                    $array = explode('|',$new_word_string);
                    $word['word'] = $array[1];
                    $word['new_eng_word'] = rtrim(ltrim($array[0]));
                    $word['abbreviation_eng'] = $value;
                    break;
                }
            }
           /* $eng_origin1_word_id = mysqli_fetch_row($mysqli->query("SELECT eng_word_id FROM qirim_english_dictionary.eng_words WHERE name = '".$word['origin']."'"))[0];
            $mysqli->query("UPDATE qirim_english_dictionary.eng_words SET part_of_speech_id = '".$word['abbreviation_eng']."' WHERE eng_word_id = '".$eng_origin1_word_id."'");
            $mysqli->query("INSERT INTO qirim_english_dictionary.rus_words SET name = '".$word['word']."',part_of_speech_id = '".$word['abbreviation_eng']."'");
            $rus1_word_id = mysqli_fetch_row($mysqli->query("SELECT rus_word_id FROM qirim_english_dictionary.rus_words WHERE name = '".$word['word']."'"))[0];
            $mysqli->query("INSERT INTO qirim_english_dictionary.`references` SET eng_word_id = '".$eng_origin1_word_id."',rus_word_id = '".$rus1_word_id."'");
            $mysqli->query("INSERT INTO qirim_english_dictionary.eng_word_examples SET description = '".$word['new_eng_word']."',eng_word_id = '".$eng_origin1_word_id."'");
         */
            
        } else {
            $synonim = explode('=',$word['word']);
            $word['synonim'] = ltrim(preg_replace('/[0-9]/','',explode(',', $synonim[1])[0]));
            $word['synonim'] = trim(preg_replace('/\s+/', ' ', $word['synonim']));
            $word['word'] = $synonim[0];
            /*$eng_origin2_word_id = mysqli_fetch_row($mysqli->query("SELECT eng_word_id FROM qirim_english_dictionary.eng_words WHERE name = '".$word['origin']."'"))[0];
            $eng_origin3_word_id = mysqli_fetch_row($mysqli->query("SELECT eng_word_id FROM qirim_english_dictionary.eng_words WHERE name = '".$word['synonim']."'"))[0];
            
            $rus_references_list = mysqli_fetch_all($mysqli->query("SELECT rus_word_id FROM qirim_english_dictionary.`references` WHERE eng_word_id = '".$eng_origin3_word_id."'"));
            foreach ($rus_references_list as $rus){
                $mysqli->query("INSERT INTO qirim_english_dictionary.`references` SET eng_word_id = '".$eng_origin2_word_id."',rus_word_id = '".$rus[0]."'");
            }*/
        }
    }
    return $word;
    //$mysqli->close();
}

function findAbbreviationRus($word_string){

    error_reporting(0);
    global $abbreviation_rus;
    global $current_object;
    global $qirim_result;
    global $result;
    $meaning_object = [
                'word' => $word_string['word'],
                'abbreviation_eng' => $word_string['abbreviation_eng'],
                'abbreviation_rus' => []
    ];
    $meaning_object['origin'] = str_replace("'", "\'", $current_object['origin']);
    $meaning_object['transcription'] = preg_replace('/^\s+/', '', $current_object['transcription']);
    foreach ($abbreviation_rus as $abbr_rus=>$value){
        if (strpos($meaning_object['word'],'_'.$abbr_rus) > -1 && strpos($meaning_object['word'],'_'.$abbr_rus) < 6){
            $new_word_string = str_replace('_'.$abbr_rus,'', $meaning_object['word']);
            $meaning_object['word'] = $new_word_string;
            array_push($meaning_object['abbreviation_rus'],$value);
        } else {
             continue;
        }
    }
    error_reporting(1);
    $meaning_object = findSynonims($meaning_object);
    //return;
    preg_match('/[A-Z]{1}[\s, \S]*[\.,?,!]?/', $meaning_object['word'], $matches);
    if($matches[0]){
        $meaning_object['big_example'] = $matches[0];
        $meaning_object['word'] = str_replace($matches[0], '', $meaning_object['word']);
    }
    
    preg_match_all('/\([a-z].*\)/', $meaning_object['word'], $descr_matches);
    if($descr_matches[0]){
        $meaning_object['description'] = $descr_matches[0];
        $meaning_object['word'] = str_replace($descr_matches[0], '', $meaning_object['word']);
    }
    
    preg_match_all('/\([а-я,].*\)/', $meaning_object['word'], $rus_descr_matches);
    if($rus_descr_matches[0]){
        $meaning_object['rus_description'] = $rus_descr_matches[0];
        $meaning_object['word'] = str_replace($rus_descr_matches[0], '', $meaning_object['word']);
    }
    
    
    
    $tmp_word_array = [];
    $meaning_object['word'] = preg_split('/(; )/', $meaning_object['word']);
    for($i = 0; $i<count($meaning_object['word']);$i++){
        if(preg_match_all("/([\а-я]*\,.*котор)|([\а-я]*\,.*?(что)|(чей)|(чья)|(чье))|([а-я])+ +([а-я])+/", $meaning_object['word'][$i])){
            array_push($tmp_word_array, $meaning_object['word'][$i]);
        } else {
            $arr = explode(',', $meaning_object['word'][$i]);
            foreach($arr as $key){
                array_push($tmp_word_array, $key);
            }
        }
    }
    $meaning_object['word'] = $tmp_word_array;
    if(count($meaning_object['word'])>1){
        getLastMeaning($meaning_object);
    } else {
        $meaning_object['word'] = $meaning_object['word'][0];
        finalObject($meaning_object);
    }
    
}


function finalObject($meaning_object){
    global $result;
    global $abbreviation_rus;
    $meaning_object['word'] = preg_replace("/(_[A-Za-z]\.)/", '', $meaning_object['word']);

    $meaning_object['word'] = ltrim($meaning_object['word']);
    foreach ($abbreviation_rus as $abbr_rus=>$value){
        if (strpos($meaning_object['word'],'_'.$abbr_rus) > -1 ){
            $new_word_string = str_replace('_'.$abbr_rus,'', $meaning_object['word']);
            $meaning_object['word'] = $new_word_string;
            array_push($meaning_object['abbreviation_rus'], $value);  
        } 
    }
    
    $meaning_object['word'] = preg_replace("/(_?[A-Za-z]*\.)/", '', $meaning_object['word']);
    preg_match_all("/([A-Za-z- ]+[^\S])/", $meaning_object['word'], $tiny_descr);
    if($tiny_descr){
        $meaning_object['tiny_example'] = $tiny_descr[0];
    } 
    $meaning_object['word'] = preg_replace("/[A-Za-z-]/", '', $meaning_object['word']);
    $meaning_object['word'] = preg_replace('/^ */', '', $meaning_object['word']);
    $meaning_object['word'] = preg_replace('/^\s+/', '', $meaning_object['word']);
    $meaning_object['word'] = rtrim($meaning_object['word']);
    //array_push($result, $meaning_object);
    writeDownOrigin($meaning_object);    
    //return $meaning_object;
    
    //$meaning_object['qirim_translation'] = getQTTranslation($meaning_object['word']);
       /*
        if(count($meaning_object['qirim_translation']) == 0 ){
            $meaning_object['status'] = 'empty';
        } else if(count($meaning_object['qirim_translation']) == 1 && !is_array($meaning_object['qirim_translation'][0])){
            $meaning_object['status'] = 'complete';
        }  else if(count($meaning_object['qirim_translation']) > 1){
            $meaning_object['status'] = 'warning';
        }  else {
            $meaning_object['status'] = 'warning';
        }*/
        /*
        if(isset($meaning_object['qirim_translation'][0])){
            array_push($qirim_result, $meaning_object);
        }
        
         */
    /*$last_meaning_obj = [
            'word'=> preg_replace("/[^АБВГДЕЁЖЗИЙКЛМНОПРСТУФХЦЧШЩЬЫЪЭЮЯабвгдеёжзийклмнопрстуфхцчшщьыъэюя ]/", '', $meaning_object['word'][$i]),
            'qirim_translation'=>getQTTranslation($meaning_object['word'][$i])
        ];
        $meaning_object['word'][$i] = $last_meaning_obj;*/
}

function getLastMeaning($meaning_object){
    for($i = 0; $i < count($meaning_object['word']); $i++){
        $meaning_object['word'] = $meaning_object['word'][$i];
        finalObject($meaning_object);
    }
}


function writeDownOrigin ($word_object){
    $mysqli = new mysqli("127.0.0.1", "root", "root", "qirim_english_dictionary");
    $mysqli->set_charset("utf8");
    $sql = "
        INSERT INTO
            qirim_english_dictionary.eng_words
        SET
            name = '".$word_object['origin']."',
            transcription = '".$word_object['transcription']."',    
            part_of_speech_id = '".$word_object['abbreviation_eng']."'    
        ";
    $mysqli->query($sql);
    
     $sql_2 = "
                SELECT 
                    eng_word_id
                FROM
                    qirim_english_dictionary.eng_words
                WHERE
                    name = '".$word_object['origin']."'  AND part_of_speech_id = '".$word_object['abbreviation_eng']."'
            ";
    $result = mysqli_fetch_row($mysqli->query($sql_2));
    $word_object['origin_id'] = $result[0];

    $mysqli->close();
    writeDownDescriptions($word_object);
}

function writeDownDescriptions ($word_object){
    $mysqli = new mysqli("127.0.0.1", "root", "root", "qirim_english_dictionary");
    $mysqli->set_charset("utf8");
    if($word_object['big_example']){
        $sql1 = "
            INSERT INTO 
                qirim_english_dictionary.eng_word_examples 
            SET 
                eng_word_id = '".$word_object['origin_id']."', 
                description = '".$word_object['big_example']."'   
            ";
        $mysqli->query($sql1);
    }
    if($word_object['tiny_example']){
        $sql2 = "
            INSERT INTO 
                qirim_english_dictionary.eng_tiny_descriptions 
            SET 
                eng_word_id = '".$word_object['origin_id']."', 
                tiny_description = '".$word_object['tiny_example'][0]."'   
            ";
        $mysqli->query($sql2);
    }
    if(count($word_object['rus_description'])>0){
        $rus_description = $word_object['rus_description'][0];
    } else {
        $rus_description = '';
    }
    if(count($word_object['abbreviation_rus'])>0){
        $abbreviation_rus = $word_object['abbreviation_rus'][0];
    } else {
        $abbreviation_rus = '';
    }
    if(count($word_object['description'])>0){
        $description = $word_object['description'][0];
    } else {
        $description = '';
    }

    $sql = "
        INSERT INTO
            qirim_english_dictionary.rus_words
        SET
            name = '".$word_object['word']."',    
            part_of_speech_id = '".$word_object['abbreviation_eng']."'
    ";
    $mysqli->query($sql);

    $sql_2 = "
        SELECT 
            rus_word_id
        FROM
            qirim_english_dictionary.rus_words
        WHERE
            name = '".$word_object['word']."'
        ";
    $result = mysqli_fetch_row($mysqli->query($sql_2));
    $rus_word_id = $result[0];
    if($description!='' || $abbreviation_rus != '' || $rus_description !=''){
        $sql3 = "
            INSERT INTO
                qirim_english_dictionary.rus_descriptions
            SET
                rus_word_id = '".$rus_word_id."',
                abbreviation = '".$abbreviation_rus."',
                rus_subdescription = '".$rus_description."',   
                eng_subdescription = '".$description."'   
            ";
        $mysqli->query($sql3);
    }
    $sql_3 = "
        INSERT INTO
            qirim_english_dictionary.references
        SET
            eng_word_id = '".$word_object['origin_id']."',    
            rus_word_id = '".$rus_word_id."'    
        ";
    $mysqli->query($sql_3);
            
    $mysqli->close();
}

function getQTTranslation($input_word){
    header('Content-Type: text/plain');
    $json = file_get_contents('http://lugat.xyz/get_json?word='.$input_word);
    $qt_word_object = json_decode($json);
    $result_object = [];
    foreach($qt_word_object->articles as $translation){
        $translation_string = strip_tags($translation->article);
        if (strpos($translation_string,'1.')>-1){
            array_push($result_object, getQTSecondMeaning($translation_string));
        } else {
            array_push($result_object, $translation_string);
        }
    }
    return $result_object;
} 

function getQTSecondMeaning($translation_string){
    $second_meaning = preg_split("/[0-9]+\./", $translation_string);
    array_shift($second_meaning);
    return $second_meaning;
}


function gufoWordList(){
    $letters = [
        'a','b','c','d','e','f','g','h','i','j','k','l','m','n','o', 'p','q','r','s','t','u','v','w','x','y','z'
    ];
    set_time_limit(800000);
    $links = [];
    for($u = 0; $u < count($letters); $u++){
        $array = [];
        for($i=1; $i<100; $i++){
            $html=file_get_contents('https://gufo.me/dict/enru_muller?page='.$i.'&letter='.$letters[$u]);
            if (!$html){
                break;
            }
            $start = strpos($html, '<ul class="list-unstyled app-word-list">');
            $end = strpos($html, '</article>');

            $length = $end-$start;
            $html = substr($html, $start, $length);
            preg_match_all("/<a[^>]+href=\"([^\"]+)\"[^>]*>/",$html,$matches_links);
            for($k = 0; $k < count($matches_links[1]); $k++){
                $word = str_replace('/dict/enru_muller/', '', $matches_links[1][$k]);
                array_push($array, $word);
                //$words[$i]['size'] = sizeof($words[$i]['translation']);
            }
        }
        file_put_contents('new_gufo/'.$letters[$u].'.txt', implode(' | ',$array));
    }    
    
    //print_r(implode(' | ',$array));
}

function compareDifferences(){
    $letters = [
        'a','b','c','d','e','f','g','h','i','j','k','l','m','n','o', 'p','q','r','s','t','u','v','w','x','y','z'
    ];
    for($i = 0; $i<count($letters); $i++){
        $array_origins = explode(' | ',file_get_contents('origins/'.strtoupper ( $letters[$i] ) .'.txt'));
        $gufo_array = explode(' | ',file_get_contents('new_gufo/'.$letters[$i].'.txt'));
        $result = array_diff($gufo_array, $array_origins);
        file_put_contents('differences/'.$letters[$i].'.txt', implode(' | ',$result));
    }
}

$time_start = microtime(true); 
 /*
if(function_exists($_GET['f'])) {
   $_GET['f']();
}*/
$intervals = [
            'a-c', 'd-f', 'g-i', 'j-l', 'm-o', 'p-r', 's-u', 'v-z'
        ];

/*
    $current_letter = [
       'A','B','C','D','E','F','G'
    ];*/
$current_letter = [
       'A','B','C','D','E','F','G' 
    ];/*
$current_letter = [
       'H','I','J','K','L','M','N' , 'O','P','Q','R','S','T'
    ];*/
for($k = 0; $k < count($current_letter); $k++){
    for($i = 0; $i < count($intervals); $i++){
        compileObject($intervals[$i], $current_letter[$k]);
    }
}
//compileObject('a');
//getQTTranslation();
//gufoWordList();
//compareDifferences();
    
    
$time_end = microtime(true);

$execution_time = ($time_end - $time_start)/60;

//execution time of the script
echo '<b>Total Execution Time:</b> '.$execution_time.' Mins';