Untitled.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "''"
      ]
     },
     "execution_count": 1,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"\"\"\"\"\"\"---------------------------------------------------||||Contents:||||----------------------------------------------------\"\"\"\"\"\"\"\"\"\n",
    "\n",
    "\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"\n",
    "1. Main menu body                    \t1. print_main_menu ()\n",
    "\t\t\t\t\t2. to_process_answer_in_main_menu (answer)\n",
    "\t\t\t\t\t3. main_menu ()\n",
    "\t\n",
    "2. Processing menu body\t\t\t1. print_processing_menu ()\n",
    "\t\t\t\t\t2. to_process_answer_in_processing_menu (answer)\n",
    "\t\t\t\t\t3. processing_menu ()\n",
    "\n",
    "3. Temporary files menu body\t\t1. print_temporary_files_menu ()\n",
    "\t\t\t\t\t2. to_process_answer_in_temporary_files_menu (answer)\n",
    "\t\t\t\t\t3. temporary_files_menu ()\n",
    "\n",
    "4. Interface tools\t\t\t1. die ()\n",
    "\t\t\t\t\t2. quit ()\n",
    "\t\t\t\t\t3. open_FAQ ()\n",
    "\t\t\t\t\t4. open_manual ()\n",
    "\t\t\t\t\t5. progressbar ()\n",
    "\t\t\t\t\t6. mess_destroyer (answer)\n",
    "\t\t\t\t\t7. checker_before_start (mode, mode)\n",
    "\n",
    "5. Parsing tools\t\t\t1. parser (mode, file_or_directory(s))\n",
    "\t\t\t\t\t2. start_processing (file_with_the_list_of_files)\n",
    "\t\t\t\t\t3. day_parser (directory)\n",
    "\t\t\t\t\t4. BSM_parser (directory)\n",
    "\n",
    "6. Processing tools\t\t\t1. process_single_file (file_to_process)\n",
    "\t\t\t\t\t2. raw_file_to_txt (file_to_process)\n",
    "\t\t\t\t\t3. txt_head_cleaner (file_to_process)\n",
    "\t\t\t\t\t4. txt_head_parser (head_to_process)\n",
    "\t\t\t\t\t5. txt_to_amplitudes (file_to_process)\n",
    "\t\t\t\t\t6. get_quick_pedestals (file_to_process)\n",
    "\t\t\t\t\t7. get_cleaned_quick_pedestal (file_to_process)\n",
    "\t\t\t\t\t8. get_precise_pedestals (file_to_process)\n",
    "\t\t\t\t\t9. amplitudes_minus_pedestals (file_to_process, file_of_pedestals)\n",
    "\t\t\t\t\t10. amplitudes_to_photoelectrons (file_to_process, file_with_pe_codes_and_rel_sensitives)\n",
    "\t\t\t\t\t11. \n",
    "\n",
    "7. Analyze tools\t\t\t1. \n",
    "\t\t\t\t\t2. \n",
    "\"\"\"\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\n",
    "#from scipy import stats\n",
    "#from matplotlib import pyplot as plt\n",
    "#import matplotlib as mpl\n",
    "import numpy as np\n",
    "import shutil\n",
    "import sys\n",
    "#import time\n",
    "import subprocess\n",
    "#import processing_functions as prf\n",
    "import pandas as pd\n",
    "import re\n",
    "import os\n",
    "\n",
    "#script_dir = \"/home/yaroslav/Documents/TAIGA_PYTHON\"\n",
    "script_dir = os.getcwd()\n",
    "data_dir = \"/DATA\"\n",
    "\n",
    "\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\n",
    "\"\"\"\"\"\"\"\"\"---------------------------------------------||||Main menu body:||||----------------------------------------------\"\"\"\"\"\"\"\"\"\n",
    "\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"Main menu body 1\"\"\"\n",
    "\n",
    "def print_main_menu ():\n",
    "\tprint (\"\"\"\\n\\n\n",
    "\tHello! Here you can process the TAIGA IACT raw data files.\\n\n",
    "\tAlong the way you can choose the processing parameters that you consider convenient for you\\n\\n\n",
    "\tIf:\\n\n",
    "\t- program works incorrect,\\n\n",
    "\t- you have questions about program functioning,\\n\n",
    "\t- you have wishes or proposal regarding program functioning in the future versions,\\n\\n\n",
    "\tPlease contact me by e-mail: yaroslav_sagan@mail.ru\\n\\n\n",
    "\t\n",
    "\tHave a nice day and a clear sky!\\n\n",
    "\t#################################################################################\\n\\n\\n\n",
    "\t\n",
    "\t\n",
    "\t--------------------------------------------------||||Main menu:||||------------------------------------------------\\n\\n\n",
    "\t\n",
    "\t-------------------------------------------------Choose a command:-----------------------------------------------\\n\\n\n",
    "\t1  | Briefly about the algorithms.\\n\n",
    "\t2  | FAQ.\\n\n",
    "\t3  | Start work.\\n\n",
    "\t4  | Download some data from MSU grid.\\n\n",
    "\t0  | Quit.\\n\n",
    "\t------------------------------------------------------------------------------------------------------------------------------\\n\n",
    "\t:->  \n",
    "\t\"\"\")\n",
    "\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"Main menu body 2\"\"\"\n",
    "\n",
    "def to_process_answer_in_main_menu (answer):\n",
    "\tif (answer != \"1\" and answer != \"2\" and answer != \"3\" and answer != \"4\" and answer != \"0\"):\n",
    "\t\tprint(\"It seems that you've made the mistake. Please, try again:\")\n",
    "\t\tto_process_answer_in_main_menu (answer)\n",
    "\telif answer == \"1\": open_manual ()\n",
    "\telif answer == \"2\": open_FAQ ()\n",
    "\telif answer == \"3\": processing_menu ()\n",
    "\telif answer == \"4\":\n",
    "\t\tsubprocess.call (\"./msu_grid_ssh_access\", shell=True)\n",
    "\t\tmain_menu ()\t\n",
    "\telif answer == \"0\": quit ()\n",
    "\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"Main menu body 3\"\"\"\n",
    "\n",
    "def main_menu ():\n",
    "\tsubprocess.call (\"clear\")\n",
    "\tprint_main_menu ()\n",
    "\tans_1 = input ()\n",
    "\tto_process_answer_in_main_menu (ans_1)\n",
    "\n",
    "\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\n",
    "\"\"\"\"\"\"\"\"\"------------------------------------------||||Processing menu body:||||----------------------------------------\"\"\"\"\"\"\"\"\"\n",
    "\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"Processing menu body 1\"\"\"\n",
    "\n",
    "def print_processing_menu ():\n",
    "\tprint (\"\"\"\n",
    "\t---------------------------------------------------What to process?:-------------------------------------------------\\n\\n\n",
    "\t1 | To process a couple of days.\\n\n",
    "\t2 | To process a day.\\n\n",
    "\t3 | To process one BSM from one day.\\n\n",
    "\t4 | To process one file.\\n\n",
    "\t5 | To process a couple of files.\\n\n",
    "\t6 | Return to the main menu.\\n\n",
    "\t7 | Delete old temporary files (anyway will be automatically rewrote after processing).\\n \n",
    "\t0 | Quit.\\n\n",
    "\t-------------------------------------------------------------------------------------------------------------------------------\\n\n",
    "\t:->  \n",
    "\t\"\"\")\n",
    "\n",
    "\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"Processing menu body 2\"\"\"\n",
    "\n",
    "def to_process_answer_in_processing_menu (answer):\n",
    "\n",
    "\tif (answer != \"1\" and answer != \"2\" and answer != \"3\" and answer != \"4\" and answer != \"5\" and answer != \"6\" and answer != \"7\" and answer != \"0\"):\n",
    "\t\tprint(\"It seems that you've made the mistake. Please, try again:\")\n",
    "\t\tto_process_answer_in_processing_menu (answer)\n",
    "#\telif answer == \"1\": pass #couple_days\n",
    "#\telif answer == \"2\": pass #one_day\n",
    "#\telif answer == \"3\": pass #one_BSM from one day\n",
    "#\telif answer == \"4\": pass #one_file\n",
    "#\telif answer == \"5\": pass #couple_of_files\n",
    "\telif answer == \"6\": main_menu ()\n",
    "\telif answer == \"7\": mess_destroyer (2)\n",
    "\telif answer == \"0\": quit ()\n",
    "\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"Processing menu body 3\"\"\"\n",
    "\n",
    "def processing_menu ():\n",
    "\tsubprocess.call (\"clear\")\n",
    "\tprint_processing_menu ()\n",
    "\tans_2 = input ()\n",
    "\tto_process_answer_in_processing_menu (ans_2)\n",
    "\treturn ans_2\n",
    "\n",
    "\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\n",
    "\"\"\"\"\"\"\"\"\"---------------------------------------||||Temporary files menu body:||||-------------------------------------\"\"\"\"\"\"\"\"\"\n",
    "\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"Temporary files menu body 1\"\"\"\n",
    "\n",
    "def print_temporary_files_menu ():\n",
    "\tprint (\"\"\"\n",
    "\t------------------------------------------What to do with temporary files:--------------------------------------\\n\\n\n",
    "\t1 | To leave all the temporary files after processing finish.\\n\n",
    "\t2 | To delete all the temporary files after processing finish.\\n\n",
    "\t3 | To create ONLY the list of files to process and not to process them.\\n\n",
    "\t4 | To create the list of  files to process and not to process it. + To create the gypothetical list of temporary files.\\n \n",
    "\t5 | Return to the processing menu.\\n\n",
    "\t0 | Quit.\\n\n",
    "\t---------------------------------------------------------------------------------------------------------------------------------\\n\n",
    "\t:->  \n",
    "\t\"\"\")\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"Temporary files menu body 2\"\"\"\n",
    "\n",
    "def to_process_answer_in_temporary_files_menu (answer):\n",
    "\n",
    "\tif (answer != \"1\" and answer != \"2\" and answer != \"3\" and answer != \"0\" and answer != \"4\" and answer != \"5\"):\n",
    "\t\tprint(\"It seems that you've made the mistake. Please, try again:\")\n",
    "\t\tto_process_answer_in_temporary_files_menu (answer)\n",
    "#\telif answer == \"1\": pass\n",
    "#\telif answer == \"2\": pass\n",
    "#\telif answer == \"3\": pass\n",
    "\telif answer == \"4\": pass\n",
    "\telif answer == \"5\": processing_menu ()\n",
    "\telif answer == \"0\": quit ()\n",
    "\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"Temporary files menu body 3\"\"\"\n",
    "\n",
    "def temporary_files_menu ():\n",
    "\tsubprocess.call (\"clear\")\n",
    "\tprint_temporary_files_menu ()\n",
    "\tans_3 = input ()\n",
    "\tto_process_answer_in_temporary_files_menu (ans_3)\n",
    "\treturn ans_3\n",
    "\n",
    "\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\n",
    "\"\"\"\"\"\"\"\"\"----------------------------------------------||||Interface Tools:||||------------------------------------------------\"\"\"\"\"\"\"\"\"\n",
    "\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"Interface Tools 1\"\"\"\n",
    "\n",
    "def die ():\n",
    "\tprint (\"Incorrect value! I've been crushed!.........X_X\\n\")\n",
    "\tsys.exit ()\n",
    "\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"Interface Tools 2\"\"\"\n",
    "\n",
    "def quit ():\n",
    "\tprint (\"Are you sure? y/n:\\n\")\n",
    "\tw = input ()\n",
    "\tif w == \"y\": sys.exit ()\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"Interface Tools 3\"\"\"\n",
    "\n",
    "def open_FAQ ():\n",
    "\tprint (\"Open FAQ\")\n",
    "\tsubprocess.call (\"nano \" + script_dir + \"/FAQ.txt\", shell=True)\n",
    "\tmain_menu ()\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"Interface Tools 4\"\"\"\n",
    "\n",
    "def open_manual ():\n",
    "\tprint (\"Open manual\")\n",
    "\tsubprocess.call (\"nano \" + script_dir + \"/MANUAL.txt\", shell=True)\n",
    "\tmain_menu ()\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"Interface Tools 5\"\"\"\n",
    "\n",
    "def progressbar (i, n):\n",
    "\n",
    "\tc, r = shutil.get_terminal_size (fallback = (80, 24))    \n",
    "\tfor i in range (n):\n",
    "#\t    time.sleep (0.01)\n",
    "\t    sys.stdout.write (\"\\r %d%% [%-80s]\" % ((int(100*i/n)), u'\\u2589'*(int(c*i/n) + 1)))\n",
    "\t    sys.stdout.flush ()\n",
    "\tprint (\"Done\\n\")\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"Interface Tools 6\"\"\"\n",
    "\n",
    "def mess_destroyer (answer):\n",
    "\t\n",
    "\tif answer == 2:\n",
    "\t\tmess_file = open (script_dir + \"/.mess.txt\", \"r\")\n",
    "\t\ttry:\n",
    "\t\t\tfor line in mess_file: os.remove (\"line[22:]\")\n",
    "\t\texcept: print(\"Unknown error while temporary files deleting! Please, delete your manually!\")\n",
    "\t\tmess_file.close ()\n",
    "\t\tos.remove (script_dir + \"/.mess.txt\")\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"Interface Tools 7\"\"\"\n",
    "\n",
    "def checker (mode_2, mode_3):\n",
    "\n",
    "\tif mode_2 == \"1\": set_1 = \"Couple of days\"\n",
    "\telif mode_2 == \"2\": set_1 = \"One day\"\n",
    "\telif mode_2 == \"3\": set_1 = \"One BSM from one day\"\n",
    "\telif mode_2 == \"4\": set_1 = \"One file\"\n",
    "\telif mode_2 == \"5\": set_1 = \"Couple of files\"\n",
    "\tif mode_3 == \"1\": set_2 = \"Leave\"\n",
    "\telif mode_3 == \"2\": set_2 = \"Delete\"\n",
    "\telif mode_3 == \"3\": set_2 = \"Only create the list of files to process\"\n",
    "\telif mode_3 == \"4\": set_2 = \"Only create the list of files to process and the list of temporary files\"\n",
    "\t\n",
    "\tprint(\"You've chosen next modes:\\n\\nProcessing mode: %s.\\n\\nTemporary files after processing:\\n\\n%s.\\n\\n\" % (set_1, set_2))\n",
    "\tprint(\"Press 1 to go on or 0 to return to the main menu:\\n\")\n",
    "\tn = input()\n",
    "\tif n == \"0\": main_menu()\n",
    "\telif n == \"1\": parser (int(mode_2), int(mode_3))\n",
    "\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\n",
    "\"\"\"\"\"\"\"\"\"-----------------------------------------------||||Parsing Tools:||||--------------------------------------------------\"\"\"\"\"\"\"\"\"\n",
    "\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"Parsing Tools 1\"\"\"\n",
    "\n",
    "def parser (answer2, answer3):\n",
    "\n",
    "\tfiles_list = open (script_dir + \"/.files_list.txt\", \"tw\", encoding=\"utf-8\")\n",
    "\tmess_file = open (script_dir + \"/.mess.txt\", \"tw\", encoding=\"utf-8\")\n",
    "\tmess_file.write (\"Made temporary file:  \" + script_dir + \"/.files_list.txt\\n\")\n",
    "\tmess_file.close ()\n",
    "\n",
    "\tdir_pattern = re.compile(\"^BSM\\d{2}$\")\n",
    "\tfile_pattern = re.compile(\"^\\d{8}\\.\\d{3}\")\n",
    "\n",
    "\tif answer2 == 4: #OK\n",
    "\n",
    "\t\tprint(\"Enter the relative path to the file in format: /ddmmyy/BSMnn/ddddy00x.00x (for example: /060118/BSM01/06018001.001)\\n\")\n",
    "\t\tfile_to_process = input()\n",
    "\n",
    "\t\tprint (\"The list of files to process are compiling...\\n\")\n",
    "\n",
    "\t\tabs_file_path = script_dir + data_dir + file_to_process\n",
    "\t\tfiles_list.write(abs_file_path)\n",
    "\t\t\n",
    "\t\tprint (\"The list of files to process was made. It's in the script directory under the name  .files_list.txt\\n\")\n",
    "\n",
    "\telif answer2 == 5: #OK\n",
    "\t\tprint (\n",
    "\t\t\t\"\"\"Enter the list of the files through the space in format:\\n\n",
    "\t\t\t/ddmmyy/BSMnn/ddddy00a.00a /ddmmyy/BSMnn/ddddy00b.00b /ddmmyy/BSMnn/ddddy00c.00c etc.\\n\n",
    "\t\t\t(for example: /060118/BSM01/06018001.001 /281017/BSM01/28107001.001 etc.)\\n\n",
    "\t\t\tNotice, that execution time is proportional to the number of files.\\n\n",
    "\t\t\t\"\"\")\n",
    "\n",
    "\t\tfile_list = list(input().split())\n",
    "\n",
    "\t\tprint (\"The list of files to process are compiling...\\n\")\n",
    "\n",
    "\t\tfor abs_file in file_list:\n",
    "\t\t\tabs_file_path = script_dir + data_dir + abs_file\n",
    "\t\t\tfiles_list.write (abs_file_path + \"\\n\")\n",
    "\n",
    "\t\tprint (\"The list of files to process was made. It's in the script directory under the name  .files_list.txt\\n\")\n",
    "\n",
    "\telif answer2 == 2: #OK\n",
    "\t\t\n",
    "\t\tprint (\n",
    "\t\t\t\"\"\"Enter the relative path to the day folder in format:  /ddmmyy\\n\n",
    "\t\t\t(for example: /281017 etc.)\\n\n",
    "\t\t\tNotice, that execution time is proportional to the number of files.\\n\"\"\")\n",
    "\n",
    "\t\tdir_name = input ()\n",
    "\n",
    "\t\tprint (\"The list of files to process are compiling...\\n\")\n",
    "\n",
    "\t\tabs_dir_path = script_dir + data_dir + dir_name\n",
    "\t\tlist_of_BSM = day_parser (abs_dir_path)\n",
    "\t\tfor BSM in list_of_BSM.split ():\n",
    "\t\t\tBSM_name = abs_dir_path + \"/\" + BSM\n",
    "\t\t\tlist_of_files = BSM_parser (BSM_name)\n",
    "\t\t\tfiles_list.write ('\\n'.join ([(BSM_name + \"/\" + x) for x in list_of_files.split()]))\n",
    "\t\t\tfiles_list.write('\\n')\n",
    "\n",
    "\t\tprint (\"The list of files to process was made. It's in the script directory under the name  .files_list.txt\\n\")\n",
    "\t\t\t\n",
    "\telif answer2 == 3: #OK\n",
    "\n",
    "\t\tprint (\n",
    "\t\t\t\"\"\"Enter the relative path to the BSM folder in format:  /ddmmyy/BSMnn\\n\n",
    "\t\t\t(for example: /281017/BSM05 etc.)\\n\n",
    "\t\t\tNotice, that execution time is proportional to the number of files.\\n\"\"\")\n",
    "\n",
    "\t\tBSM_name = input ()\n",
    "\n",
    "\t\tprint (\"The list of files to process are compiling...\\n\")\n",
    "\n",
    "\t\tabs_BSM_path = script_dir + data_dir + BSM_name\n",
    "\t\tlist_of_files = BSM_parser (abs_BSM_path)\n",
    "\t\tfiles_list.write ('\\n'.join ([(abs_BSM_path + \"/\" + x) for x in list_of_files.split()]))\n",
    "\n",
    "\t\tprint (\"The list of files to process was made. It's in the script directory under the name  .files_list.txt\\n\")\n",
    "\n",
    "\telif answer2 == 1: #NOT CHECKED!!!\n",
    "\t\tprint (\n",
    "\t\t\t\"\"\"Enter the list of the days through the space in format:\\n\n",
    "\t\t\t/ddmmyy /ddmmyy /ddmmyy etc.\\n\n",
    "\t\t\t(for example: /060118/BSM01/06018001.001 /281017/BSM01/28107001.001 etc.)\\n\n",
    "\t\t\tNotice, that execution time is proportional to the number of files.\\n\n",
    "\t\t\t\"\"\")\n",
    "\n",
    "\t\tlist_of_days = list(input().split())\n",
    "\n",
    "\t\tprint (\"The list of files to process are compiling...\\n\")\n",
    "\n",
    "\t\tfor day in list_of_days:\n",
    "\t\t\tabs_dir_path = script_dir + data_dir + day\n",
    "\t\t\tlist_of_BSM = day_parser (abs_dir_path)\n",
    "\t\t\tfor BSM in list_of_BSM.split ():\n",
    "\t\t\t\tBSM_name = abs_dir_path + \"/\" + BSM\n",
    "\t\t\t\tlist_of_files = BSM_parser (BSM_name)\n",
    "\t\t\t\tfiles_list.write ('\\n'.join ([(BSM_name + \"/\" + x) for x in list_of_files.split()]))\n",
    "\t\t\t\tfiles_list.write('\\n')\n",
    "\n",
    "\t\tprint (\"The list of files to process was made. It's in the script directory under the name  .files_list.txt\\n\")\n",
    "\n",
    "\telse:\n",
    "\t\tprint(\"It seems that you've made the mistake. Please, try again:\\n\")\n",
    "\t\tfiles_list.close()\n",
    "\t\tparser (answer2)\n",
    "\n",
    "\tfiles_list.close()\n",
    "\n",
    "\tif answer3 == 3:\n",
    "\t\tprint (\"The list of files to process was made. It's in the script directory under the name  .files_list.txt\\n\")\n",
    "\t\tmain_menu ()\n",
    "\n",
    "\tif answer3 == 4:\n",
    "\t\tprint (\"The list of temporary files are compiling...\\n\")\n",
    "\t\tmess_file = open (script_dir + \"/.mess.txt\", \"tw\", encoding=\"utf-8\")\n",
    "\t\tfiles_list = open (script_dir + \"/.files_list.txt\", \"r\")\n",
    "\t\tfor line in files_list:\n",
    "\t\t\tmess_file.write (\"Made temporary file:  \" + line + \".txt\\n\")\n",
    "\t\t\tmess_file.write (\"Made temporary file:  \" + line + \".whd\\n\")\n",
    "\t\t\tmess_file.write (\"Made temporary file:  \" + line + \".amp\\n\")\n",
    "#\t\t\tmess_file.write (\"Made temporary file:  \" + line + \".pes\\n\")\n",
    "#\t\t\tmess_file.write (\"Made temporary file:  \" + line + \".qpd\\n\")\n",
    "#\t\t\tmess_file.write (\"Made temporary file:  \" + line + \".fpd\\n\")\n",
    "#\t\t\tmess_file.write (\"Made temporary file:  \" + line + \".dpd\\n\")\n",
    "\t\t\t\"\"\"???????????????? MORE ????????\"\"\"\n",
    "\t\t\"\"\"пока что файлы с амплитудами, ПОЧИЩЕННЫМИ ОТ ПЬЕДЕСТАЛОВ, не производятся!!!\"\"\"\n",
    "\t\t\n",
    "\t\tprint (\"The list of temporary files was made. It's in the script directory under the name  .mess.txt\\n\")\n",
    "\t\tmess_file.close ()\n",
    "\t\tfiles_list.close ()\t\t\n",
    "\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"Parsing Tools 2\"\"\"\n",
    "\n",
    "def start_processing ():\n",
    "\n",
    "\tfiles_list = open (\".files_list.txt\", \"r\")\n",
    "\ti = 0\n",
    "\tfiles = files_list.read()\n",
    "\tfor file_to_process in files:\n",
    "\t\ti += 1\n",
    "\t\tprint (\"All time:\")\n",
    "\t\tsyprogressbar (i, len(files))\n",
    "\t\tprocess_single_file(file_to_process)\n",
    "\n",
    "\tprint (\"All the processing operations are finished.\")\n",
    "\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"Parsing Tools 2\"\"\"\n",
    "\n",
    "def day_parser (directory): #OK\n",
    "\t\n",
    "\tdir_pattern = re.compile (\"^BSM\\d{2}$\")\n",
    "\tan_dir_pattern = re.compile (\"BSM\\d{2}\")\n",
    "\tbsm_dir_list_1 = [re.findall (dir_pattern, f) for f in os.listdir (directory)]\n",
    "\tbsm_dir_list_2 = ' '.join ([str (k) for k in bsm_dir_list_1])\n",
    "\tbsm_dir_list_3 = sorted(re.findall (an_dir_pattern, bsm_dir_list_2))\n",
    "\tbsm_dir_list = ' '.join ([g for g in bsm_dir_list_3])\n",
    "\n",
    "\treturn bsm_dir_list\n",
    "\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"Parsing Tools 3\"\"\"\n",
    "\n",
    "def BSM_parser (directory): #OK\n",
    "\n",
    "\traw_file_pattern = re.compile (\"^\\d{8}\\.\\d{3}$\")\n",
    "\tan_raw_file_pattern = re.compile (\"\\d{8}\\.\\d{3}\")\n",
    "\tlist_files_1 = [re.findall (raw_file_pattern, k) for k in os.listdir (directory)]\n",
    "\tlist_files_2 = ' '.join ([str (k) for k in list_files_1])\n",
    "\tlist_files_3 = sorted(re.findall (an_raw_file_pattern, list_files_2))\n",
    "\tlist_files = ' '.join ([g for g in list_files_3])\n",
    "\n",
    "\treturn list_files\n",
    "\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\n",
    "\"\"\"\"\"\"\"\"\"----------------------------------------------||||Processing tools:||||----------------------------------------------\"\"\"\"\"\"\"\"\"\n",
    "\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"Processing menu body 1\"\"\"\n",
    "\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "def process_single_file(file_to_process):\n",
    "\n",
    "\tmess_file = open(\".mess.txt\",\"tw\")\n",
    "\n",
    "\n",
    "#Converting the raw file to .txt ( --> .txt)\n",
    "\tfrom_raw_to_txt(file_to_process)\n",
    "\tmess_file.write(\"Made temporary file:  \" + make_BSM_file_temp(file_to_process)[:-4] + \".txt\\n\")\n",
    "\tprint(\"Made temporary file:  \" + make_BSM_file_temp(file_to_process)[:-4] + \".txt\\n\")\n",
    "#Cleaning the .txt file of head and flags (.txt --> .whd)\n",
    "\thead_cleaner(make_BSM_file_temp(file_to_process)[:-4] + \".txt\")\n",
    "\tmess_file.write(\"Made temporary file:  \" + make_BSM_file_temp(file_to_process)[:-4] + \".whd\\n\")\n",
    "\tprint(\"Made temporary file:  \" + make_BSM_file_temp(file_to_process)[:-4] + \".whd\\n\")\n",
    "#Converting the .wh file to amplitudes (.whd --> .amp)\n",
    "\tdata_to_ampl(make_BSM_file_temp(file_to_process)[:-4] + \".whd\")\n",
    "\tmess_file.write(\"Made temporary file:  \" + make_BSM_file_temp(file_to_process)[:-4] + \".amp\\n\")\n",
    "\tprint(\"Made temporary file:  \" + make_BSM_file_temp(file_to_process)[:-4] + \".amp\\n\")\n",
    "#Collecting quick pedestals ( --> .qpd)\n",
    "#\tget_quick_pedestals(make_BSM_file_temp(file_to_process)[:-4] + \".whd\")\n",
    "#\tmess_file.write(\"Made temporary file:  \" + make_BSM_file_temp(file_to_process)[:-4] + \".qpd\\n\")\n",
    "#Converting the .amp file to photoelectrons (.amp --> .pes)\n",
    "#subprocess.call(\"ipython Y_ampl_to_pe.py \" + Y_syiactfunc.make_BSM_file_temp(file_to_process)[:-4] + \".amp\", shell=True)\n",
    "\n",
    "\n",
    "#subprocess.call(\"ipython Y_data_txt_head_cleaner.py \" + file_to_process[:-12] + \".\" + file_to_process[-12:-4] + \".wh\", shell=True)\n",
    "#subprocess.call(\"ipython Y_data_txt_head_cleaner.py \" + file_to_process[:-12] + \".\" + file_to_process[-12:-4] + \".ap\", shell=True)\n",
    "#subprocess.call(\"ipython Y_data_txt_head_cleaner.py \" + file_to_process[:-12] + \".\" + file_to_process[-12:-4] + \"asd\", shell=True)\n",
    "\n",
    "\n",
    "\tmess_file.close()\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "def from_raw_to_txt (file_to_process):\n",
    "\n",
    "#script_dir = \"/home/yaroslav/Documents/TAIGA_PYTHON\"\n",
    "#data_dir = \"/DATA\"\n",
    "\n",
    "#fin = open(file_to_process, 'rb')\n",
    "#data = np.loadtxt(fin, dtype=np.uint16)\n",
    "#np.savetxt(file_to_process[:-4] +\".txt\", data, fmt=\"%d\")\n",
    "\n",
    "#fout = open(Y_syiactfunc.make_BSM_file_temp(file_to_process)[:-4] + \".txt\", 'tw', encoding='utf-8')\n",
    "\n",
    "\n",
    "\n",
    "\n",
    "\tfin = open(file_to_process, 'rb').read()\n",
    "\tfout = open(make_BSM_file_temp(file_to_process)[:-4] + \".txt\", 'tw', encoding='utf-8')\n",
    "\n",
    "\t#main_array = np.zeros((len(fin), 4))\n",
    "\n",
    "\tfor i in range (0, len(fin), 4):\n",
    "\t\tprint(\"Raw data reading:\")\n",
    "\t\tsyprogressbar(i, len(fin))\n",
    "\t#\tmain_array[i][0], main_array[i][1], main_array[i][2], main_array[i][3] = fin[i], fin[i+1], fin[i+2], fin[i+3]\n",
    "\n",
    "\t#np.savetxt(fout, main_array, fmt=\"%d\")\n",
    "\t\tfout.write(str(fin[i]) + \"\\t\" + str(fin[i+1]) + \"\\t\" + str(fin[i+2]) + \"\\t\" + str(fin[i+3]) + '\\n')\n",
    "\n",
    "#\tfin.close()\n",
    "\tfout.close()\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "def syprogressbar (x, y):\n",
    "\n",
    "\tprint(\"Progress of operation:\" + str(int(x/y*100)) + \"%\")\n",
    "\tprint(\"[\"+ (int(x/y*100))*\"#\" + int((y-x)/y*100)*\"_\" + \"]\")\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "def make_BSM_file_temp (s):\n",
    "\n",
    "\treturn s[:-12] + \".\" + s[-12:]\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "def head_cleaner(file_to_process):\n",
    "\n",
    "\tfin = open(file_to_process, 'r')\t\n",
    "\tdata = np.loadtxt(fin)[6:]\n",
    "\tprint(\"Data cleaning\")\n",
    "\tdata = data[np.all(data != 255, axis=1)]\n",
    "\tnp.savetxt(file_to_process[:-4] +\".whd\", data, fmt=\"%d\")\n",
    "\tfin.close()\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "def data_to_ampl(file_to_process):\n",
    "\n",
    "\tfin = open(file_to_process, 'r')\n",
    "\tdata = np.loadtxt(fin)\n",
    "\tampl = np.zeros((len(data), 2))\n",
    "\tprint(\"Converting to amplitudes\")\n",
    "\tampl[:,0] = data[:,0] + 256*data[:,1]\n",
    "\tampl[:,1] = data[:,2] + 256*data[:,3]\n",
    "\tnp.savetxt(file_to_process[:-4] +\".amp\", ampl, fmt=\"%d\")\n",
    "\tfin.close()\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n",
    "\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\"\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}