diff --git a/.gitignore b/.gitignore new file mode 100644 index 00000000..9b4dad21 --- /dev/null +++ b/.gitignore @@ -0,0 +1,10 @@ +result.json +data*.txt + +/tmp/* +!/tmp/.keep +!/tmp/ruby_prof/.keep +!/tmp/stackprof/.keep + +# Ignore MacOS system files +.DS_Store diff --git a/README.md b/README.md index a967d893..fead9a09 100644 --- a/README.md +++ b/README.md @@ -94,17 +94,17 @@ head -n N data_large.txt > dataN.txt # create smaller file from larger (take N f ## Checklist Советую использовать все рассмотренные в лекции инструменты хотя бы по разу - попрактикуйтесь с ними, научитесь с ними работать. -- [ ] Прикинуть зависимость времени работы програмы от размера обрабатываемого файла -- [ ] Построить и проанализировать отчёт `ruby-prof` в режиме `Flat`; -- [ ] Построить и проанализировать отчёт `ruby-prof` в режиме `Graph`; -- [ ] Построить и проанализировать отчёт `ruby-prof` в режиме `CallStack`; -- [ ] Построить и проанализировать отчёт `ruby-prof` в режиме `CallTree` c визуализацией в `QCachegrind`; -- [ ] Построить дамп `stackprof` и проанализировать его с помощью `CLI` -- [ ] Построить дамп `stackprof` в `json` и проанализировать его с помощью `speedscope.app` -- [ ] Профилировать работающий процесс `rbspy`; -- [ ] Добавить в программу `ProgressBar`; -- [ ] Постараться довести асимптотику до линейной и проверить это тестом; -- [ ] Написать простой тест на время работы: когда вы придёте к оптимизированному решению, замерьте, сколько оно будет работать на тестовом объёме данных; и напишите тест на то, что это время не превышается (чтобы не было ложных срабатываний, задайте время с небольшим запасом); +- [x] Прикинуть зависимость времени работы програмы от размера обрабатываемого файла +- [x] Построить и проанализировать отчёт `ruby-prof` в режиме `Flat`; +- [x] Построить и проанализировать отчёт `ruby-prof` в режиме `Graph`; +- [x] Построить и проанализировать отчёт `ruby-prof` в режиме `CallStack`; +- [x] Построить и проанализировать отчёт `ruby-prof` в режиме `CallTree` c визуализацией в `QCachegrind`; +- [x] Построить дамп `stackprof` и проанализировать его с помощью `CLI` +- [x] Построить дамп `stackprof` в `json` и проанализировать его с помощью `speedscope.app` +- [x] Профилировать работающий процесс `rbspy`; +- [x] Добавить в программу `ProgressBar`; +- [x] Постараться довести асимптотику до линейной и проверить это тестом; +- [x] Написать простой тест на время работы: когда вы придёте к оптимизированному решению, замерьте, сколько оно будет работать на тестовом объёме данных; и напишите тест на то, что это время не превышается (чтобы не было ложных срабатываний, задайте время с небольшим запасом); ### Главное Нужно потренироваться методично работать по схеме с фидбек-лупом: diff --git a/case-study.md b/case-study.md new file mode 100644 index 00000000..9ce71199 --- /dev/null +++ b/case-study.md @@ -0,0 +1,103 @@ +# Case-study оптимизации + +## Актуальная проблема +В нашем проекте возникла серьёзная проблема. + +Необходимо было обработать файл с данными, чуть больше ста мегабайт. + +У нас уже была программа на `ruby`, которая умела делать нужную обработку. + +Она успешно работала на файлах размером пару мегабайт, но для большого файла она работала слишком долго, и не было понятно, закончит ли она вообще работу за какое-то разумное время. + +Я решил исправить эту проблему, оптимизировав эту программу. + +## Формирование метрики +Для того, чтобы понимать, дают ли мои изменения положительный эффект на быстродействие программы я придумал использовать такую метрику: время выполнения программы для части данных (сначала 50к, потом 100к, потом 1кк). + +Сначала сделал гипотезу о том, что асимптотика времени работы программы квадратичная: отношение количества записей к времени выполнения в секундах: 100000/115 750000/61 50000/26, 25000/6). Подтвердил эту гипотезу с помощью теста rspec-benchmark. + +## Гарантия корректности работы оптимизированной программы +Программа поставлялась с тестом. Выполнение этого теста в фидбек-лупе позволяет не допустить изменения логики программы при оптимизации. + +## Feedback-Loop +Для того, чтобы иметь возможность быстро проверять гипотезы я выстроил эффективный `feedback-loop`, который позволил мне получать обратную связь по эффективности сделанных изменений за *время, которое у вас получилось* + +Вот как я построил `feedback_loop`: профилирование - изменение кода - тестирование – бенчмаркинг – откат при отсутствии разницы от оптимизации/сохранение результатов + +## Вникаем в детали системы, чтобы найти главные точки роста +Для того, чтобы найти "точки роста" для оптимизации я воспользовался rbspy, stackprof, ruby-prof + +Вот какие проблемы удалось найти и решить + +### Находка №1 +- rbspy показал `83.55 83.55 block (2 levels) in work - task-1.rb:101`: вызов `sessions.filter {}` на каждой итерации по `users.each`; +- перед `users.each` сгруппировал `sessions_by_user = sessions.group_by { |session| session['user_id'] }`, в `each` использовал как `sessions_by_user[user['id']] || []` +- время выполнения программы для 100к входных данных сократилось с 115с до 4с +- исправленная проблема перестала быть главной точкой роста, rbspy показал, что теперь это `98.49 100.00 block in work - task-1.rb:56` + +### Находка №2 +- stackprof cli показал `7126 (99.4%) 11 (0.2%) Array#each`, он вызывается несколько раз, наибольшее `6504 ( 91.3%) Object#work]`. Поскольку rbspy указывал на `task-1.rb:56`, что является `end` `each` блока, пробую вынести этот`each` в отдельный метод `parse_file`и подтвердить гипотезу, которая и подтверждается: `5765 (99.8%) 5525 (95.7%) Object#parse_file`. Теперь нужно разобраться, какая именно операция в этом блоке `each` требует оптимизации, `stackprof stackprof.dump --method Object#parse_file` показывает, что это заполнение массива сессий: `5261 (93.2%) / 5133 (90.9%) | 52 | sessions = sessions + [parse_session(line)] if cols[0] == 'session'`. +- вместо `sessions = sessions + [parse_session(line)] if cols[0] == 'session'` использую `sessions << parse_session(line) if cols[0] == 'session'`. аналогично для `users` +- время выполнения программы для 500к входных данных сократилось с 100с до 13с +- исправленная проблема перестала быть главной точкой роста, stackprof cli показал, что теперь это `558 (100.0%) 202 (36.2%) Object#work` + +### Находка №3 +- `ruby-prof` в режиме `Graph` показывает, что точкой роста является `25.55% 25.55% 8.23 8.23 0.00 0.00 154066 Array#+` в `8.23 8.23 0.00 0.00 154066/154066 Array#each`. под это описания подходит 108 строка. +- вместо `users_objects = users_objects + [user_object]` используем `users_objects << [user_object]` +- время выполнения программы для 500к входных данных сократилось с 12с до с 6c +- исправленная проблема перестала быть главной точкой роста, ruby prof показал, что теперь это `66.16% 26.52% 13.47 5.40 0.00 8.07 500000 Array#all?` + +### Находка №3 +- `ruby-prof` в режиме `Graph` показывает, что точкой роста является `25.55% 25.55% 8.23 8.23 0.00 0.00 154066 Array#+` в `8.23 8.23 0.00 0.00 154066/154066 Array#each`. под это описания подходит 108 строка. +- вместо `users_objects = users_objects + [user_object]` используем `users_objects << user_object` +- время выполнения программы для 500к входных данных сократилось с 12с до с 6c +- исправленная проблема перестала быть главной точкой роста, ruby prof показал, что теперь это `66.16% 26.52% 13.47 5.40 0.00 8.07 500000 Array#all?` + +### Находка №4 +- `ruby-prof` в режиме `Graph` показывает, что точкой роста является `8.03 5.25 0.00 2.78 42580848/42580848 BasicObject#!= 85` в `66.16% 26.52% 13.47 5.40 0.00 8.07 500000 Array#all?`. +- вместо `if uniqueBrowsers.all? { |b| b != browser }` используем `unless uniqueBrowsers.include?(browser)` +- время выполнения программы для 500к входных данных сократилось с 6с до с 5c +- исправленная проблема перестала быть главной точкой роста, ruby prof показал, что теперь это `66.16% 26.52% 13.47 5.40 0.00 8.07 500000 Array#all?` + +### Находка №5 +- `ruby-prof` в режиме `Graph` показывает, что точкой роста является `2.65 0.81 0.00 1.84 846263/846265 Array#map 120` в `94.64% 22.99% 7.22 1.75 0.00 5.47 11 Array#each`. Больше всего вызовов из `Object#collect_stats_from_users` +- объединяем все блоки вызова `collect_stats_from_users` в один +- время выполнения программы для 1кк входных данных сократилось с 12с до с 10c +- исправленная проблема перестала быть главной точкой роста, ruby prof показал, что теперь это `27.07% 16.32% 3.99 2.41 0.00 1.58 846230 #parse` + +### Находка №5 +- `ruby-prof` в режиме `Graph` показывает, что точкой роста является `27.07% 16.32% 3.99 2.41 0.00 1.58 846230 #parse`, это строка `user.sessions.map{|s| s['date']}.map {|d| Date.parse(d)}.sort.reverse.map { |d| d.iso8601 }` +- поскольку строки уже находятся в формате iso8601, это позволяет использовать строки для сортировки не преобразуя их в даты: убираем парсинг дат, с последующим преобразованием в iso8601. +- время выполнения программы для 1кк входных данных сократилось с 10с до с 7.5c +- исправленная проблема перестала быть главной точкой роста. + +### Находка №6 +- `ruby-prof` в режиме `CallStack` показывает, что точкой роста является `7.20% (15.82%) Array#include? [846230 calls, 846230 total]` +- вместо формирования уникальных браузеров через each, сделаем `uniqueBrowsers = sessions.map { |session| session['browser'] }.uniq`. +- время выполнения программы для 1кк входных данных сократилось с 7.5 до с 6.9c +- исправленная проблема перестала быть главной точкой роста. + +### Находка №7 +- `ruby-prof` в режиме `CallGrind` показывает, что точкой роста является `Object::collect_stats_from_users`-> `Array::map`->`String::upcase` +- поскольку используется только `upcase` версия браузера, при парсинге сессия сразу записываем `upcase` версию. Поскольку не так много видов браузеров относительно общего количества сессий, используем мемоизацию. +- время выполнения программы для 1кк входных данных сократилось с 6.9 до с 6.4c +- исправленная проблема перестала быть главной точкой роста. + +### Находка №8 +- `ruby-prof` в режиме `CallGrind` показывает, что точкой роста является `Array::each`->`Array::each`->`Object::parse_session`->`String::split` +- делаем `split` только единожды для каждой строчки, в `parse_user`, `parse_session` передаем уже массив, а не строку +- время выполнения программы для 1кк входных данных сократилось с 6.4 до с 5.4c +- исправленная проблема перестала быть главной точкой роста. + +### Находка №9 +- `ruby-prof` в режиме `CallGrind` показывает, что точкой роста является `Object::collect_stats_from_users`->`Array::each`->`Array::map`->`String::to_i` +- поскольку используется только целочисленное значение `time`, делаем преобразование `to_i` один раз в `parse_session`, а не дважды в `collect_stats_from_users`. +- время выполнения программы для 1кк входных данных сократилось с 5.4 до с 5c +- исправленная проблема перестала быть главной точкой роста. + +## Результаты +В результате проделанной оптимизации наконец удалось обработать файл с данными. +Удалось улучшить метрику системы на 100к с 115с до 0.5с секунд и уложиться в заданный бюджет. Для полного файла время выполнение стало 24с. + +## Защита от регрессии производительности +Для защиты от потери достигнутого прогресса при дальнейших изменениях программы добавил два теста: прогон на 1кк данных до 5 секунд, проверка на линейную асимптотику на основе данных от 1000 до 100000 записей. diff --git a/data.txt b/data.txt deleted file mode 100644 index 393b0b8b..00000000 --- a/data.txt +++ /dev/null @@ -1,18 +0,0 @@ -user,0,Leida,Cira,0 -session,0,0,Safari 29,87,2016-10-23 -session,0,1,Firefox 12,118,2017-02-27 -session,0,2,Internet Explorer 28,31,2017-03-28 -session,0,3,Internet Explorer 28,109,2016-09-15 -session,0,4,Safari 39,104,2017-09-27 -session,0,5,Internet Explorer 35,6,2016-09-01 -user,1,Palmer,Katrina,65 -session,1,0,Safari 17,12,2016-10-21 -session,1,1,Firefox 32,3,2016-12-20 -session,1,2,Chrome 6,59,2016-11-11 -session,1,3,Internet Explorer 10,28,2017-04-29 -session,1,4,Chrome 13,116,2016-12-28 -user,2,Gregory,Santos,86 -session,2,0,Chrome 35,6,2018-09-21 -session,2,1,Safari 49,85,2017-05-22 -session,2,2,Firefox 47,17,2018-02-02 -session,2,3,Chrome 20,84,2016-11-25 diff --git a/rbspy/record.sh b/rbspy/record.sh new file mode 100755 index 00000000..5b36763c --- /dev/null +++ b/rbspy/record.sh @@ -0,0 +1,2 @@ +#!/bin/sh +ruby work.rb | ps aux | grep work.rb | grep -v grep | awk '{print $2}' | xargs sudo rbspy record --pid diff --git a/ruby_prof/call_grind.rb b/ruby_prof/call_grind.rb new file mode 100644 index 00000000..0a40c23d --- /dev/null +++ b/ruby_prof/call_grind.rb @@ -0,0 +1,12 @@ +require_relative '../task-1' + +require 'ruby-prof' + +RubyProf.measure_mode = RubyProf::WALL_TIME + +result = RubyProf.profile do + GC.disable + work +end +printer = RubyProf::CallTreePrinter.new(result) +printer.print(path: 'tmp/ruby_prof', profile: 'callgrind') diff --git a/ruby_prof/call_stack.rb b/ruby_prof/call_stack.rb new file mode 100644 index 00000000..b89b1fef --- /dev/null +++ b/ruby_prof/call_stack.rb @@ -0,0 +1,12 @@ +require_relative '../task-1' + +require 'ruby-prof' + +RubyProf.measure_mode = RubyProf::WALL_TIME + +result = RubyProf.profile do + GC.disable + work +end +printer = RubyProf::CallStackPrinter.new(result) +printer.print(File.open("tmp/ruby_prof/callstack_#{Time.now.to_i}.html", 'w+')) diff --git a/ruby_prof/flat.rb b/ruby_prof/flat.rb new file mode 100644 index 00000000..fbd9dd0d --- /dev/null +++ b/ruby_prof/flat.rb @@ -0,0 +1,12 @@ +require_relative '../task-1' + +require 'ruby-prof' + +RubyProf.measure_mode = RubyProf::WALL_TIME + +result = RubyProf.profile do + GC.disable + work +end +printer = RubyProf::FlatPrinter.new(result) +printer.print(File.open("tmp/ruby_prof/flat_#{Time.now.to_i}.html", 'w+')) diff --git a/ruby_prof/graph.rb b/ruby_prof/graph.rb new file mode 100644 index 00000000..0caec24f --- /dev/null +++ b/ruby_prof/graph.rb @@ -0,0 +1,12 @@ +require_relative '../task-1' + +require 'ruby-prof' + +RubyProf.measure_mode = RubyProf::WALL_TIME + +result = RubyProf.profile do + GC.disable + work +end +printer = RubyProf::GraphHtmlPrinter.new(result) +printer.print(File.open("tmp/ruby_prof/graph_#{Time.now.to_i}.html", 'w+')) diff --git a/spec/task-1_spec.rb b/spec/task-1_spec.rb new file mode 100644 index 00000000..06963da2 --- /dev/null +++ b/spec/task-1_spec.rb @@ -0,0 +1,27 @@ +require 'rspec' +require 'rspec-benchmark' +require_relative '../task-1' + +RSpec.describe 'work' do + include RSpec::Benchmark::Matchers + + it 'should be linear' do + expect { |number, _| + `head -n #{number * 1000} data_large.txt > data.txt` + + work + }.to perform_linear.in_range(1, 100) + end + + it 'should perform under 5 seconds' do + `head -n 1000000 data_large.txt > data.txt` + + expect { work }.to perform_under(5).sec + end + + # it 'should perform under 30 seconds' do + # `cp data_large.txt data.txt` + + # expect { work }.to perform_under(30).sec + # end +end diff --git a/stackprof/cli.rb b/stackprof/cli.rb new file mode 100644 index 00000000..4aa038b4 --- /dev/null +++ b/stackprof/cli.rb @@ -0,0 +1,8 @@ +require_relative '../task-1' + +require 'stackprof' + +StackProf.run(mode: :wall, out: "tmp/stackprof/cli_#{Time.now.to_i}.dump", interval: 1000) do + GC.disable + work +end diff --git a/stackprof/speedscope.rb b/stackprof/speedscope.rb new file mode 100644 index 00000000..9f1208cb --- /dev/null +++ b/stackprof/speedscope.rb @@ -0,0 +1,10 @@ +require_relative '../task-1' + +require 'stackprof' + +profile = StackProf.run(mode: :wall, raw: true) do + GC.disable + work +end + +File.write("tmp/stackprof/speedscope_#{Time.now.to_i}.json", JSON.generate(profile)) diff --git a/task-1.rb b/task-1.rb index 778672df..92dcdea9 100644 --- a/task-1.rb +++ b/task-1.rb @@ -3,7 +3,7 @@ require 'json' require 'pry' require 'date' -require 'minitest/autorun' +require 'ruby-progressbar' class User attr_reader :attributes, :sessions @@ -14,8 +14,7 @@ def initialize(attributes:, sessions:) end end -def parse_user(user) - fields = user.split(',') +def parse_user(fields) parsed_result = { 'id' => fields[1], 'first_name' => fields[2], @@ -24,13 +23,12 @@ def parse_user(user) } end -def parse_session(session) - fields = session.split(',') +def parse_session(fields) parsed_result = { 'user_id' => fields[1], 'session_id' => fields[2], 'browser' => fields[3], - 'time' => fields[4], + 'time' => fields[4].to_i, 'date' => fields[5], } end @@ -43,16 +41,24 @@ def collect_stats_from_users(report, users_objects, &block) end end -def work +def work(with_progressbar: false) file_lines = File.read('data.txt').split("\n") + progressbar = ProgressBar.create(title: 'Parsing', total: file_lines.count) if with_progressbar users = [] sessions = [] + upcased_browser ||= {} file_lines.each do |line| cols = line.split(',') - users = users + [parse_user(line)] if cols[0] == 'user' - sessions = sessions + [parse_session(line)] if cols[0] == 'session' + users << parse_user(cols) if cols[0] == 'user' + + if cols[0] == 'session' + cols[3] = upcased_browser[cols[3]] || (upcased_browser[cols[3]] = cols[3].upcase) + sessions << parse_session(cols) + end + + progressbar.increment if with_progressbar end # Отчёт в json @@ -75,11 +81,7 @@ def work report[:totalUsers] = users.count # Подсчёт количества уникальных браузеров - uniqueBrowsers = [] - sessions.each do |session| - browser = session['browser'] - uniqueBrowsers += [browser] if uniqueBrowsers.all? { |b| b != browser } - end + uniqueBrowsers = sessions.map { |session| session['browser'] }.uniq report['uniqueBrowsersCount'] = uniqueBrowsers.count @@ -88,7 +90,6 @@ def work report['allBrowsers'] = sessions .map { |s| s['browser'] } - .map { |b| b.upcase } .sort .uniq .join(',') @@ -96,81 +97,45 @@ def work # Статистика по пользователям users_objects = [] + sessions_by_user = sessions.group_by { |session| session['user_id'] } + + progressbar = ProgressBar.create(title: 'Creating', total: sessions_by_user.count) if with_progressbar + users.each do |user| attributes = user - user_sessions = sessions.select { |session| session['user_id'] == user['id'] } + user_sessions = sessions_by_user[user['id']] || [] user_object = User.new(attributes: attributes, sessions: user_sessions) - users_objects = users_objects + [user_object] - end - - report['usersStats'] = {} - - # Собираем количество сессий по пользователям - collect_stats_from_users(report, users_objects) do |user| - { 'sessionsCount' => user.sessions.count } - end - - # Собираем количество времени по пользователям - collect_stats_from_users(report, users_objects) do |user| - { 'totalTime' => user.sessions.map {|s| s['time']}.map {|t| t.to_i}.sum.to_s + ' min.' } - end + users_objects << user_object - # Выбираем самую длинную сессию пользователя - collect_stats_from_users(report, users_objects) do |user| - { 'longestSession' => user.sessions.map {|s| s['time']}.map {|t| t.to_i}.max.to_s + ' min.' } - end - - # Браузеры пользователя через запятую - collect_stats_from_users(report, users_objects) do |user| - { 'browsers' => user.sessions.map {|s| s['browser']}.map {|b| b.upcase}.sort.join(', ') } + progressbar.increment if with_progressbar end - # Хоть раз использовал IE? - collect_stats_from_users(report, users_objects) do |user| - { 'usedIE' => user.sessions.map{|s| s['browser']}.any? { |b| b.upcase =~ /INTERNET EXPLORER/ } } - end + report['usersStats'] = {} - # Всегда использовал только Chrome? - collect_stats_from_users(report, users_objects) do |user| - { 'alwaysUsedChrome' => user.sessions.map{|s| s['browser']}.all? { |b| b.upcase =~ /CHROME/ } } - end + progressbar = ProgressBar.create(title: 'Collecting', total: users_objects.count) if with_progressbar - # Даты сессий через запятую в обратном порядке в формате iso8601 collect_stats_from_users(report, users_objects) do |user| - { 'dates' => user.sessions.map{|s| s['date']}.map {|d| Date.parse(d)}.sort.reverse.map { |d| d.iso8601 } } + data = { + # Собираем количество сессий по пользователям + 'sessionsCount' => user.sessions.count, + # Собираем количество времени по пользователям + 'totalTime' => user.sessions.map {|s| s['time']}.sum.to_s + ' min.', + # Выбираем самую длинную сессию пользователя + 'longestSession' => user.sessions.map {|s| s['time']}.max.to_s + ' min.', + # Браузеры пользователя через запятую + 'browsers' => user.sessions.map {|s| s['browser']}.sort.join(', '), + # Хоть раз использовал IE? + 'usedIE' => user.sessions.map{|s| s['browser']}.any? { |b| b =~ /INTERNET EXPLORER/ }, + # Всегда использовал только Chrome? + 'alwaysUsedChrome' => user.sessions.map{|s| s['browser']}.all? { |b| b =~ /CHROME/ }, + # Даты сессий через запятую в обратном порядке в формате iso8601 + 'dates' => user.sessions.map{|s| s['date']}.sort { |d1, d2| d2 <=> d1 }, + } + + progressbar.increment if with_progressbar + + data end File.write('result.json', "#{report.to_json}\n") end - -class TestMe < Minitest::Test - def setup - File.write('result.json', '') - File.write('data.txt', -'user,0,Leida,Cira,0 -session,0,0,Safari 29,87,2016-10-23 -session,0,1,Firefox 12,118,2017-02-27 -session,0,2,Internet Explorer 28,31,2017-03-28 -session,0,3,Internet Explorer 28,109,2016-09-15 -session,0,4,Safari 39,104,2017-09-27 -session,0,5,Internet Explorer 35,6,2016-09-01 -user,1,Palmer,Katrina,65 -session,1,0,Safari 17,12,2016-10-21 -session,1,1,Firefox 32,3,2016-12-20 -session,1,2,Chrome 6,59,2016-11-11 -session,1,3,Internet Explorer 10,28,2017-04-29 -session,1,4,Chrome 13,116,2016-12-28 -user,2,Gregory,Santos,86 -session,2,0,Chrome 35,6,2018-09-21 -session,2,1,Safari 49,85,2017-05-22 -session,2,2,Firefox 47,17,2018-02-02 -session,2,3,Chrome 20,84,2016-11-25 -') - end - - def test_result - work - expected_result = '{"totalUsers":3,"uniqueBrowsersCount":14,"totalSessions":15,"allBrowsers":"CHROME 13,CHROME 20,CHROME 35,CHROME 6,FIREFOX 12,FIREFOX 32,FIREFOX 47,INTERNET EXPLORER 10,INTERNET EXPLORER 28,INTERNET EXPLORER 35,SAFARI 17,SAFARI 29,SAFARI 39,SAFARI 49","usersStats":{"Leida Cira":{"sessionsCount":6,"totalTime":"455 min.","longestSession":"118 min.","browsers":"FIREFOX 12, INTERNET EXPLORER 28, INTERNET EXPLORER 28, INTERNET EXPLORER 35, SAFARI 29, SAFARI 39","usedIE":true,"alwaysUsedChrome":false,"dates":["2017-09-27","2017-03-28","2017-02-27","2016-10-23","2016-09-15","2016-09-01"]},"Palmer Katrina":{"sessionsCount":5,"totalTime":"218 min.","longestSession":"116 min.","browsers":"CHROME 13, CHROME 6, FIREFOX 32, INTERNET EXPLORER 10, SAFARI 17","usedIE":true,"alwaysUsedChrome":false,"dates":["2017-04-29","2016-12-28","2016-12-20","2016-11-11","2016-10-21"]},"Gregory Santos":{"sessionsCount":4,"totalTime":"192 min.","longestSession":"85 min.","browsers":"CHROME 20, CHROME 35, FIREFOX 47, SAFARI 49","usedIE":false,"alwaysUsedChrome":false,"dates":["2018-09-21","2018-02-02","2017-05-22","2016-11-25"]}}}' + "\n" - assert_equal expected_result, File.read('result.json') - end -end diff --git a/test/task-1_test.rb b/test/task-1_test.rb new file mode 100644 index 00000000..27bc56c7 --- /dev/null +++ b/test/task-1_test.rb @@ -0,0 +1,35 @@ +require_relative '../task-1' +require 'minitest/autorun' + + +class TestMe < Minitest::Test + def setup + File.write('result.json', '') + File.write('data.txt', +'user,0,Leida,Cira,0 +session,0,0,Safari 29,87,2016-10-23 +session,0,1,Firefox 12,118,2017-02-27 +session,0,2,Internet Explorer 28,31,2017-03-28 +session,0,3,Internet Explorer 28,109,2016-09-15 +session,0,4,Safari 39,104,2017-09-27 +session,0,5,Internet Explorer 35,6,2016-09-01 +user,1,Palmer,Katrina,65 +session,1,0,Safari 17,12,2016-10-21 +session,1,1,Firefox 32,3,2016-12-20 +session,1,2,Chrome 6,59,2016-11-11 +session,1,3,Internet Explorer 10,28,2017-04-29 +session,1,4,Chrome 13,116,2016-12-28 +user,2,Gregory,Santos,86 +session,2,0,Chrome 35,6,2018-09-21 +session,2,1,Safari 49,85,2017-05-22 +session,2,2,Firefox 47,17,2018-02-02 +session,2,3,Chrome 20,84,2016-11-25 +') + end + + def test_result + work + expected_result = '{"totalUsers":3,"uniqueBrowsersCount":14,"totalSessions":15,"allBrowsers":"CHROME 13,CHROME 20,CHROME 35,CHROME 6,FIREFOX 12,FIREFOX 32,FIREFOX 47,INTERNET EXPLORER 10,INTERNET EXPLORER 28,INTERNET EXPLORER 35,SAFARI 17,SAFARI 29,SAFARI 39,SAFARI 49","usersStats":{"Leida Cira":{"sessionsCount":6,"totalTime":"455 min.","longestSession":"118 min.","browsers":"FIREFOX 12, INTERNET EXPLORER 28, INTERNET EXPLORER 28, INTERNET EXPLORER 35, SAFARI 29, SAFARI 39","usedIE":true,"alwaysUsedChrome":false,"dates":["2017-09-27","2017-03-28","2017-02-27","2016-10-23","2016-09-15","2016-09-01"]},"Palmer Katrina":{"sessionsCount":5,"totalTime":"218 min.","longestSession":"116 min.","browsers":"CHROME 13, CHROME 6, FIREFOX 32, INTERNET EXPLORER 10, SAFARI 17","usedIE":true,"alwaysUsedChrome":false,"dates":["2017-04-29","2016-12-28","2016-12-20","2016-11-11","2016-10-21"]},"Gregory Santos":{"sessionsCount":4,"totalTime":"192 min.","longestSession":"85 min.","browsers":"CHROME 20, CHROME 35, FIREFOX 47, SAFARI 49","usedIE":false,"alwaysUsedChrome":false,"dates":["2018-09-21","2018-02-02","2017-05-22","2016-11-25"]}}}' + "\n" + assert_equal expected_result, File.read('result.json') + end +end diff --git a/tmp/.keep b/tmp/.keep new file mode 100644 index 00000000..e69de29b diff --git a/work.rb b/work.rb new file mode 100644 index 00000000..af0b475c --- /dev/null +++ b/work.rb @@ -0,0 +1,3 @@ +require_relative 'task-1' + +work(with_progressbar: false)