SVM optimizations by mxprshn · Pull Request #130 · VSharp-team/VSharp

mxprshn · 2022-06-02T17:28:46Z

constraint independence optimization
condition evaluation on branching to avoid extra solver queries
SMT solver incrementality mode

…ants

…fixes

MchKosticyn

Отличный pull request, но нужно поправить пару синтаксических моментов

MchKosticyn · 2022-07-13T15:33:02Z

VSharp.SILI.Core/State.fs

        abstract Compose : state -> term
+
+module public State =
+    let makeEmpty modelState = {


Очень часто встречается State.makeEmpty None. Лучше сделать для этого отдельную функцию.

MchKosticyn · 2022-07-13T15:37:19Z

VSharp.SILI.Core/PathCondition.fs

+            isFalse <- true
+
+        new() =
+            PathCondition(HashSet<term>(), false)


Лучше вещи, которые можно уместить в одной строчке, умещать на ней

MchKosticyn · 2022-07-13T15:37:41Z

VSharp.SILI.Core/PathCondition.fs

+
+        override this.ToString() =
+            if (this :> IPathCondition).IsEmpty then
+                "true"


Аналогично тут и в других местах

MchKosticyn · 2022-07-13T15:39:07Z

VSharp.SILI.Core/PathCondition.fs

+
+            member this.Map mapper =
+                let mapped = PathCondition() :> IPathCondition
+                Seq.iter (mapper >> mapped.Add) constraints


Возможно, лучше будет сделать конструктор от списка условий

В плане сделать PathCondition(HashSet(Seq.map mapper constraints), isFalse)? Тогда не произойдет упрощений, которые делаются внутри add (например, если маппер мапит все констрейнты в false, то условие пути не станет простым false)

MchKosticyn · 2022-07-13T15:42:09Z

VSharp.SILI.Core/PathCondition.fs

+            else
+                constantsToAdd 
+                |> Seq.pairwise 
+                |> Seq.iteri (fun i (previous, next) ->


Лучше вместо больших лямбд определять функции (которые можно определить внутри текущей функции)

MchKosticyn · 2022-07-13T16:00:41Z

VSharp.Solver/Z3.fs

                    | Status.SATISFIABLE ->
                        let z3Model = optCtx.Model
-                        let model = builder.MkModel z3Model
+                        let updatedModel = {q.currentModel with state = {q.currentModel.state with model = q.currentModel.state.model}}


Значение state лучше вынести в отдельную функцию

Просто для красоты? Или оно где-то еще используется?

MchKosticyn · 2022-07-13T16:01:46Z

VSharp.Solver/Z3.fs

+                    seq {
+                        yield! Seq.cast<BoolExpr> encoded.assumptions
+                        yield encoded.expr :?> BoolExpr
+                }


Не хватает tab

MchKosticyn · 2022-07-13T16:03:25Z

VSharp.Solver/Z3.fs

+                    let boolConsts = seq {
+                        for expr in exprs do
+                            let mutable name = ""
+                            if (assumptions.TryGetValue(expr, &name)) then


Лишние скобки

MchKosticyn · 2022-07-13T16:05:26Z

VSharp.Solver/Z3.fs

+                                yield boolConst
+                    }
+                    let names = boolConsts |> Seq.map (fun c -> c.ToString())
+                    let amp = " & "


Лучше заинлайнить это значение

MchKosticyn · 2022-07-13T16:07:59Z

VSharp.Utils/Stopwatch.fs

+                {
+                    commitHash = commitHash
+                    dateTime = currentDateTime
+                    caseName = caseName
+                    tag = tag
+                    timesCalled = m.timesCalled
+                    totalTicks = m.stopwatch.ElapsedTicks
+                    totalMs = m.stopwatch.ElapsedMilliseconds
+                    testsGenerated = testsGenerated
+                }


Можно сделать создание этой структуры в отдельной подфункции (определить ее внутри этой)

dvvrd · 2022-07-13T15:35:14Z

VSharp.Utils/UnitTest.fs

+            stateId <- id

    member x.Method with get() = m
    member x.ThisArg


для чего обновилась версия зависимости runtime (см. ниже)?

Упс, это что-то пошло не так

dvvrd · 2022-07-13T15:36:30Z

VSharp.Utils/TaggedLogger.fs

@@ -0,0 +1,39 @@
+namespace VSharp


зачем разводить много логгеров в проекте? этот вообще сейчас используется?

Этот использовал, чтобы выводить логи для каждой ветки отдельно (заводил на каждую ветку тег). Наверное, можно его вместе со Stopwatch вынести в какую-нибудь другую ветку

dvvrd · 2022-07-13T15:37:40Z

VSharp.Utils/Stopwatch.fs

@@ -0,0 +1,122 @@
+namespace VSharp


этот класс точно нужен в мастере? может его вынести в отдельную ветку, а в мастере всё же профилироваться?

upd (чтобы не забыть): выводить время работы солвера в статистику

dvvrd · 2022-07-13T15:46:07Z

VSharp.Test/IntegrationTests.cs

            private TestResult Explore(TestExecutionContext context)
            {
                Core.API.ConfigureSolver(SolverPool.mkSolver());
+                Core.API.SetFeatureFlags(new featureFlags(false, false, false));


тут тоже выпилить фичу conditionEvaluation (пусть она работает всегда), а constraintIndependence включить по умолчанию.

dvvrd · 2022-07-13T15:46:47Z

VSharp.API/SvmOptions.cs

@@ -0,0 +1,24 @@
+using VSharp.Core;


этот файл надо смёржить с SILIOptions

dvvrd · 2022-07-13T16:10:18Z

VSharp.SILI.Core/API.fs

 open VSharp

 module API =
+    let SetFeatureFlags flags =


Предлагаю сделать более мелкозернистое управление фичами. Вместо создания FeatureFlags и установки их сюда, предлагаю сделать 1 метод в API -- setConstraintSlicingEnabled. Как писал выше, conditionEvaluation -- выпилить, а incrementality передавать в ConfigureSolver (см. следующий метод).

Предлагаешь переименовать independence в slicing, или опечатка?

dvvrd · 2022-07-13T16:10:38Z

VSharp.SILI.Core/FeatureFlags.fs

@@ -0,0 +1,18 @@
+namespace VSharp.Core


как писал в API.fs, предлагаю избавиться от этого файла

dvvrd · 2022-07-13T16:24:24Z

VSharp.SILI.Core/PathCondition.fs

+    /// <summary>
+    /// Naive path condition implementation which maintains a single set of constraints
+    /// </summary>
+    type private PathCondition private (constraints : HashSet<term>, isFalse : bool) =


почему этот PathCondition стал мутабельным? форкать состояния будет же дороже теперь...

Правильно же понимаю, что из-за того, что copy будет очень накладным? А в персистентном множестве будет оставаться общая часть?

dvvrd · 2022-07-13T16:26:52Z

VSharp.SILI.Core/PathCondition.fs

+        /// Find operation of the union-find structure. Returns not the representative element, but the element before it
+        /// (for convenience)
+        /// </summary>
+        let rec findPrevious constant =            


почему find не перестраивает структуру данных? если этого не делать, дерево вытягивается в цепочку

dvvrd · 2022-07-13T16:29:09Z

VSharp.SILI.Core/PathCondition.fs

+                match (nextNode onePrevious), (nextNode anotherPrevious) with
+                | Tail(oneRepresentative, oneConstraints), Tail(anotherRepresentative, anotherConstraints) when
+                    oneRepresentative <> anotherRepresentative ->
+                        let constraintsUnion = PersistentSet.union oneConstraints anotherConstraints


в DSU еще есть эвристика объединения по размеру, чтобы держать дерево более сбалансированным. ее я тоже тут не вижу

Возникла сложность с тем, что нужны были не только операции union и find, но и операция, которая возвращает одно из независимых подмножеств. Сходу не очень понял, как это можно было бы реализовать эффективно в дереве --- пришлось бы постоянно для каждого элемента искать его root. Из-за этого запилил циклические списки, но с ними как раз проблема, что не добавить эвристики, которые работают с деревьями.

Хотя, с другой стороны, если с эвристиками поиск рута в дереве может занимать константу --- то видимо это не так уж и неэффективно, и какие-то велосипеды изобретать было не нужно

…ndependentWith in struct field source, multiple frames in model

mxprshn · 2022-08-03T14:31:09Z

VSharp.Solver/Z3.fs

+                                yield! (Seq.cast<_> assumptions)
+                                yield query.expr
+                            }
+                            |> Seq.distinct |> Array.ofSeq


Заметил, что могли возникать повторяющиеся assumptions (в т. ч. в мастере), пофиксил с помощью Seq.distinct

…ethod

mxprshn added 30 commits September 11, 2021 15:58

Add discover constants recursive function

634f871

Try to implement persistent union find

e110c7e

Fix discover constants to use pset

b537708

Try to implement path condition slicing

4c01d0b

Implement IndependentWith method for constant sources

8a823f5

Add conditions grouping by source independence

e788dd2

Move independence logic to pathCondition from pathConditionIndependent

f0a6581

Rename constraintsWithConstants field

e115574

Make persistent union-find cyclic

3dcfc0b

Add subset function to persistent union find

d2d6cee

Add fragments iterator to pathCondition

b0f02e9

Add some comments

147a3bc

Add some persistent union find tests

e7839b4

Add with independent by function and some sandbox code

f91a799

Merge branch 'master' into constraint-independence

cee9447

Update commonStatedConditionalExecutionk to use constraint independence

22b44c1

Update model in Z3 module instead of creating it

2ca9dbd

Implement SubTerms for heapReading

e247715

Fix subterms for heapReading and add Slice and Union to discoverConst…

08d1672

…ants

Merge branch 'master' into constraint-independence

e4f9696

Prettify code

0b9188d

[style] PR comments fixes

66756cc

[fix] Fix PC check for False

4f3a431

[style] Use Option.defaultValue and rename slice args

c9dbb4a

Add StatedLogger and clear cache after model update

8abad91

Fill model with this and params

7251d4e

[fix] Fix namespace conflict

99f366d

[style] Check if pc contains cond more prettily

de31156

[feat] Add Stopwatch module for method execution time measurement

46c76ba

[feat] Add execution time writing to csv

c5f1e44

mxprshn added 9 commits May 17, 2022 13:03

Very dirty attempt to eval model before

cbadf8c

[style] Prettify code a bit

3291c74

[fix] Remove noNewConsts

78cd8c1

[fix] Save number of generated unit tests to csv

35e4756

[fix] Make regex test harder

40edf31

[fix] Set expected coverage for new tests

defb901

[fix] Add PC class without independence

fd05f66

[feat] Add ability to enable/disable opts with flags

9a592c2

[fix] Fix CLI arguments, disable logging and time measurement, style …

a9b40c3

…fixes

mxprshn mentioned this pull request Jun 2, 2022

Constraint independence #124

Closed

MchKosticyn requested changes Jul 13, 2022

View reviewed changes

dvvrd requested changes Jul 13, 2022

View reviewed changes

mxprshn added 15 commits July 15, 2022 16:22

Merge branch 'VSharp-team:master' into opts-master

2449219

[style] Style fixes

dd65e89

[fix] Fix runtime submodule version

cef420d

[fix] Add API level options class and remove eval condition option

de680e3

Merge branch 'master' into opts-master

e2fcd66

[fix] Fix conflicts after master merge

a8226e1

Merge branch 'master' into opts-master

23e00c0

[fix] Fix FillWithParametersAndThis signature

49b281c

Merge branch 'master' into opts-master

b66151d

[fix] Fix 'visualize' option conflict

5d624a6

[fix] Fix broken import

d71e132

[fix] Bug fixes: incorrect vector time in encoding cache, incorrect I…

d077c56

…ndependentWith in struct field source, multiple frames in model

[fix] Fix Z3 builder cache clearing

814d398

[style] Remove Stopwatch and TaggedLogger from production

c0f325f

[fix] Enable constraint-independence for integration tests

b5a2ebd

mxprshn commented Aug 3, 2022

View reviewed changes

mxprshn added 2 commits August 3, 2022 17:36

[fix] In incremental mode, create solver for each covered method

53419b6

[fix] CLI options style fixes + remove new solver creation for each m…

0ffc829

…ethod

Conversation

mxprshn commented Jun 2, 2022

Uh oh!

MchKosticyn left a comment

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

mxprshn Jul 15, 2022 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

mxprshn Aug 3, 2022 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

3 participants

mxprshn Jul 15, 2022 •

edited

Loading

mxprshn Aug 3, 2022 •

edited

Loading