Тестирование LeoECS Lite, Morpeh, DragonECS и LeoECS Proto

Размещено

Тут вышла занимательная статья по сравнению двух фреймворков. Предлагаю расширить ее до четырех: LeoECS Lite, Morpeh, DragonECS и LeoECS Proto.

Окружение

Версии

Мерять будем как и в оригинальной статье - через Graphy, ведь профессионалы меряют все кадрами в секунду, а не миллисекундами, не будем от них отставать! Заодно и потребление памяти померяем, чтобы мне стало стыдно за жирные SparseSet-ы и зря потраченную память в LeoECS Lite и LeoECS Proto.

Замеры сделаны в сборках под MacOS, собранных с помощью IL2CPP (Release) и запущенных на следующем железе:

Тесты

Тесты как и в оригинальной статье будут состоять из 3 частей:

  • Простое итерирование с обновлением полей компонентов
  • Итерирование с миграцией сущностей при удалении/добавлении 1 компонента
  • Итерирование с миграцией сущностей при удалении/добавлении 3 компонентов.

Во всех тестах используется одно количество сущностей : 500_000.

Итерирование

Все системы помечены IL2CPP-атрибутами (убраны из примеров кода для краткости):

1
2
3
[Il2CppSetOption (Option.NullChecks, false)]
[Il2CppSetOption (Option.ArrayBoundsChecks, false)]
[Il2CppSetOption (Option.DivideByZeroChecks, false)]

Компоненты:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
class Consts {
    public const int ENTITIES_COUNT = 500000;
}
struct TestComponent0 : IComponent, IEcsComponent {
    public int Test;
}
struct TestComponent1 : IComponent, IEcsComponent {
    public int Test;
}
struct TestComponent2 : IComponent, IEcsComponent {
    public int Test;
}
struct TestComponent3 : IComponent, IEcsComponent {
    public int Test;
}

LeoECS Lite

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
public class LiteIterateSystem : IEcsInitSystem, IEcsRunSystem {
    EcsFilter _filter0;
    EcsFilter _filter1;
    EcsFilter _filter2;
    EcsFilter _filter3;
    EcsPool<TestComponent0> _pool0;
    EcsPool<TestComponent1> _pool1;
    EcsPool<TestComponent2> _pool2;
    EcsPool<TestComponent3> _pool3;
    public void Init (IEcsSystems systems) {
        var world = systems.GetWorld ();
        _filter0 = world.Filter<TestComponent0> ().End ();
        _filter1 = world.Filter<TestComponent0> ().Inc<TestComponent1> ().End ();
        _filter2 = world.Filter<TestComponent0> ().Inc<TestComponent1> ().Inc<TestComponent2> ().End ();
        _filter3 = world.Filter<TestComponent0> ().Inc<TestComponent1> ().Inc<TestComponent2> ().Inc<TestComponent3> ().End ();
        _pool0 = world.GetPool<TestComponent0> ();
        _pool1 = world.GetPool<TestComponent1> ();
        _pool2 = world.GetPool<TestComponent2> ();
        _pool3 = world.GetPool<TestComponent3> ();
        for (var i = 0; i < Consts.ENTITIES_COUNT; i++) {
            var e = world.NewEntity ();
            _pool0.Add (e);
            _pool1.Add (e);
            _pool2.Add (e);
            _pool3.Add (e);
        }
    }

    public void Run (IEcsSystems systems) {
        foreach (var ent in _filter3) {
            _pool0.Get (ent).Test++;
            _pool1.Get (ent).Test++;
            _pool2.Get (ent).Test++;
            _pool3.Get (ent).Test++;
        }
    }
}

Morpeh

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
[CreateAssetMenu (menuName = "ECS/Systems/" + nameof (MorpehIterateSystem))]
public sealed class MorpehIterateSystem : UpdateSystem {
    Stash<TestComponent0> _stash0;
    Stash<TestComponent1> _stash1;
    Stash<TestComponent2> _stash2;
    Stash<TestComponent3> _stash3;
    Filter _filter0;
    Filter _filter1;
    Filter _filter2;
    Filter _filter3;

    public override void OnAwake () {
        _filter0 = World.Filter.With<TestComponent0> ().Build ();
        _filter1 = World.Filter.With<TestComponent0> ().With<TestComponent1> ().Build ();
        _filter2 = World.Filter.With<TestComponent0> ().With<TestComponent1> ().With<TestComponent2> ().Build ();
        _filter3 = World.Filter.With<TestComponent0> ().With<TestComponent1> ().With<TestComponent2> ().With<TestComponent3> ().Build ();
        _stash0 = World.GetStash<TestComponent0> ();
        _stash1 = World.GetStash<TestComponent1> ();
        _stash2 = World.GetStash<TestComponent2> ();
        _stash3 = World.GetStash<TestComponent3> ();
        for (var i = 0; i < Consts.ENTITIES_COUNT; i++) {
            var e = World.CreateEntity ();
            _stash0.Add (e);
            _stash1.Add (e);
            _stash2.Add (e);
            _stash3.Add (e);
        }
    }

    public override void OnUpdate (float deltaTime) {
        foreach (var ent in _filter3) {
            _stash0.Get (ent).Test++;
            _stash1.Get (ent).Test++;
            _stash2.Get (ent).Test++;
            _stash3.Get (ent).Test++;
        }
    }
}

DragonECS

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
class Aspect0 : EcsAspect {
    public EcsPool<TestComponent0> C0 = Inc;
    public EcsPool<TestComponent1> C1 = Opt;
    public EcsPool<TestComponent2> C2 = Opt;
    public EcsPool<TestComponent3> C3 = Opt;
}

class Aspect1 : EcsAspect {
    public EcsPool<TestComponent0> C0 = Inc;
    public EcsPool<TestComponent1> C1 = Inc;
}

class Aspect2 : EcsAspect {
    public EcsPool<TestComponent0> C0 = Inc;
    public EcsPool<TestComponent1> C1 = Inc;
    public EcsPool<TestComponent2> C2 = Inc;
}

class Aspect3 : EcsAspect {
    public EcsPool<TestComponent0> C0 = Inc;
    public EcsPool<TestComponent1> C1 = Inc;
    public EcsPool<TestComponent2> C2 = Inc;
    public EcsPool<TestComponent3> C3 = Inc;
}

public class DragonIterateSystem : IEcsInject<EcsDefaultWorld>, IEcsInit, IEcsRun {
    EcsDefaultWorld _world;

    public void Init () {
        var a3 = _world.GetAspect<Aspect3> ();
        for (var i = 0; i < Consts.ENTITIES_COUNT; i++) {
            var e = _world.NewEntity ();
            a3.C0.Add (e);
            a3.C1.Add (e);
            a3.C2.Add (e);
            a3.C3.Add (e);
        }
    }

    public void Inject (EcsDefaultWorld obj) {
        _world = obj;
    }

    public void Run () {
        foreach (var ent in _world.Where (out Aspect3 a3)) {
            a3.C0.Get (ent).Test++;
            a3.C1.Get (ent).Test++;
            a3.C2.Get (ent).Test++;
            a3.C3.Get (ent).Test++;
        }
    }
}

LeoECS Proto

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
class TestAspect : ProtoAspectInject {
    public ProtoPool<TestComponent0> Pool0;
    public ProtoPool<TestComponent1> Pool1;
    public ProtoPool<TestComponent2> Pool2;
    public ProtoPool<TestComponent3> Pool3;

    public ProtoIt It0 = new (It.Inc<TestComponent0> ());
    public ProtoIt It1 = new (It.Inc<TestComponent0, TestComponent1> ());
    public ProtoIt It2 = new (It.Inc<TestComponent0, TestComponent1, TestComponent2> ());
    public ProtoIt It3 = new (It.Inc<TestComponent0, TestComponent1, TestComponent2, TestComponent3> ());
}

public class ProtoIterateSystem : IProtoInitSystem, IProtoRunSystem {
    [DI] TestAspect _aspect;

    public void Init (IProtoSystems systems) {
        for (var i = 0; i < Consts.ENTITIES_COUNT; i++) {
            var e = _aspect.World ().NewEntity ();
            _aspect.Pool0.Add (e);
            _aspect.Pool1.Add (e);
            _aspect.Pool2.Add (e);
            _aspect.Pool3.Add (e);
        }
    }

    public void Run () {
        foreach (var ent in _aspect.It3) {
            _aspect.Pool0.Get (ent).Test++;
            _aspect.Pool1.Get (ent).Test++;
            _aspect.Pool2.Get (ent).Test++;
            _aspect.Pool3.Get (ent).Test++;
        }
    }
}

Результаты

LeoECS Lite 2023.11.22 (release)

Morpeh 2023.1.0 (release)

Morpeh 2024.1.0-rc46 (dev)

DragonECS: 0.8.31 (dev)

LeoECS Proto 2024.4.25 (boosty release)

LeoECS Proto 2024.4.25 (boosty release)

Итерации с кеширующими итераторами (при этом зависимые компоненты не могут удаляться или добавляются)

Выводы

  • Видна значительная деградация релизной версии Morpeh 2023.1.0 по сравнению с 2022 годом (тогда скорость была примерно одинакова с LeoECS Lite), в Morpeh 2024.1.0-rc46 скорость более-менее возвращена к той, что была ранее. Налицо отсутствие системного подхода к контролю качества, иначе это было бы исправлено сразу, а не через год.
  • Потребление оперативной памяти: Morpeh 2023.1.0 потребляет 300Мб - это в 6.5 раз больше, чем потребляет LeoECS Lite и в 10 раз больше, чем LeoECS Proto! И это по сути только инфраструктурные издержки, самих данных компонентов там практически нет. В Morpeh 2024.1.0-rc46 потребление памяти снизили в 2 раза, но на общем фоне это мало что поменяло - 160Мб это очень много по сравнению с потенциальными 30Мб. А потом эти люди учат меня, что SparseSet-ы размером с мир много занимают и так делать нельзя, а Morpeh является “production-ready” и там все сделано правильно.
  • Новичок DragonECS показал себя неплохо, он еще не в релизе и есть куда развиваться.

Миграции одного компонента

Код инициализации систем идентичный коду из предыдущего теста, будет приведена только отличающаяся часть кода.

LeoECS Lite

1
2
3
4
5
6
7
8
9
public void Run (IEcsSystems systems) {
    foreach (var ent in _filter3) {
        _pool3.Del (ent);
    }

    foreach (var ent in _filter0) {
        _pool3.Add (ent);
    }
}

Morpeh

1
2
3
4
5
6
7
8
9
public override void OnUpdate (float deltaTime) {
    foreach (var ent in _filter3) {
        _stash3.Remove (ent);
    }
    World.Commit ();
    foreach (var ent in _filter0) {
        _stash3.Add (ent);
    }
}

DragonECS

1
2
3
4
5
6
7
8
9
public void Run () {
    foreach (var ent in _world.Where (out Aspect3 a3)) {
        a3.C3.Del (ent);
    }

    foreach (var ent in _world.Where (out Aspect0 a0)) {
        a0.C3.Add (ent);
    }
}

LeoECS Proto

1
2
3
4
5
6
7
8
9
public void Run () {
    foreach (var ent in _aspect.It3) {
        _aspect.Pool3.Del (ent);
    }

    foreach (var ent in _aspect.It0) {
        _aspect.Pool3.Add (ent);
    }
}

Результаты

LeoECS Lite 2023.11.22 (release)

Morpeh 2023.1.0 (release)

Morpeh 2024.1.0-rc46 (dev)

DragonECS: 0.8.31 (dev)

LeoECS Proto 2024.4.25 (boosty release)

Выводы

  • LeoECS Lite ожидаемо просаживается по скорости из-за необходимости постоянно обновлять несколько фильтров. Странно, что Morpeh 2024.1.0-rc46 не показывает фантастических результатов, как обещали разработчики.
  • LeoECS Proto ожидаемо игнорирует количество обновляемых фильтров, просаживаясь только на самом добавлении/удалении компонентов.
  • Новичок DragonECS прекрасно показал себя на миграции, выдав результат в 2 раза лучше, чем Morpeh 2024.1.0-rc46! Когда один разработчик лучше, чем целая команда.

Миграции трех компонентов

LeoECS Lite

1
2
3
4
5
6
7
8
9
10
11
12
13
public void Run (IEcsSystems systems) {
    foreach (var ent in _filter3) {
        _pool1.Del (ent);
        _pool2.Del (ent);
        _pool3.Del (ent);
    }

    foreach (var ent in _filter0) {
        _pool1.Add (ent);
        _pool2.Add (ent);
        _pool3.Add (ent);
    }
}

Morpeh

1
2
3
4
5
6
7
8
9
10
11
12
13
public override void OnUpdate (float deltaTime) {
    foreach (var ent in _filter3) {
        _stash1.Remove (ent);
        _stash2.Remove (ent);
        _stash3.Remove (ent);
    }
    World.Commit ();
    foreach (var ent in _filter0) {
        _stash1.Add (ent);
        _stash2.Add (ent);
        _stash3.Add (ent);
    }
}

DragonECS

1
2
3
4
5
6
7
8
9
10
11
12
13
public void Run () {
    foreach (var ent in _world.Where (out Aspect3 a3)) {
        a3.C1.Del (ent);
        a3.C2.Del (ent);
        a3.C3.Del (ent);
    }

    foreach (var ent in _world.Where (out Aspect0 a0)) {
        a0.C1.Add (ent);
        a0.C2.Add (ent);
        a0.C3.Add (ent);
    }
}

LeoECS Proto

1
2
3
4
5
6
7
8
9
10
11
12
13
public void Run () {
    foreach (var ent in _aspect.It3) {
        _aspect.Pool1.Del (ent);
        _aspect.Pool2.Del (ent);
        _aspect.Pool3.Del (ent);
    }

    foreach (var ent in _aspect.It0) {
        _aspect.Pool1.Add (ent);
        _aspect.Pool2.Add (ent);
        _aspect.Pool3.Add (ent);
    }
}

Результаты

LeoECS Lite 2023.11.22 (release)

Morpeh 2023.1.0 (release)

Morpeh 2024.1.0-rc46 (dev)

DragonECS: 0.8.31 (dev)

LeoECS Proto 2024.4.25 (boosty release)

Выводы

  • LeoECS Lite практически мертвый на таком количестве сущностей при постоянном обновлении всех фильтров.
  • Morpeh 2024.1.0-rc46 быстрее, чем Morpeh 2023.1.0, но незначительно.
  • Новичок DragonECS показывает скорость в 2 раза большую (при потреблении памяти в 2 раза меньше), чем у “лучшего, самого быстрого, production-ready” Morpeh-а и в этот раз. Рекомендую сходить и поставить звезду этому репозиторию, автор DragonECS это заслужил!

LeoECS Lite с 22.05.2024 переводится из активной разработки в режим поддержки - будут исправляться только баги, нового функционала не планируется. На текущий момент известных багов нет, фреймворк стабильный и выполняет свои задачи.

Актуальные версии пакетов доступны в закрытом discord-сервере для vk/boosty-подписчиков.
Оформить подписку можно здесь: