Мы проверили репозиторий Django 6.1.3 тремя инструментами: flake8 и black тех версий, что закреплены в проекте, и Ruff 0.17.5, вышедшим 12 ноября. Настройки Django перенесли в Ruff максимально точно. Линтер Ruff отработал за 0,10 секунды, flake8 — за 4,95. Форматтер Ruff справился за 0,13 секунды, black — за 25,44. Это медианы.
Про скорость Ruff известно давно, поэтому нас больше интересовало другое: совпадут ли результаты. Не совпали. flake8 выдал 9 замечаний, Ruff — 25, и каждое из 16 дополнительных объясняется конкретным отличием в правилах. А ruff format захотел переписать 113 файлов, которые black считает отформатированными. Ниже — команды, цифры и разбор каждого расхождения.
Что проверяли и чем
Мы взяли Django 6.1.3, тег от 3 ноября: 2 923 файла .py, 525 тысяч строк. Этот проект уже использует flake8 и black: в репозитории лежат .flake8 с настройками и .pre-commit-config.yaml, где закреплены black 26.1.0 и flake8 7.3.0. Эти версии мы и поставили.
| Параметр | Значение |
| Процессор | AMD Ryzen 9 5900X, 22 логических ядра доступны в WSL2 |
| Система | Ubuntu 22.04.5 под WSL2, ядро 6.18, диск ext4 |
| Python | 3.12.15 |
| flake8 | 7.3.0 (pycodestyle 2.14.0, pyflakes 3.4.0) |
| black | 26.1.0 |
| Ruff | 0.17.5 |
| Ограничение | каждый прогон в отдельной группе systemd с лимитом памяти 2 ГБ |
Машина во время замера была занята другими задачами, средняя загрузка держалась около 20 при 22 ядрах. Для Ruff, который сам занимает все ядра на доли секунды, это почти не важно. Для flake8 и black абсолютные цифры на свободной машине были бы меньше.
Как перенесли настройки
В .flake8 у Django пять настроек: длина строки 88, длина строки в комментариях и докстрингах 79, отключённое правило E203, список исключённых каталогов и разрешение на W601 в четырёх файлах. Последнюю настройку переносить некуда: правила W601 в Ruff нет. Остальные параметры мы перенесли в отдельный конфиг для Ruff и включили семейства правил, которые работают во flake8 без плагинов: E и W от pycodestyle, F от pyflakes.
# ruff_django.toml: перенос настроек Django из .flake8 и [tool.black]
line-length = 88
target-version = "py312"
extend-exclude = ["build", ".tox", "tests/.env"]
[lint]
select = ["E", "W", "F"]
ignore = ["E203"]
[lint.pycodestyle]
max-doc-length = 79
[format]
exclude = ["tests/test_runner_apps/tagged/tests_syntax_error.py"]
Команды запускали из корня репозитория:
flake8 .
ruff check --no-cache --config ../ruff_django.toml --output-format concise .
black --check --workers 8 .
ruff format --check --no-cache --config ../ruff_django.toml .
Линтер: время
| Команда | Медиана | Разброс | Прогонов |
flake8 ., 22 процесса |
4,95 с | 4,85–7,76 с | 5 |
flake8 -j 1 ., один процесс |
57,34 с | не мерили | 1 |
ruff check без кеша |
0,10 с | 0,09–0,11 с | 5 |
ruff check с кешем |
0,04 с | 0,04–0,04 с | 5 |
Ruff быстрее flake8 примерно в 50 раз, если оба используют все ядра. Точнее сказать трудно: 0,10 секунды — уже на границе разрешения нашего замера. flake8 по умолчанию распараллеливается по числу ядер, и в один процесс та же проверка заняла 57 секунд.
Линтер: 9 замечаний против 25
| Правило | flake8 | Ruff | О чём замечание |
| F821 | 9 | 9 | неизвестное имя frozendict |
| E721 | 0 | 6 | сравнение типов через == |
| W505 | 0 | 4 | длинная строка комментария |
| E501 | 0 | 2 | длинная строка |
| F401 | 0 | 2 | неиспользуемый импорт |
| E741 | 0 | 1 | имя переменной l |
| invalid-syntax | 0 | 1 | синтаксическая ошибка |
| Всего | 9 | 25 |
Замечаний, которые дал бы flake8 и пропустил Ruff, в этом прогоне нет. Все 16 дополнительных мы проверили в коде. Ошибок в Django они не показывают: каждый раз это разница в том, как два инструмента понимают одно и то же правило.
E721, шесть случаев. Ruff считает сравнением типов любое выражение вида obj.__class__ == type или self._content_type == bytes. pycodestyle на таких строках в нашем прогоне не сработал.
F401, два случая. В Django пояснение пишут прямо в # NOQA: from PIL import Image # NOQA: detect if Pillow is installed. flake8 принял это за подавление всех правил на строке. Ruff ждёт после двоеточия коды правил, выводит предупреждение Invalid # noqa directive и комментарий не учитывает.
E501 и W505, шесть случаев. Четыре замечания относятся к комментариям, где после решётки идёт одно длинное слово без пробелов, например полное имя теста. В pycodestyle для таких строк есть исключение: такой комментарий длинным не считается. Ещё два замечания пришлись на строку докстринга со ссылкой и пометкой # NOQA в конце. По нашему разбору, flake8 учёл пометку и внутри докстринга, а Ruff считает её обычным текстом.
E741, один случай. Переменная l в генераторном выражении: next(i for i, l in enumerate(result) if ...). Ruff проверяет и такие имена, pycodestyle здесь промолчал.
Синтаксическая ошибка, один случай. Файл tests_syntax_error.py сломан намеренно, на нём Django проверяет собственный запуск тестов. В сломанной строке стоит # NOQA, и flake8 её пропускает. Ruff сообщает о синтаксической ошибке независимо от комментариев.
Девять общих замечаний зависят от версии Python
Оба линтера ругаются на frozendict. Это встроенный тип, который появился в Python 3.15, и Django обращается к нему только под проверкой версии. Но линтеры этого условия не видят.
Инструменты берут список встроенных имён из разных мест. Мы поставили во временный каталог Python 3.15.2 и запустили на нём flake8 7.3.0: замечаний стало ноль. В Ruff интерпретатор ни при чём: версия задаётся настройкой. С флагом --target-version py315 девять замечаний F821 исчезли, осталось 16.
Практическое следствие: результат flake8 зависит от того, какой версией Python его запустили, и на машине разработчика может отличаться от CI. У Ruff целевая версия записана в конфигурации и одинакова везде.
Форматтер: время и память
| Команда | Медиана | Разброс | Прогонов |
black --check --workers 8, без кеша |
25,44 с | 23,83–27,07 с | 3 |
black --check --workers 8, с кешем |
5,82 с | 5,72–8,34 с | 5 |
ruff format --check, без кеша |
0,13 с | 0,12–0,16 с | 5 |
Кеш black мы вынесли в отдельный каталог переменной BLACK_CACHE_DIR и перед каждым прогоном «без кеша» удаляли его. Ruff запускали с флагом --no-cache.
Флаг --workers 8 мы добавили вынужденно. Первый запуск black --check . с настройками по умолчанию не уложился в наш лимит памяти 2 ГБ. По умолчанию black создаёт по одному рабочему процессу на каждое ядро — в нашем случае 22. Прогон закончился за 45,6 секунды с ошибкой, а в журнале ядра осталась запись Memory cgroup out of memory: Killed process 14696 (black).
error: cannot format .../tests/queries/tests.py: A process in the process pool was terminated abruptly while the future was running or pending.
2885 files would be left unchanged, 37 files would fail to reformat.
С восемью процессами black отработал чисто. Если CI запускает линтеры в контейнере с ограничением памяти на машине с большим числом ядер, эту ошибку можно встретить и у себя. flake8 с 22 процессами и Ruff в те же 2 ГБ уложились.
Форматтер: 113 файлов из 2 922
black подтвердил, что код Django отформатирован: 2922 files would be left unchanged. Ruff 0.17.5 по умолчанию берёт в работу ещё и девять файлов Markdown, поэтому для равного сравнения мы исключили их флагом --exclude '*.md'. На тех же 2 922 файлах ruff format --check сообщил другое:
113 files would be reformatted, 2809 files already formatted
Мы сняли разницу командой ruff format --diff. В ней 196 фрагментов, 363 удалённые строки и 407 добавленных. Затронутые 363 строки — это 0,07% от 525 тысяч строк исходного кода. С документацией сходится: по словам разработчиков Ruff, на коде, отформатированном Black, включая Django, больше 99,9% строк форматируются одинаково.
Почти все расхождения одного рода: длинное выражение справа от знака присваивания или в теле лямбды. black 26 оборачивает его в скобки, Ruff 0.17.5 переносит иначе.
# так оставляет black 26.1.0
action_form.fields["action"].choices = (
self._get_action_choices_with_action_location(
request, action_location=action_location
)
)
# так хочет ruff format 0.17.5
action_form.fields[
"action"
].choices = self._get_action_choices_with_action_location(
request, action_location=action_location
)
0,07% звучит как ничто, но при переходе это один коммит на 113 файлов и строка в .git-blame-ignore-revs. А держать black и ruff format в одном проекте одновременно не получится: они будут переписывать код друг за другом.
Что будет, если запустить без настройки
Ради полноты мы запустили оба линтера с флагом --isolated, то есть без конфигурации проекта.
| Команда | Замечаний | Самые частые |
flake8 --isolated . |
18 649 | E501: 18 577, E203: 63, F821: 9 |
ruff check --isolated . |
7 794 | UP031: 3 465, RUF012: 1 670, SIM117: 444 |
Цифры несравнимы, и в этом смысл таблицы. flake8 без настройки считает длинной строку от 80 символов, а в Django принята длина до 88. У Ruff 0.17.5 набор правил по умолчанию намного шире, чем E, W и F: в него входят правила pyupgrade, flake8-simplify, flake8-bugbear и собственные правила Ruff. Поэтому тысячи замечаний при первом запуске Ruff на большом проекте — ожидаемый результат. О качестве кода они говорят мало.
Что из этого следует
Это выводы Proglib по одному репозиторию на одной машине.
- По времени спорить не о чем: проверка всего Django за десятую долю секунды позволяет запускать линтер при каждом сохранении файла.
- Перенос настроек flake8 в Ruff не даёт того же списка замечаний. На чистом по flake8 проекте мы получили 16 новых, и все пришлось разбирать руками.
- Комментарии
# NOQA: пояснениеRuff не понимает. Перед переходом их стоит найти поиском по репозиторию. - Целевую версию Python в Ruff стоит проверить: её можно задать явно или оставить Ruff вывести её из
requires-python. От неё зависит, будут ли замечания о новых встроенных именах. - black с настройками по умолчанию на многоядерной машине может не уложиться в лимит памяти контейнера.
ruff formatпосле black меняет немного, но меняет. Закладывайте отдельный коммит с переформатированием.
Чего замер не показывает: плагины flake8 (у Django их нет), isort, который проект запускает отдельно, работу в редакторе и автоисправления. Мы проверяли только чтение кода и ничего в репозитории не меняли.
Источники
- https://github.com/astral-sh/ruff/releases/tag/0.17.5
- https://github.com/django/django/tree/6.1.3
- https://github.com/django/django/blob/6.1.3/.flake8
- https://github.com/django/django/blob/6.1.3/.pre-commit-config.yaml
- https://docs.astral.sh/ruff/formatter/
- https://docs.astral.sh/ruff/default-rules/
- https://docs.python.org/3.15/whatsnew/3.15.html
- https://github.com/PyCQA/pycodestyle/blob/2.14.0/pycodestyle.py
Комментарии