Что посмотреть на HackerTube: 6454 видео, которые Hacker News обсуждает 20 лет, и как Андрей Карпатый собрал их за выходные

1 ноября Андрей Карпатый (с мая 2026 года работает в Anthropic, в команде предобучения Claude) показал в X «проект на выходные» — сайт HackerTube. Идея простая: вместо рекомендаций YouTube, настроенных на удержание, взять видео, которые комментаторы Hacker News советуют друг другу годами. Конвейер на Claude просканировал архив комментариев HN за 20 лет, отобрал 6454 видео, разложил их по 150 темам и собрал 27 плейлистов — от «The HN canon» до «Security war stories». Данные выложены одним zip-архивом, чтобы любой мог построить свою версию.

Для читателя Proglib здесь две пользы. Первая — готовый список того, что стоит посмотреть программисту, проверенный самым придирчивым сообществом в индустрии. Вторая — пример того, как за выходные с ИИ-агентом собрать продукт с нетривиальным конвейером данных. У редакции из России сайт загружался не полностью, поэтому ниже мы собрали главные видео прямыми ссылками на YouTube — с пометкой, почему их советуют на HN.

• 6454 видео из 39 834 комментариев HN за 2007–2026 годы; по статистике сайта, их рекомендовал 15 041 человек; 16 областей, 150 категорий, 27 плейлистов.
• Отбор без лайков: видео попадает на сайт, если его со своим комментарием дали минимум три разных человека в трёх разных месяцах; рейтинг считает число месяцев с рекомендациями, а не вирусный всплеск.
• Два часа и три ручных действия: по словам Карпатого, он только разговаривал с Claude в Claude Code (Opus 5.5), а сам создал ключ YouTube API, арендовал VPS и купил домен.
• Своя версия за вечер: архив на 17,8 МБ с videos.jsonl, mentions.jsonl, таксономией, графом «похожих» и эмбеддингами лежит в открытом доступе; инструкция для ИИ-агентов — внутри.

Как отбирали: три человека, три месяца и 39 834 комментария

Методика описана на странице About и в файле DATA.md из архива. Исходник — открытый датасет всех комментариев Hacker News (на Hugging Face), около 43 млн записей. В них нашлось больше ста тысяч разных ссылок на YouTube. Дальше фильтр: упоминание засчитывается, только если комментатор написал не меньше 100 символов от себя, а видео проходит, если его дали минимум три разных человека в минимум три разных месяца. После этого осталось около 7000 роликов, на сайте — 6454.

Каждый отобранный комментарий вместе с заголовком треда прочитала Claude Sonnet 5.5 и определила «позицию» автора: рекомендация, сильная рекомендация, ссылка как на источник, шутка или критика. Она же выписала короткую цитату, темы и собрала карточку видео: о чём оно, за что его любят на HN, какой это тип ролика и устарел ли он. Рейтинг (score) — число разных месяцев, в которых видео рекомендовали; сильные рекомендации весят больше. Поэтому наверху оказываются лекции, к которым возвращаются десять лет подряд, а не ролик, который все обсуждали одну неделю.

Пара оговорок от авторов, важных для тех, кто будет пользоваться данными. Около четверти видео в архиве (1658 из 6454) только цитировали, ни разу не рекомендуя. Разметку делала языковая модель, и авторы честно предупреждают о «нескольких процентах шума». А «прочитал все 43 млн комментариев» значит, что их просканировали на ссылки: модель читала только отфильтрованные комментарии с YouTube-ссылками.

Что получилось по составу: больше всего докладов с конференций (1448), объяснялок (1091) и демо (827); лекций — 317, видео с меткой «курс» — 24. Крупнейшие области — искусство и комедия (1731 видео), программная инженерия и языки (1604), политика и история (1425), история компьютеров (1295); на ИИ и данные приходится 718 роликов, на математику — 479. Чаще других в архиве встречаются TED, Veritasium, Tom Scott, Google TechTalks, Strange Loop и 3Blue1Brown.

Доклады, которые HN советует каждому программисту

Основа — плейлист Talks every programmer should watch: 13 докладов на 11 часов, ни один из них не учит конкретному языку; к нему мы добавили доклад Джима Вайриха из общего топа. После тире — сколько разных людей рекомендовали видео на HN и в какие годы его упоминали; цитаты комментаторов — в переводе редакции.

• «Simple Made Easy», Рич Хики (Strange Loop, 2011) — разница между «простым» (не переплетённым) и «лёгким» (привычным), которой HN объясняет любую сложность в коде. 14 рекомендателей, 2022–2026; «обязателен к просмотру, даже если вы никогда не тронете Clojure».
• «Y Not — Adventures in Functional Programming», Джим Вайрих (RubyConf 2012) — живое выведение Y-комбинатора на сцене; второе место во всём рейтинге. 17 рекомендателей, 2013–2026; «возможно, самый увлекательный технический доклад, что я видел».
• «All the Little Things», Сэнди Метц (RailsConf 2014) — рефакторинг клубка условий в маленькие объекты и тезис о том, что дублирование дешевле неправильной абстракции. 15 рекомендателей, 2015–2025.
• «How To Design A Good API and Why it Matters», Джошуа Блох (Google TechTalks, 2007) — каждый программист иногда проектирует API; «лучшим ресурсом по теме» его называют на HN ещё с 2012 года. 12 рекомендателей, 2011–2025.
• «Boundaries», Гэри Бернхардт (RubyConf 2012) — доклад, который ввёл в оборот «функциональное ядро, императивную оболочку»; HN советует его как ответ на вопрос, как тестировать без моков на всё.
• «TDD, Where Did It All Go Wrong», Иэн Купер (DevTernity 2017) — возврат к исходной идее Кента Бека: тестировать поведение, а не детали реализации. 11 рекомендателей; «полностью изменил мой подход к тестированию».
• «Making Impossible States Impossible», Ричард Фельдман (elm-conf 2016) — как спроектировать данные так, чтобы целые классы багов стали невозможны; примеры на Elm, идеи работают в любом типизированном языке. 9 рекомендателей, 2017–2026.
• «A Philosophy of Software Design», Джон Оустерхаут (Talks at Google, 2018) — часовая версия книги о глубоких модулях и управлении сложностью. 11 рекомендателей, 2018–2026.
• «Growing a Language», Гай Стил (OOPSLA 1998) — доклад о расширяемых языках, прочитанный односложными словами плюс терминами, которые автор определяет по ходу. «Вероятно, лучший доклад на эту тему вообще».
• «Inventing on Principle», Брет Виктор (2012) — живые демо инструментов, показывающих результат по мере набора кода; всплывает почти в каждом треде о live coding и визуальном программировании. 12 рекомендателей, 2013–2025.
• «The Mess We're In», Джо Армстронг (Strange Loop 2014) — создатель Erlang смешно и зло о том, почему софт так запутан; HN до сих пор считает диагноз точным.
• «Hammock Driven Development», Рич Хики (Clojure Conj 2010) — разрешение думать до того, как печатать; на HN его называют противоядием от тревоги «надо всё время работать». 12 рекомендателей, 2014–2024.

Как всё устроено: чипы, Python, event loop и systemd

Вторая группа — технические объяснения, которые на HN дают вместо длинного ответа в треде.

• «Indistinguishable From Magic: Manufacturing Modern Computer Chips» (2012) — часовой рассказ независимого инженера о том, как делают микросхемы, от литографии до чистых комнат; третье место рейтинга. 19 рекомендателей, 2016–2024; «самое глубокое объяснение производства микросхем, что я видел».
• «How Python was Shaped by leaky Internals», Армин Ронахер (2016) — создатель Flask объясняет, почему Python так трудно ускорить; доклад советуют люди, которые пишут JIT-компиляторы. 15 рекомендателей при примерно 20 тыс. просмотров на YouTube — самое рекомендуемое видео с аудиторией меньше 50 тысяч.
• «What the heck is the event loop anyway?», Филип Робертс (JSConf EU 2014) — по мнению HN, лучшее объяснение цикла событий JavaScript и первое, что нужно смотреть перед асинхронным кодом. 16 рекомендателей, 2015–2025.
• «The Tragedy of systemd», Бенно Райс (linux.conf.au 2019) — взвешенный взгляд на systemd от человека из мира BSD; его дают всем, кто ввязался в спор. 16 рекомендателей, 2019–2025.
• «Testing Distributed Systems with Deterministic Simulation», Уилл Уилсон (Strange Loop 2014) — как FoundationDB тестировали симуляцией; «один из самых поразительных докладов о распределённых системах». 12 рекомендателей, 2014–2024.
• «The Soul of Erlang and Elixir», Саша Юрич (GOTO 2019) — любимая на HN агитация за BEAM: «посмотрите, если хотите понять, почему в него влюбляются». 16 рекомендателей, 2019–2024.
• «Rethinking reactivity», Рич Харрис (2019) — доклад, с которого для многих начался Svelte. 15 рекомендателей, 2019–2026.
• «Resilience In Complex Adaptive Systems», Ричард Кук (Velocity 2013) — 19 минут о том, почему сложные системы всегда работают на грани отказа; «один из самых важных докладов, что я видел». 2017–2021, около 47 тыс. просмотров.

Нейросети с нуля: маршрут на 11 часов

Плейлист Learn deep learning from zero — 11 видео на 11 часов 18 минут, каждое следующее опирается на предыдущие. Собственная лекция Карпатого стоит на пятом месте всего рейтинга — выше неё только линейная алгебра, Y-комбинатор, чипы и лекция о публичных выступлениях.

1. «But what is a neural network?», 3Blue1Brown (2017) — стандартная первая остановка: нейроны, слои и распознавание цифр в анимации, без кода. 16 рекомендателей.
2. «The spelled-out intro to neural networks and backpropagation: building micrograd», Андрей Карпатый (2022) — 2,5 часа, за которые вы пишете крошечный autograd-движок и backprop перестаёт быть магией. 17 рекомендателей, 2022–2025; «он объясняет почему, а не только что и как».
3. «LSTM is dead. Long Live Transformers!», Лео Дирак (2019) — зачем вообще понадобилось внимание: мешок слов, RNN, LSTM и их пределы за полчаса.
4. «Transformers, the tech behind LLMs», 3Blue1Brown (2024) — визуальная версия статьи «Attention Is All You Need»; многие на HN пишут, что именно здесь «щёлкнули» эмбеддинги и внимание. 13 рекомендателей, 2024–2026.
5. «Let's build GPT: from scratch, in code, spelled out», Андрей Карпатый (2023) — GPT на PyTorch за два часа; 14 рекомендателей, один из них назвал это «лучшим видео по теме, что я видел».
6. «AI can't cross this line and we don't know why», Welch Labs (2024) — после сборки модели шаг назад: законы масштабирования и граница эффективности, в которую упираются все модели.
7. «A Hackers' Guide to Language Models», Джереми Ховард (2023) — практическое закрытие маршрута: использование, промпты и дообучение; «полтора часа, набитые практикой». 8 рекомендателей.

Истории про безопасность

Плейлист Security war stories — рассказы людей, которые взламывали кошельки, лифты и здания или расследовали Stuxnet и Mt. Gox.

• «How I hacked a hardware crypto wallet and recovered $2 million», Джо Гранд (2022) — три месяца glitch-атак на Trezor ради одной попытки достать $2 млн.
• «The KGB, the Computer, and Me» (1990) — экранизация «Яйца кукушки»: Клифф Столл идёт от ошибки в счёте на 75 центов к взломщику, связанному с КГБ, в реконструкции с участниками событий.
• «I'll Let Myself In: Tactics of Physical Pen Testers», Девиант Оллам (2017) — как команды проникновения проходят через двери с куском проволоки и уверенным видом.
• «Elevator Hacking: From the Pit to the Penthouse» (2014) — два часа про лифты, которые HN даёт всякий раз, когда речь заходит о лифтах; «смотрел все два часа за один присест». 9 рекомендателей, 2014–2026.
• «Adventures in analyzing Stuxnet», Брюс Данг (27C3, 2010) — аналитик Microsoft по каждому из zero-day Stuxnet; «потрясающий технический разбор каждой уязвимости нулевого дня».
• «Cracking MtGox», Ким Нильссон (2017) — расследователь, который проследил пропавшие биткоины Mt. Gox; «один из лучших разборов инцидента Mt. Gox, последствий и расследований».
• «OPSEC: Because Jail is for wuftpd», the Grugq (HITB 2012) — разбор обвинительных заключений: как попались хакеры, считавшие себя осторожными. 9 рекомендателей, 2013–2024.
• «The Science of Insecurity», Мередит Паттерсон и Сергей Братусь (28C3, 2011) — почему неряшливые форматы входных данных делают софт уязвимым; стандартное введение в LANGSEC. 9 рекомендателей, 2012–2024.
• «The Internet Was Weeks Away From Disaster And No One Knew», Veritasium (2026) — документальный фильм о бэкдоре в xz: атакующий годами зарабатывал доверие мейнтейнера и едва не скомпрометировал SSH в Linux.

Не про код: лекции, которые HN советует всем

Первое место во всём рейтинге занимает математика, а в десятке плейлиста The HN canon соседствуют линейная алгебра, экономика, посудомоечные машины и речь Стива Джобса; лекцию Сапольски мы добавили из общего топа.

• «Vectors | Chapter 1, Essence of linear algebra», 3Blue1Brown (2016) — первое место рейтинга и первая глава серии, которой HN благодарен за то, что линейная алгебра наконец «щёлкнула». 17 рекомендателей, 2018–2026.
• «But what is the Fourier Transform? A visual introduction», 3Blue1Brown (2018) — дефолтная рекомендация HN по преобразованию Фурье; «первое, что по-настоящему имело смысл». 16 рекомендателей, 2018–2025.
• «How to Speak», Патрик Уинстон (MIT OpenCourseWare, 2019) — лекция о том, как выступать, которую HN считает единственной необходимой по теме; «бросьте всё и посмотрите прямо сейчас». 17 рекомендателей, 2020–2025.
• «The Craft of Writing Effectively», Ларри Макинерни (Чикагский университет, 2014) — «мастер-класс о том, что такое письмо на самом деле», полезный далеко за пределами академии. 15 рекомендателей, 2019–2026.
• «Introduction to Human Behavioral Biology», Роберт Сапольски (Стэнфорд, 2010) — первая лекция курса, который на HN называют лучшим из пройденных. 15 рекомендателей, 2012–2026.
• «How The Economic Machine Works», Рэй Далио (2013) — полчаса о кредите, долге и циклах; 18 рекомендателей — второй результат во всей коллекции после доклада о чипах. 2014–2026.
• «You and Your Research», Ричард Хэмминг (1995) — советы из Bell Labs о выборе важных задач; HN передаёт их из рук в руки больше десяти лет. 11 рекомендателей, 2012–2023.
• «Stanford Commencement Speech», Стив Джобс (2005) — три истории за 15 минут; на HN отправляют выпускникам и всем на карьерном распутье. 13 рекомендателей, 2007–2015.
• «Last Lecture: Achieving Your Childhood Dreams», Рэнди Пауш (2007) — лекция о детских мечтах, прочитанная смертельно больным автором; источник цитаты про «кирпичную стену». 12 рекомендателей, 2008–2023.
• «200 Countries, 200 Years, 4 Minutes», Ханс Рослинг (BBC, 2010) — четыре минуты статистики как противоядие от цинизма. 10 рекомендателей, 2010–2023.

Скрытые жемчужины: любимые видео HN с аудиторией меньше 50 тысяч

Отдельный плейлист Hidden gems собирает ролики, которые YouTube почти не заметил. Число просмотров — по данным сайта на 1 ноября.

• «How I Code and Use a Computer at 1,000 WPM», Сина Бахрам (!!Con 2016) — незрячий разработчик даёт послушать скринридер на полной скорости и заодно показывает, насколько недоступен сам Hacker News; 13 минут, около 11 тыс. просмотров.
• «Functional Composition», Крис Форд (2013) — от одной синусоиды до канона Баха в коде на Clojure; несколько человек на HN пишут, что именно здесь поняли теорию музыки. Около 31 тыс. просмотров.
• «Saving Voyager 1!», Брюс Ваггонер (!!Con 2024) — инженер команды Voyager о том, как диагностировали и патчили компьютер 1970-х с расстояния 15 млрд миль; «по сути, отладка вслепую с задержкой в 45 часов». Около 8 тыс. просмотров.
• «Rescuing The Prince of Persia from the sands of time», Джейсон Скотт (2012) — спасение исходников Prince of Persia с разрушающихся дискет вместе с их автором; любимый на HN пример цифровой археологии. Около 25 тыс. просмотров.
• «Alan Kay's tribute to Ted Nelson» (2014) — Алан Кей на возрождённой Smalltalk-системе 1970-х показывает, насколько программируемым был софт той эпохи. Около 41 тыс. просмотров.

Как Карпатый собрал это за два часа

По описанию в X, Карпатый работал в десктопном Claude Code для Mac с Opus 5.5 на уровне рассуждений Medium (это дефолт) и, по его словам, «только разговаривал с Claude». Руками он сделал три вещи: создал в Google Cloud ключ для метаданных YouTube, арендовал VPS и купил домен. Затем дал агенту IP-адрес сервера и попросил «обновить, обезопасить, укрепить, развернуть и оптимизировать» — остальное агент сделал сам. На всё ушло около двух часов.

Проекты, на которые раньше уходили недели и месяцы, теперь можно сделать к завтраку. О чём ещё мы пока не думаем?

В самом продукте тоже есть решения, которые стоит подсмотреть. Рекомендации работают без логина — состояние хранится в браузере. Вместо авторской обложки, оптимизированной A/B-тестами, карточка показывает кадр из середины видео (настройка Video frames). У каждой рекомендации на главной видно, почему она в ленте: «классика HN», «скрытая жемчужина», «те же люди с HN ещё советуют». Поиск семантический, на эмбеддингах bge-small. И есть раздел Longs — все видео длиннее часа, «противоположность Shorts».

Как сделать свою версию: архив на 17,8 МБ

Данные анализа выложены по адресу hackertube.org/download/hackertube-data.zip (выгрузка от 31 октября). Внутри — DATA.md с разделом «For AI agents: start here»: Карпатый прямо предлагает «натравить своего Claude и попросить свою версию». Сетевой доступ и ключи для работы с архивом не нужны.

Чего в архиве нет: просмотров, длительности, дат публикации и признака, что видео удалено. Это берётся через бесплатный YouTube Data API, инструкция по ключу есть в DATA.md; по оценке авторов, около 6% изначально найденных видео уже удалены или закрыты. Превью можно брать без ключа с i.ytimg.com.

Минимальный пример: топ устойчивых рекомендаций по одной категории, без видео, которые только цитировали.

        import json

videos = [json.loads(line) for line in open("videos.jsonl", encoding="utf-8")]

def top(category_id, n=10):
    rows = [v for v in videos
            if v["hn"]["recommenders"] > 0
            and v["shelf_life"] != "news"
            and any(c["id"] == category_id for c in v["categories"])]
    for v in rows[:n]:  # файл уже отсортирован по score
        print(f'{v["score"]:5.1f}  {v["hn"]["recommenders"]:2d} чел.  {v["url"]}  {v["title"]}')

top("distributed-systems")   # id — из taxonomy.json
top("testing-debugging-tools")
    

Дальше — дело вкуса: Telegram-бот, который присылает по одному видео в день из mentions.jsonl вместе с цитатой комментатора; рассылка «что HN советовал в этом месяце десять лет назад»; CLI с семантическим поиском по embeddings.npy; или фильтр по области software с первым упоминанием после 2024 года, чтобы увидеть новую классику до того, как она станет классикой. Условия: архив распространяется по лицензии ODC-By, авторы просят указывать HackerTube и исходный датасет open-index/hacker-news; данные YouTube — показывать с указанием источника и время от времени обновлять.

Подводим итоги

HackerTube — редкий случай, когда «проект на выходные» полезен сам по себе, без скидки на срок разработки. Для программиста это сразу два артефакта: проверенный временем список того, что смотреть (выше — полсотни ссылок, с которых можно начать), и открытый датасет с готовой инструкцией для агента. А описание процесса — ключ, сервер, домен и два часа диалога — хорошая калибровка того, что сегодня означает «сделать к завтраку».