УСЫ (urban science)

Будущее фоограмметрии уже здесь

https://app.geohub.ru/maps/1568

Распределение твитов на разных языках например)

Много интересного в брошюре ИТМО по геоинформатике

Чукотские перемены на картах, или зачем антропологу ГИС
___

Я очень люблю карты! Это одновременно и картинка — иллюстрация к рассказу, и исследовательский инструмент, всегда подкидывающий неожиданные инсайты. Как вы знаете, я пишу диссертацию про реновацию на Чукотке. И вот сделал карты о том, как менялась система расселения региона за последний век. Ввожу, так сказать, в научный оборот:)

1) Контактно-традиционная Чукотка. Этот термин предложили ученые Крупник и Членов, чтобы описать общество в состоянии перехода от изолированных неконтактных племён к глобализированной (пост)колониальной организации. В это время народ сохраняет свою традиционную систему расселения и образ жизни, но при непосредственном соседстве с европейскими переселенцами, с которыми ведётся культурный и торговый обмен. Для коренных народов Чукотки, чукчей и эскимосов, такой переход к модерну длился дольше всех остальных в России — и завершился лишь в 1950-е.

Поражает, насколько плотно были заселены морские берега. Все это — сёла эскимосов и оседлых приморских чукчей, промышлявших морским зверем. Второй заметный очаг расселения — бассейн реки Анадырь. Тут и сёла марковцев-чуванцев, потомков первых русских переселенцев, и поселения оседающих оленных чукчей. Абсолютное большинство сёл было ликвидировано в ходе коллективизации: советская власть концентрировала население в выбранных ею поселках с целью эффективного обмена трудовых ресурсов на поставляемые государством блага, ну и ради контроля. Надо сказать, что для переселения прямое насилие почти не применялось: многих действительно привлекли обещания большевиков, другие пассивно подчинялись (хотя было и Берёзовское восстание). Но факт остаётся фактом: в результате исчезли целые культуры, например древние Уназик и Наукан.

2) Позднесоветская Чукотка. Просто взгляните на эту карту и осознайте, как изменился регион за какие-то 30 лет. Большинство сельских поселений исчезли, зато выросли десятки крупных и благоустроенных посёлков городского типа, в которых добывали уголь, руду и золото, возникли военные городки. В 90-е большинство из них было закрыто, жители (переселенцы из центральной России и Украины) уехали из региона, а немногочисленные оставшиеся шахты и прииски перешли на вахтовый метод добычи. На демографических графиках чукотская индустриализация выглядят как курьёз: за 30 лет население региона успело вырасти в три раза и потом в те же три раза сократиться. На карте этот курьез еще более впечатляет, если знать, что за каждой жирной точкой — многоквартирные дома, школы, дворцы культуры, котельные, и всё это в тундре.

3) Современная Чукотка. Сегодня Чукотка выглядит пустынно: три города, пять посёлков городского типа, да три десятка национальных сёл. Такая низкая плотность населения кажется естественной для холодного далекого края, но карта здорово разрушает эту иллюзию естественности: совсем недавно здесь всё было иначе, и нынешняя система расселения — результат конкретных политик. И совсем не факт, что через 10 лет карта будет выглядеть также. Для Чукотки закрытие поселков и переселение людей — дело привычное, разговоры об этом мне частенько приходилось слышать среди информантов, пусть и с некоторой грустной обречённостью в голосе. Если в Канаде, США и Гренландии правительства извинялись перед коренными жителям за принудительные переселения и интернаты, то в России этого не произошло, более того, я ни разу не слышал таких требований. Уже совсем недавно, в 2015 году, закрыли село Янранай, и увы, вряд-ли оно станет последним.

4) Реновация Абрамовича. Наконец-то можно оценить масштаб перемен в 00-е! Полной реновации, с заменой большей части жилого фонда на коттеджи и строительством социалки, подверглись в основном сёла на морском побережье — логистически именно сюда было проще доставить стройматериалы. Билибинский район и Певек реновация практически не коснулась. Показательно и то, что объем реновации мало повлиял на демографическую ситуацию в сёлах. Зато именно в период правления Абрамовича не было закрыто ни одного села.

Ниже прикрепляю полные версии карт, разглядывайте!

Плотность населения в десяти странах мира, 2022 (Terence Fosstodon)

Другие карты с плотностью населения:
— Интерактивная карта плотности населения Земли, 2015
— Плотность населения Земли, 2022
— Минимальные круги с 25%, 50% и 75% населения, 2015
— Самые густонаселённые области планеты, 2020

А кто хочет сделать такое по регионам РФ?

2006

Прикольный студенческий проект о генерации пространственных планировок (квартирных, например) с использованием диаграмм Вороного.

«В работе представлена методика создания планировок с использованием диаграмм Вороного, где формы комнат определяются расстоянием от точек Вороного. Такой подход позволяет гибко изменять планировку стен, перемещая эти точки, что помогает удовлетворять различные ограничения, такие как размеры и соединение комнат.

Алгоритм итеративно перемещает центроиды Вороного до тех пор, пока не будет достигнута оптимальная планировка. В итоге, эта методика предлагает интерактивный способ создания разнообразных и функциональных планов с минимальным участием пользователя."

https://github.com/nobuyuki83/floor_plan

@dataviznews

📈Упорядоченные данные о муниципалитетах РФ
Аналитики «Сбериндекса» провели колоссальную работу по наведению порядка с границами и версионностями муниципалитетов. Внутри — геопэкэдж для удобной работы.

Аналитики свели вместе данные ОСМ, ПКК, БДМО и сделали из них понятный единый справочник.

Эти данные в сыром виде — настоящий ад для аналитики, потому что там вас ждут: муниципальные районы и округа, городские и внутригородские округа. И эти границы меняются почти каждый год!

Почет и уважение аналитикам за их труд и за публикацию в открытом доступе. Буду пользоваться.📍

Ссылка на файлы
Статья на хабре

Полезный инструмент, который показывает индекс доступности до объектов инфраструктуры по городам мира.

https://city-indexes.online/#9.84/55.7505/37.6175

Как вам такой интерфейс для ГИС?

Наличие кондиционеров на 100 домохозяйств с Росстата. Отчего так парятся хабарочане?

Взял отсюда @harding1989

Вот как сейчас выглядит Центральный парк Новосибирска на 2ГИС и на Яндекс.Картах. Почувствуйте разницу, так сказать⚡️

📈Мы ищем гис-аналитика

Привет! Ищем амбициозного гис-аналитика в наш проект

Что нужно делать
- Собирать, обрабатывать и анализировать геоданные
- Писать новые и оптимизировать существующие пайплайны получения и обработки геоданных
- Поддерживать и развивать базу геоданных
- Автоматизировать и оптимизировать рабочие процессы, разрабатывать новые инструментов для анализа данных (Python)
- Выполнять запросы от смежных команд

Навыки
- Уверенное владение QGIS
- Владение Python (numpy, pandas, geopandas, shapely, osmnx/networkx, requests)
- Умение видеть за числами и картами физический смысл и способность находить причины явлений
- Знать основы градостроительства и земельного права
- Умение работать с базами данных (PostgreSQL)
- Базовые знания математики и статистики
- Понимание принципов работы DS и ML
- Базовая визуализация пространственных данных
- Опыт работы в сфере консалтинга по развитию территорий приветствуется

Условия
- Официальное трудоустройство по ТК РФ
- Уютный офис в центре Москвы (м. Курская)
- Сильная и классная команда, с которой можно быстро расти
- Гибридный график работы
- Интересные и нестандартные задачи
- Отсутствие дресс-кода

Кидайте cv в лс @dorozhnij

Стартовал конкурс на лучшее исследование городской среды с призовым фондом 2 250 000 рублей 🤑

Конкурс «Исследуй город» проводится с целью привлечь внимание к проблемам развития городских территорий и дает участникам возможность создать исследовательский проект в одном из нескольких градостроительных направлений.

К участию приглашаются команды, состоящие из молодых специалистов, проектные институты, архитекторы, урбанисты и студенты (в сопровождении преподавателей), а также опытные исследовательские команды и архитектурные бюро.

Результаты конкурса должны быть представлены несколькими комплексными исследованиями на актуальные градостроительные темы и будут использованы при разработке проектов, а также помогут в формировании долгосрочного стратегического видения
будущего Москвы.

Для участия необходимо заполнить форму на сайте, а также подготовить резюме претендента — рассказать, что мотивирует вас бороться за победу в этом конкурсе.

*Конкурс проводиться Институтом Генплана Москвы при поддержке Москомархитектуры.

Пятнично-масленичный мем

Нейросеть для поиска места по фотографии
Российская нейросеть помогает найти любое место на планете по фотоснимку. Бесплатно.
Мы в "усах" проверили — работает. Проверьте и вы

https://geospy.ai/

С 12 по 20 апреля снова летим в Китай с клубом ВСЕВПАРК! На этот раз изучим 20 общественных пространств, в трех мегаполисах: Шэньчжэнь, Шанхай и Гуанчжоу.

Обязательно для посещения тем, кто хочет увидеть будущее не в фантастических блокбастерах, а наяву: бесшумные автомобили, футуристические небоскребы, утопающие в зелени, офисы иностранных компаний.

Вдохновимся работами бюро с мировым именем – TURENSCAPE, SWA Group, LOLA, AUBE CONCEPTION, Hassell Group, MLA+!
Перевыполним нормативы по количеству шагов – по паркам, набережным, “парящим” мостам.
Добавим в адресную книгу много полезных контактов.

Эксперты - Бюро Turenscape, чьи работы заслужили высокую международную репутацию и множество наград за инновационный и экологически чистый дизайн.

Запись и программа - https://vsevpark-club.ru/china2024

Реклама ИП Аюпов Э.Н. ИНН 771977544971 erid: 2VtzqwcMKmM

💻 Как спарсить любой сайт? (ч.2)

В первой части поста мы разбирали что такое API, как с ним работать и примеры сервисов, использующих данную технологию. В этом посте мы познакомимся с таким понятием как веб-скрапинг.

Веб-скрапинг, или парсинг, представляет собой процесс автоматизированного извлечения данных с веб-страниц. Данный метод позволяет извлекать информацию с различных веб-сайтов для анализа рынка, мониторинга конкурентов и других целей. Кроме того, веб-скрапинг автоматизирует процесс сбора данных, что экономит время и усилия, а также автоматизирует рутинную работу.

Как вы уже могли заметить, здесь используется два термина, но какой из них «правильнее»? Чаще всего в русскоязычном сообществе используется термин парсинг (от англ. parsing - проведение грамматического разбора слова). В англоязычном же сообществе используются термин скрапинг (от англ. scraping - соскабливание/выскабливание).

Давайте рассмотрим несколько популярных инструментов для веб-скрапинга на Python:

🌐 Beautiful Soup (bs4)
Это мощная библиотека Python, предназначенная для парсинга HTML и XML документов. С её помощью можно легко и удобно извлекать данные из HTML-страниц, что делает её идеальным выбором для многих задач по анализу данных и мониторингу веб-ресурсов.

🌐 Requests
Хотя Requests широко известна как библиотека для работы с API, она также может быть использована для загрузки веб-страниц и извлечения данных из них. Она особенно удобна для работы с сайтами, не предоставляющих API, и позволяет быстро и эффективно получать необходимую информацию.

🌐 Selenium
Эта библиотека предназначена для автоматизации веб-браузера и управления им из кода Python. С помощью Selenium можно выполнять различные действия на веб-страницах, такие как нажатие на кнопки, заполнение форм и многое другое. Это особенно полезно, когда требуется взаимодействие с веб-сайтами, которые используют динамическую загрузку контента или требуют ввода пользовательских данных для доступа к информации.

🔒 Некоторые веб-сайты могут применять различные методы для блокировки веб-скрапинга, такие как CAPTCHA, ограничение доступа для незарегистрированных пользователей или динамическая генерация контента. Для обхода таких блокировок существуют различные методы, включая изменение заголовков запросов, использование прокси-серверов или обращение к специализированным сервисам для обхода CAPTCHA. Также инструменты, такие как Selenium, предоставляют возможность эмулировать работу пользователя с сайтом, что позволяет обойти многие виды блокировок.

⚖️ Возникает вопрос о законности использования веб-скрапинга. Фактически, этот метод не противоречит законодательству, и за него не предусмотрена юридическая ответственность. Однако существуют ограничения, установленные законодательством. Например, запрет на сбор данных из личных кабинетов пользователей и на DDOS-атаки. Также копирование контента, включая изображения и тексты, без разрешения владельца может быть признано нарушением авторских прав. Важно помнить, что сам процесс парсинга не является незаконным, когда данные собираются из открытого доступа, и парсеры лишь ускоряют этот процесс и уменьшают вероятность ошибок человеческого фактора.

Как спарсить любой сайт?

Channel name was changed to «УСЫ (urban science)»

​​Шестой поток программы Архитекторы.рф

Продолжается прием заявок на участие в бесплатной лидерской офлайн-программе Архитекторы.рф.

❗️ Успейте заполнить анкету и отправить портфолио до 4 марта включительно.

В этом году к конкурсному отбору будут допущены не только кандидаты с дипломами архитекторов и градостроителей, но и социологи, культурологи, антропологи, и специалисты в сфере туризма и коммуникаций. 

Финалистов отбора ждет полугодовая образовательная программа, состоящая из 4 очных модулей. Она включает в себя различные форматы обучения, в том числе исследовательские поездки по России и за рубеж, лекции, встречи с экспертами и работу в проектных группах.

Слушатели программы получат удостоверение о повышении квалификации и станут частью междисциплинарного сообщества выпускников. Программа реализуется ДОМ.РФ.

Подать заявку:
https://a.archrf.ru/pXM2Tg

💻 Что там с API и веб-скрапингом? (ч.1)

Вопрос с доступностью данных и их получением всегда стоит остро. Иногда «просто скачать» не работает и приходится обращаться к более сложным методам для «добычи» данных.

Например, такими методами являются Application Programming Interface (API) и веб-скрапинг. API предоставляет структурированный доступ к данным, тогда как веб-скрапинг позволяет извлекать информацию напрямую с веб-страниц. В двух частях этого поста мы рассмотрим, как эти два инструмента могут использоваться для сбора и анализа данных, а также какие возможности они предоставляют для различных проектов и исследований.

API (англ. Application Programming Interface — программный интерфейс приложения) — это набор способов и правил, по которым различные программы общаются между собой и обмениваются данными. Он определяет методы взаимодействия с конкретным программным компонентом или сервисом, позволяя разработчикам (пользователям) получать доступ к его функциям и данным структурированным и стандартизированным образом. В Python использование API невероятно просто благодаря библиотеке requests, которая упрощает процесс выполнения HTTP-запросов для доступа к данным из веб-API.

Примеры сервисов, которые предоставляет пространственные данные с помощью API:

📍 Портал открытых данных Правительства Москвы
Портал предлагает большое количество данных (Например, зарядные станции для электромобилей) по Москве, но пространственные данные в формате GeoJson можно получить только через использование API. На портале присутствует открытая документация по использованию API.

📍 Яндекс.Карты
С помощью API Яндекс.Карт можно получить большое количество данных, либо использовать сервисы Яндекса для анализа данных. Например, среди сервисов есть возможность построения матрицы расстояний или геокодирование адресов. Для бесплатного аккаунта есть ограничения в виде - 500 запросов в сутки.

📍 DaData
Среди сервисов DaData есть такие сервисы как геокодирование, определение кадастрового номера по адресу. Также DaData предоставляет большое количество иных сервисов, которые могут пригодиться при работе с данными. У DaData для бесплатных аккаунтов также есть ограничения.

Конечно это не основной список сервисов, которые используют API. У каждого сервиса своя документация и свои правила использования API. Перед использованием следует ознакомиться с ними.

Ещё про API