УСЫ (urban science)

@urban_science


Все о больших данных и геоаналитике в России и мире

Ведущий: @dorozhnij

УСЫ (urban science)

21 Oct, 14:29


2006

УСЫ (urban science)

18 Oct, 09:03


Прикольный студенческий проект о генерации пространственных планировок (квартирных, например) с использованием диаграмм Вороного.

«В работе представлена методика создания планировок с использованием диаграмм Вороного, где формы комнат определяются расстоянием от точек Вороного. Такой подход позволяет гибко изменять планировку стен, перемещая эти точки, что помогает удовлетворять различные ограничения, такие как размеры и соединение комнат.

Алгоритм итеративно перемещает центроиды Вороного до тех пор, пока не будет достигнута оптимальная планировка. В итоге, эта методика предлагает интерактивный способ создания разнообразных и функциональных планов с минимальным участием пользователя."

https://github.com/nobuyuki83/floor_plan

@dataviznews

УСЫ (urban science)

16 Oct, 09:19


📈Упорядоченные данные о муниципалитетах РФ
Аналитики «Сбериндекса» провели колоссальную работу по наведению порядка с границами и версионностями муниципалитетов. Внутри — геопэкэдж для удобной работы.

Аналитики свели вместе данные ОСМ, ПКК, БДМО и сделали из них понятный единый справочник.

Эти данные в сыром виде — настоящий ад для аналитики, потому что там вас ждут: муниципальные районы и округа, городские и внутригородские округа. И эти границы меняются почти каждый год!

Почет и уважение аналитикам за их труд и за публикацию в открытом доступе. Буду пользоваться.📍

Ссылка на файлы
Статья на хабре

УСЫ (urban science)

12 Sep, 09:07


Полезный инструмент, который показывает индекс доступности до объектов инфраструктуры по городам мира.

https://city-indexes.online/#9.84/55.7505/37.6175

УСЫ (urban science)

11 Sep, 12:56


Как вам такой интерфейс для ГИС?

УСЫ (urban science)

02 Sep, 15:51


Наличие кондиционеров на 100 домохозяйств с Росстата. Отчего так парятся хабарочане?

Взял отсюда @harding1989

УСЫ (urban science)

01 Aug, 09:47


Вот как сейчас выглядит Центральный парк Новосибирска на 2ГИС и на Яндекс.Картах. Почувствуйте разницу, так сказать⚡️

УСЫ (urban science)

04 Jul, 08:27


📈Мы ищем гис-аналитика

Привет! Ищем амбициозного гис-аналитика в наш проект

Что нужно делать
- Собирать, обрабатывать и анализировать геоданные
- Писать новые и оптимизировать существующие пайплайны получения и обработки геоданных
- Поддерживать и развивать базу геоданных
- Автоматизировать и оптимизировать рабочие процессы, разрабатывать новые инструментов для анализа данных (Python)
- Выполнять запросы от смежных команд

Навыки
- Уверенное владение QGIS
- Владение Python (numpy, pandas, geopandas, shapely, osmnx/networkx, requests)
- Умение видеть за числами и картами физический смысл и способность находить причины явлений
- Знать основы градостроительства и земельного права
- Умение работать с базами данных (PostgreSQL)
- Базовые знания математики и статистики
- Понимание принципов работы DS и ML
- Базовая визуализация пространственных данных
- Опыт работы в сфере консалтинга по развитию территорий приветствуется

Условия
- Официальное трудоустройство по ТК РФ
- Уютный офис в центре Москвы (м. Курская)
- Сильная и классная команда, с которой можно быстро расти
- Гибридный график работы
- Интересные и нестандартные задачи
- Отсутствие дресс-кода

Кидайте cv в лс @dorozhnij

УСЫ (urban science)

27 Mar, 12:10


Стартовал конкурс на лучшее исследование городской среды с призовым фондом 2 250 000 рублей 🤑

Конкурс «Исследуй город» проводится с целью привлечь внимание к проблемам развития городских территорий и дает участникам возможность создать исследовательский проект в одном из нескольких градостроительных направлений.

К участию приглашаются команды, состоящие из молодых специалистов, проектные институты, архитекторы, урбанисты и студенты (в сопровождении преподавателей), а также опытные исследовательские команды и архитектурные бюро.

Результаты конкурса должны быть представлены несколькими комплексными исследованиями на актуальные градостроительные темы и будут использованы при разработке проектов, а также помогут в формировании долгосрочного стратегического видения
будущего Москвы.

Для участия необходимо заполнить форму на сайте, а также подготовить резюме претендента — рассказать, что мотивирует вас бороться за победу в этом конкурсе.

*Конкурс проводиться Институтом Генплана Москвы при поддержке Москомархитектуры.

УСЫ (urban science)

15 Mar, 15:09


Пятнично-масленичный мем

УСЫ (urban science)

11 Mar, 11:36


Нейросеть для поиска места по фотографии
Российская нейросеть помогает найти любое место на планете по фотоснимку. Бесплатно.
Мы в "усах" проверили — работает. Проверьте и вы

https://geospy.ai/

УСЫ (urban science)

11 Mar, 08:36


С 12 по 20 апреля снова летим в Китай с клубом ВСЕВПАРК! На этот раз изучим 20 общественных пространств, в трех мегаполисах: Шэньчжэнь, Шанхай и Гуанчжоу.

Обязательно для посещения тем, кто хочет увидеть будущее не в фантастических блокбастерах, а наяву: бесшумные автомобили, футуристические небоскребы, утопающие в зелени, офисы иностранных компаний.

Вдохновимся работами бюро с мировым именем – TURENSCAPE, SWA Group, LOLA, AUBE CONCEPTION, Hassell Group, MLA+!
Перевыполним нормативы по количеству шагов – по паркам, набережным, “парящим” мостам.
Добавим в адресную книгу много полезных контактов.

Эксперты - Бюро Turenscape, чьи работы заслужили высокую международную репутацию и множество наград за инновационный и экологически чистый дизайн.

Запись и программа - https://vsevpark-club.ru/china2024

Реклама ИП Аюпов Э.Н. ИНН 771977544971 erid: 2VtzqwcMKmM

УСЫ (urban science)

06 Mar, 17:43


💻 Как спарсить любой сайт? (ч.2)

В первой части поста мы разбирали что такое API, как с ним работать и примеры сервисов, использующих данную технологию. В этом посте мы познакомимся с таким понятием как веб-скрапинг.

Веб-скрапинг, или парсинг, представляет собой процесс автоматизированного извлечения данных с веб-страниц. Данный метод позволяет извлекать информацию с различных веб-сайтов для анализа рынка, мониторинга конкурентов и других целей. Кроме того, веб-скрапинг автоматизирует процесс сбора данных, что экономит время и усилия, а также автоматизирует рутинную работу.

Как вы уже могли заметить, здесь используется два термина, но какой из них «правильнее»? Чаще всего в русскоязычном сообществе используется термин парсинг (от англ. parsing - проведение грамматического разбора слова). В англоязычном же сообществе используются термин скрапинг (от англ. scraping - соскабливание/выскабливание).

Давайте рассмотрим несколько популярных инструментов для веб-скрапинга на Python:

🌐 Beautiful Soup (bs4)
Это мощная библиотека Python, предназначенная для парсинга HTML и XML документов. С её помощью можно легко и удобно извлекать данные из HTML-страниц, что делает её идеальным выбором для многих задач по анализу данных и мониторингу веб-ресурсов.

🌐 Requests
Хотя Requests широко известна как библиотека для работы с API, она также может быть использована для загрузки веб-страниц и извлечения данных из них. Она особенно удобна для работы с сайтами, не предоставляющих API, и позволяет быстро и эффективно получать необходимую информацию.

🌐 Selenium
Эта библиотека предназначена для автоматизации веб-браузера и управления им из кода Python. С помощью Selenium можно выполнять различные действия на веб-страницах, такие как нажатие на кнопки, заполнение форм и многое другое. Это особенно полезно, когда требуется взаимодействие с веб-сайтами, которые используют динамическую загрузку контента или требуют ввода пользовательских данных для доступа к информации.

🔒 Некоторые веб-сайты могут применять различные методы для блокировки веб-скрапинга, такие как CAPTCHA, ограничение доступа для незарегистрированных пользователей или динамическая генерация контента. Для обхода таких блокировок существуют различные методы, включая изменение заголовков запросов, использование прокси-серверов или обращение к специализированным сервисам для обхода CAPTCHA. Также инструменты, такие как Selenium, предоставляют возможность эмулировать работу пользователя с сайтом, что позволяет обойти многие виды блокировок.

⚖️ Возникает вопрос о законности использования веб-скрапинга. Фактически, этот метод не противоречит законодательству, и за него не предусмотрена юридическая ответственность. Однако существуют ограничения, установленные законодательством. Например, запрет на сбор данных из личных кабинетов пользователей и на DDOS-атаки. Также копирование контента, включая изображения и тексты, без разрешения владельца может быть признано нарушением авторских прав. Важно помнить, что сам процесс парсинга не является незаконным, когда данные собираются из открытого доступа, и парсеры лишь ускоряют этот процесс и уменьшают вероятность ошибок человеческого фактора.

Как спарсить любой сайт?

УСЫ (urban science)

06 Mar, 16:08


Channel name was changed to «УСЫ (urban science)»