vitaly vlasov. open data workshop (openrefine and google fusion). urban data hackathon bishkek 2016
TRANSCRIPT
OPEN DATA WORKSHOPОбработка в Open Refine и визуализация в Google Fusion
для активистов и журналистов
Виталий ВласовUrban Data Hackathon, Bishkek, 2016
ПРОБЛЕМЫ ПРИ РАБОТЕ С ДАННЫМИ
• Не в машиночитаемом формате (html, doc, pdf)
• «Грязные» данные: не нормализированные данные (одни и те же данные записаны в разной форме) и пр.
•Отсутствие геокоординат (или разные системы) в датасетах с адресами
•Отсутствие технической поддержки
• Несвоевременное обновление данных
• Недостаточный уровень детализации данных
•Отсутствие актуальных наборов данных
• Использование латиницы вместо кириллицы
ФУНКЦИИ OPEN REFINE- Преобразование данных к нужному формату- Предварительная обработка. Нахождение ошибок и опечаток- Получение представления о массиве данных
Установка:1. Скачать OpenRefine: http://openrefine.org/2. Запустить установщик3. Открыть браузер и перейти по ссылке: http://127.0.0.1:3333
http://data.gov.spb.ru/datasets/69/
• https://www.google.com/fusiontables/data?dsrcid=implicit&pli=1
• Интерактивные диаграммы
• Визуализация данных на карте
• Встраивание на сайте (iframe)