Как Связанные Данные преобразуют Электронное...

ОБЪЕДИНЯЯ ПРАВИТЕЛЬСТВА ЕВРОПЫ

Как Связанные Данные преобразуют

Электронное Правительство

(eGovernment)

... и как Программа ISA способствует ускорению этого преобразования на благо Европы.

Анализ проблемы: Как Связанные Данные преобразуют eGovernment

Введение Инициативы

по Связанным Данным

Разработка практических

методов на основе передового опыта

Создание словарей

Пилотные проекты по Связанным

Правительственным Данным

Онлайновый поисковый сервис на

основе Связанных Данных

Ссылки

Что такое Связанные Данные?

Всемирная Паутина эволюционирует от “Веба связанных документов” в

сторону “Веба связанных данных”.

Однако, во многих случаях данные по-прежнему “заперты” в

информационных системах и базах данных, а для их представления

используются различные, обычно не согласованные между собой (“не

выравненные”) словари и схемы.

В Европе доступ к правительственным данным, вместе с возможностью их

свободного использования, рассматривается, как необходимое условие

реализации концепции Открытого Правительства и как неоценимый

источник нераскрытого экономического потенциала. [1].

Вместе с тем, размещение данных, например, на порталах Открытых

Данных, носит узкоспециализированный характер, и во многих случаях

тысячи наборов данных публикуются без опоры на общепризнанные

стандарты данных и метаданных, а также без повторного

использования единых идентификаторов.

В результате создается чрезмерно фрагментированная информационная

среда, в которой задачи обнаружения, повторного использования,

интеграции и осмысления данных из различных источников становятся

трудновыполнимыми.

Связанные Данные могут явиться ответом на эти вызовы и стать

инструментом преобразования концепции eGovernment, направленного на

то, чтобы сделать услуги и приложения государственных органов

эффективнее, тем самым стимулируя творчество и новаторство в цифровой

экономике.

Связанные Данные - это набор основных принципов проектирования средств совместного использования машиночитаемых данных в Вебе органами госуправления, коммерческими структурами и отдельными гражданами”.

Четыре принципа проектирования применительно к Связанным данным, которые Тим Бернерс-Ли сформулировал в 2006 г. [2]:

1. Применяйте унифицированные идентификаторы ресурсов (URI) для однозначной идентификации объектов (элементов данных).

2. Используйте стандартные HTTP URL-адреса этих URI, чтобы можно было осуществлять информационный поиск.

3. Добавляйте метаданные в соответствии с такими открытыми стандартами, как RDF.

4. Давайте ссылки на соответствующие URI, чтобы люди смогли обнаружить больше информационных объектов.

[1] http://europa.eu/rapid/press-release_IP-11-1524_en.htm

[2] http://www.w3.org/DesignIssues/LinkedData.html











Ссылки

Как Связанные Данные помогают трансформировать eGovernment? Директива по повторному использованию информации госсектора (известная

под названием “Директива PSI”) призывает органы государственного

управления брать курс на внедрение открытых данных, обеспечивая более

широкое использование своих информационных ресурсов. Принципы

Связанных Данных допускают распространение данных как в

машиночитаемом, так и человекочитаемом виде. Открытие доступа к

правительственным данным через Веб означает более высокую степень

прозрачности и подотчетности, а также делает выбор более осознанным [3].

Связанные Данные дают возможность органам госуправления определять

связи между соответствующими наборами данных других источников.

Размещение данных в таком контекстном окружении создает новые знания и

стимулирует создание инновационных услуг. Теперь правительства могут

предлагать обществу более эффективные услуги и приложения, а

коммерческие структуры и отдельные граждане получают возможность

разрабатывать новые инструментальные средства и сервисы для работы и

анализа данных.

Парадигма Связанных Данных не затрагивает права собственности на

исходные данные. Хотя устанавливаются новые отношения между данными,

все участники этого процесса сохраняют полный контроль над своими

исходными данными [3].

“Предполагается, что инициативные программы внедрения открытых данных усилят прозрачность, активизируют сотрудничество внутри и вне правительственных структур, позволят создавать инновационные услуги с добавленной стоимостью и повышать качество принимаемых решений”. [4]

Связанные Данные обеспечивают гибкую виртуальную

интеграцию правительственных данных, без необходимости

реинжиниринга информационных систем и централизованного

сбора данных из исходных баз данных. Это упрощает

сотрудничество различных структур госсектора в процессе

предоставления ими совместных услуг.

Повторное использование данных, общепризнанных метаданных

(например, словарей и таксономий) и общих идентификаторов

(т.е., URI) обеспечивает семантическую интероперабельность,

когда информационные системы обмениваются данными, что

упрощает предоставление трансграничных услуг общественного

характера, а также позволяет достигать экономии, обусловленной

ростом масштаба деятельности. [3] Bizer, C.; , "The Emerging Web of Linked Data," Intelligent Systems, IEEE ,

vol.24, no.5, pp.87-92, Sept.-Oct. 2009

[4] Ding, L., Peristeras V., Hausenblas M., "Linked Open Government Data," IEEE

Intelligent Systems, vol. 27, no. 3, pp. 11-15, May-June 2012











Ссылки

Взгляд в будущее В настоящее время большинство информационных систем хранят данные в реляционных базах данных, а информационный обмен возможен только при четко определенной структуре, обычно с использованием схем XML. Совместное использование данных в соответствии с некой схемой (XML) служило технической парадигмой в последние десятилетия, потому что такой принцип позволяет компьютерным программам эффективно обрабатывать данные. Однако, по мере развития таких схем необходимо соответствующим образом адаптировать использующие их информационные системы (выступающие в роли источников или потребителей данных). В долговременной перспективе техническая поддержка этих схем требует значительных усилий и может быть совершенно негибкой - особенно в тех случаях, когда темпы изменений высоки. Это - главная причина появления новой парадигмы обмена данными, основанной на схеме описания ресурсов RDF. Согласно авторам этой схемы, консорциуму W3C, “Схема RDF обладает свойствами, облегчающими слияние данных, даже если лежащие в основе схемы различны; в частности, она поддерживает эволюцию схем с течением времени, не требуя модификации у всех потребителей данных” [5]. В RDF данные организованы в графах, построенных на выражениях “субъект-предикат-объект”, и поиск в них может быть организован с помощью языка запросов SPARQL. Эти и другие связанные с ними стандарты являются основой Связанных Данных. Например, в программах Еврокомиссии учтено такое изменение парадигмы, и в них предусмотрена работа по реализации семантической интероперабельности. Эта работа объединяет рассматриваемые стандарты и технологии с целью улучшения eGovernment в масштабе ЕС. Ее результаты будут использованы органами госуправления государств-членов для реализации политики открытых данных, предоставления доступа к своим информационным архивам и упрощения международного обмена данными.

[5] http://www.w3.org/RDF/

Настоящее Будущее

Совместное использование данных с помощью

расширяемого языка разметки (XML)

Совместное использование данных с помощью схемы

описания ресурсов (RDF)

Схема XML (XSD), используемая в качестве

средства проверки данных

Правила (напр., SWRL) и SPARQL используются для

проверки данных и получения логических выводов о фактах

Структура как центральный элемент повторного

использования; т.е., повторное использование XSD

Повторное использование словарей и справочной инфор-мации - средство выявления

общепринятого смысла

Данные хранятся в реляционной базе данных

Данные хранятся в виде RDF-графов

Специализированные Web-сервисы на основе протокола

SOAP делают доступ к данным возможным

Облегченные службы представления Связанных

Данных RESTful делают доступ к данным возможным

Системная интеграция Связывание данных на семантической основе

Предполагается, что данные и схемы имеют завершенный вид

(“Замкнутый мир”)

Данные и словари считаются незавершенными (“Открытый

мир”)

Каждый элемент данных имеет уникальный идентификатор на

уровне информационной системы

Каждый элемент данных имеет общие идентификаторы, взаимосвязанные по всем

информационным системам на уровне Web











Ссылки

От технической интероперабельности к семантической В последние десятилетия интероперабельность была ключевой темой как

для ИТ-компаний, так и для правительственных организаций. Путь к

эффективному межсистемному информационному обмену всегда был

усыпан множеством препятствий: недостаточная распространенность

стандартов, несовместимые технологии, высокая стоимость преобразования

и отображения данных.

Для решения вышеупомянутых проблем создаются различные технологии и

протоколы. Появление Интернета в 1980-е годы знаменует собой первую

важную веху, поскольку стандартизация протоколов TCP/ IP сделала

информационный обмен между системами и техническую

интероперабельность на международном уровне [6] реальностью.

Однако, в то время системы еще “говорили на разных языках”.

[6] As defined by EC’s European Interoperability Framework:

http://ec.europa.eu/isa/documents/isa_annex_ii_eif_en.pdf /

Чтобы сделать информационное взаимодействие эффективным, нужно

было синхронизировать форматы данных, улучшив таким образом

синтаксическую интероперабельность [6]. В конце 1990-х годов

стандарты типа XML получили широкое распространение. При этом XML

и соответствующие технологии (XSD, Web-сервисы, SOAP, WSDL)

оставили нерешенной одну проблему: необходимость совместного

использования в режиме оффлайн общей схемы наименований и

достижение предварительного согласия по трактовке смыслового

содержания и строгим правилам типизации данных. Без этого

взаимопонимание было невозможно.

В 2000-х годах, благодаря таким стандартам, как RDF и OWL, был сделан

следующий шаг: семантическая интероперабельность [6], влекущая за

собой достижение согласия по смысловому значению элементов данных и

отношениям между ними. Семантическая интероперабельность требует

разработки общих словарей для описания элементов данных и гарантирует,

что эти элементы будут одинаково пониматься взаимодействующими

сторонами [8].

Связанные Данные - инструмент реализации семантической

интероперабельности.

Ур

ов

ни

и

нт

еро

пер

аб

ель

но

сти

Семантический

Синтаксический

Технический

1980-е 1990-е 2000-е и позднее

TCP/IP, Интернет HTTP

HTML, XML

WSDL, SOAP, Web-сервисы

RDF, OWL, SPARQL











Ссылки

Основные этапы развития концепции Связанных Данных применительно к eGovernment в Европе

Публикация RDF в виде рекомендации W3C http://www.w3.org/RDF

Тим Бернерс-Ли обнародовал 4 принципа Связанных Данных

http://www.w3.org/DesignIss ues/LinkedData.html http://5stardata.info/

Публикация SPARQL, языка запросов для RDF, в виде рекомендации W3C http://www.w3.org/TR/r df-sparql-query/

Правительство Соединенного Королевства открыло портал data.gov.uk. Являясь пионером в области связанных правительственных данных, оно способствовало международному распространению этой технологии на своем примере

В составе Рамочной программы FP7 запущены масштабная научно-исследовательская программа по Связанным Открытым Данным (LOD2) и проект LATC (“Связанные Открытые Данные круглосуточно”) http://lod2.eu/ http://latc-project.eu/

Представители государств-членов ISA утвердили основные спецификации Связанных Правительственных Данных

W3C создает Рабочую группу по Связанным Правительственным Данным (GLD) http://www.w3.org/2011/gld











Ссылки

Главные инициативные R&D Программы по исследованию Связанных Правительственных Данных

BE - Связывание бельгийских национальных и региональных адресных данных http://location.testproject.eu/BEL/ DK- Хорошие базовые данные для всех http://uk.fm.dk/publications/2012/good-basic-data-for-everyone EC - Портал Открытых Данных http://open-data.europa.eu/open-data/linked-data EU - Система финансовой прозрачности http://fts.publicdata.eu/page/startpage GR - Юридические лица и государственные расходы http://linkeddata.ihu.edu.gr:8080/rdf-browser/ http://publicspending.medialab.ntua.gr/ IT - Методические рекомендации по Связанным Данным http://www.digitpa.gov.it/notizie/linee-guida-open-data-interoperabili SE - Связанные Открытые Данные Швеции http://www.ida.liu.se/~evabl45/lodsweden.sv.shtml UK - Рабочая группа по Связанным Правительственным Данным http://data.gov.uk/linked-data http://education.data.gov.uk/ http://location.data.gov.uk/ http://law.data.gov.uk/ NL - Geonovum.nl http://www.geonovum.nl/











Ссылки

7 эффективных правил публикации Связанных Данных [7]

Смоделируйте данные

Повторно используйте словари при первой возможности

Разместите набор Связанных Данных в открытом доступе, широко оповестив об этом!

Определите подходящий тип лицензии

Конвертируйте данные в RDF

Публикуйте человеко- и машиночитаемые описания

Именуйте объекты с помощью постоянных URI

[7] W3C’s Cookbook for Open Government Linked Data http://www.w3.org/2011/gld/wiki/Linked_Data_Cookbook











Ссылки

Архитектура Связанных Данных

для интеграции данных Связанные Данные применяются для интеграции данных, размещенных в

различных типах источников, имеющих различные форматы, как

структурированных, так и неструктурированных (архитектура - на основе

концепций, изложенных в работе Heath & Bizer [8]).

Первый шаг состоит в разработке постоянных URI, назначения их данным и

описания этих данных в виде RDF с использованием общепринятых

метаданных. В случае структурированных данных (напр., хранящихся в

реляционных базах данных, файлах CSV, Excel или XML), RDF-оболочки,

модули экспорта и API адаптируются для преобразования этих данных в

RDF с последующей публикацией в Веб, или любых других источниках,

допускающих обмен этим типом данных. Для неструктурированных

данных (напр., новостные статьи или бизнес-отчеты), то для их публикации

в виде Связанных Данных необходимо прежде задействовать средства

извлечения сущностей и углубленного анализа текстов с целью

обнаружения информационных объектов.

Когда данные представлены в RDF-формате, их следует связать с другими

данными, поступающими из надежных источников, чтобы сформировать их

контекстное окружение и обогатить смысловое содержание.

После публикации Связанных Данных любая система, способная

обрабатывать семантические запросы (при помощи языка запросов

SPARQL) сможет извлекать и повторно использовать релевантную

информацию.

[8] http://linkeddatabook.com/editions/1.0/

[9] https://joinup.ec.europa.eu/community/semic/document/10-rules-persistent-uris

Структурированные данные eGovernment Текст

RDF-конвер-тор для

CVS, XML, Excel

Извлека-тель

сущностей

Реляцион-ная БД

Источник данных с

API

RDF-хранилище

Файлы RDF

Постоянные URI

Оболочка RDF-в-RDF

CMS с RDFa-

выходом

Кастомизи-рованная оболочка

Связанных Данных

ИнтерфейсСвязанных

Данных Web-сервер

Связанные данные

Терминал SPARQL

Тип данных

Подготовка данных

Хранение данных

Публикация данных

Поиск и повторное использование данных

Нет необходимости в комплексном интегрировании на межсистемном

уровне

Семантические запросы могут быть оптимизированы для больших

наборов данных

Нет необходимости в строгой типизации данных

Передовые приемы формирования постоянных URI важны для реали-

зации повторного использования [9]











Ссылки

Достижение семантической интероперабельности посредством Связанных Данных

Организации по стандартизации разрабатывают стандарты Связанных Данных

Организации по стандартиза-ции разрабатывают методику на основе передового опыта

Промышленные компании разрабатывают программное обеспечение

Организации по стандартизации, научное сообщество, промышленные предприятия и правительства создают словари

• SPARQL [10] • RDF [11] • RDFS [12] • OWL [13]

• Cool URIS [14] • Принципы Связанных Данных [15] • Рабочая группа GLD [16]

• Хранилище триплетов • Движок SPARQL • Межплатформенное ПО RDF

• SCOS [17] • DCMI [18] • FOAF [19]

[10] http://www.w3.org/TR/rdf-sparql-query/



[13] http://www.w3.org/TR/owl-features/

[14] http://www.w3.org/TR/cooluris/

[15] [http://www.w3.org/standards/semanticweb/data

[16] http://www.w3.org/2011/gld/wiki/Main_Page

[17] http://www.w3.org/2004/02/skos/

[18] http://dublincore.org/

[19] http://xmlns.com/foaf/spec/

Практические методы Предусмотрена разработка оптимальных практических методов для использования технологий Связанных Данных применительно к eGovernment

Пилотные проекты Пилотные проекты по Связанным Правительственным Данным

Словари Предусмотрена разработка набора словарей для eGovernment

Онлайновая поисковая служба Предлагается услуга онлайнового поиска по спецификациям информационно-коммуникационных технологий на основе технологий Связанных Данных











Ссылки

Формирование положительного опыта в Европе На сайте программы ЕС Joinup предлагаются описания практических примеров,

призванных помочь административным органам внедрить технологии

Связанных Данных в структуры Электронного Правительства eGovernment.

Ниже перечислены несколько исследований из них:

Изучение принципов построения URI [20] Изучение положительного опыта по публикации наборов унифицированных

идентификаторов ресурсов (URI) в отношении как их формата, так и правил

формирования и ведения.

Анализ конкретного случая: Связывание бизнес-реестров с Базовым бизнес-словарем [21] В этом примере подчеркивается потенциал Базового бизнес-словаря в качестве

основы общего семантического стандарта для связывания бизнес-реестров в

Европе и за ее пределами.

Анализ конкретного случая: Как описывать организации в терминах RDF, используя Базовый бизнес-словарь и Организационную онтологию? [22] В этом примере объясняется, как описывать организации в терминах RDF,

используя Базовый бизнес-словарь и Организационную онтологию. Для этого

рассмотрена реально существующая организация, PricewaterhouseCoopers

Enterprise Advisory, юридическое лицо, зарегистрированное в официальном

реестре компаний Бельгии, которая описана в RDF с использованием

упомянутых спецификаций.

“Предлагаются описания практических

методов и примеров, призванные помочь

административным органам внедрить

технологии Связанных Данных в структуры

Электронного Правительства eGovernment”.

СООБЩЕСТВО СЕМАНТИЧЕСКОЙ ИНТЕРОПЕРАБЕЛЬ-

НОСТИ

Результаты некоторых исследований по семантической интероперабельности доступны для скачивания на сайте Joinup в разделе SEMIC (Сообщества семантической интероперабельности) [23]

[20] https://joinup.ec.europa.eu/community/semic/document/10-rules-

persistent-uris

[21] https://joinup.ec.europa.eu/asset/core_business/document/interconnecting-

business-registers-core-business-vocabulary

[22] https://joinup.ec.europa.eu/asset/core_business/document/describe-

organizations-rdf-core-business-vocabulary-and-org-ontology

[23] https://joinup.ec.europa.eu/community/semic/description











Ссылки

Создание базовых словарей в Европе Что такое Базовый словарь? Базовый словарь - это упрощенная, допускающая многократное использование и

расширяемая модель данных, фиксирующая фундаментальные характеристики

информационного объекта нейтральным по отношению к контексту образом.

Базовые словари могут применяться в совместных проектах для обеспечения

информационного обмена между различными независимо друг от друга

разработанными системами, позволяя тем самым информации перемещаться,

пересекая границы государств и предметных областей.

Разработку первых трех Базовых словарей по Программе ISA, а именно: “Люди”,

“Местоположение” и “Бизнес” (переименованный в “Зарегистрированные

организации”) [24], выполнила Рабочая группа по Связанным Правительственным

Данным (GLD WG) Консорциума W3C [25]. Четвертый Базовый словрь

“Госуслуги” пока еще в стадии разработки.

Чем он полезен? Хотя в ЕС предоставляется множество трансграничных госуслуг, граждане и

коммерческие структуры все еще не получают их бесперебойно и в должном

качестве. Когда гражданам одного из государств-членов требуется получить услугу

в другом государстве, необходимый при этом обмен данными тормозится по

причине несовместимости стандартов и спецификаций. Базовые словари помогают

описывать информационные объекты, давая определения их компонентам. Они

спроектированы таким образом, чтобы стать основой для новых, контекстно-

ориентированных словарей, применяемых для обмена информацией

государственного сектора. Они также могут служить опорными словарями для

переноса и выравнивания других словарей.

Базовые словари подчиняются принципам организации Связанных Данных

Они стимулируют использование общепри-нятых идентификаторов организаций в виде URI

Их легко комбинировать с другими словарями Связанных Данных

Они легко расширяются новыми классами и атрибутами, отвечающими требованиям к новой области знаний

Сведения о Базовых словарях можно найти на сайте Joinup

[24] https://joinup.ec.europa.eu/community/core_vocabularies/description

[25] http://www.w3.org/2011/gld/

БАЗОВЫЙ

СЛОВАРЬ

“БИЗНЕС”

БАЗОВЫЙ

СЛОВАРЬ

“ГОС-

УСЛУГИ”

БАЗОВЫЙ

СЛОВАРЬ “МЕСТО-ПОЛОЖЕ-НИЯ”

БАЗОВЫЙ

СЛОВАРЬ

“ЛЮДИ”











Ссылки

Программами работ предусматривается осуществление пилотных проектов по Связанным Правительственным Данным Связывание национального и региональных реестров адресов Бельгии В этом пилотном проекте используется Базовый словарь “Местоположения” [26] для публикации и взаимного связывания реестров адресов трех регионов Бельгии, а именно: UrBIS в Брюссельском регионе, CRAB во Фландрии, PICC в Валлонии, а также информационных ресурсов Национального географического института (NGI). Демо-версия доступна по адресу: http://location.testproject.eu/BEL/ Пилотный проект ADMS SW - Эталонные описания ПО в формате AMDS.SW из национальных и региональных источников Этот пилотный проект нацелен на публикацию эталонных описаний ПО многократного пользования с открытым исходным кодом из европейских национальных и региональных источников в форматах HTML+RDFa, RDF-XML и Turtle с помощью словаря AMDS.SW [27].

[26] https://joinup.ec.europa.eu/asset/core_location/description

[27] https://joinup.ec.europa.eu/asset/adms_foss/news/sample-amdssw-

software-descriptions-cenatic-and-apache-published

“Данный пилотный проект демонстрирует, как

связывать адресные данные из трех реестров

адресов Бельгии и NGI, используя Базовый

словарь местоположений”.











Ссылки

Европейская онлайновая поисковая служба, основанная на технологиях Связанных Данных В рамках Программы ISA запущен новый онлайновый сервис, основанный на технологиях Связанных Данных, который помогает органам государственного управления находить и использовать спецификации информационных технологий (т.е., семантические ресурсы) [28]. Доступ к более 1300 ресурсам от пятнадцати организаций, перечисленных на соседнем рисунке, включая несколько государств-членов и организаций по стандартизации, организован через портал Европейской Комиссии Joinup [29]. Расширяя доступность семантических ресурсов и пропагандируя их повторное использование, Еврокомиссия содействует достижению семантической интероперабельности информационных систем, разработанных в различных государствах-членах. Что такое ADMS? Рассматриваемый сервис базируется на Схеме метаданных для описания информационных ресурсов ADMS [30]. Это стандартизированный словарь метаданных, применяемый органами государственного управления, организациями по стандартизации и другими участниками для документирования их семантических ресурсов в едином структурированном формате (напр., наименование, статус, версия, адрес в Web и т.п.). Другими словами, ADMS определяет единый метод описания семантических ресурсов.

[28] https://joinup.ec.europa.eu/community/cesar/news/european-commission-

launches-online-service-promote-semantic-interoperability

[29] http://joinup.ec.europa.eu/

[30 https://joinup.ec.europa.eu/asset/adms/description

Что такое семантические ресурсы? Семантические ресурсы представляют собой метаданные (напр., схемы XML, универсальные модели данных) и справочные данные (напр., списки кодов, таксономии, словари и словники) многократного пользования, применяемые в информационных системах органов государственного управления для обмена информацией.

15 партнерских организаций

6 партнерских организаций из государств-членов

2 партнерские организации из европейских институтов

3 партнерские организации из органов стандартизации

4 партнерские организации других участников


Пример: Общая структура Открытой государственной платформы Германии - Связанные Правительственные Данные

Как Связанные Данные преобразуют Электронное...

Technology

rdfbrowser http

uk http

ec http

se http

egovernment egovernment

uri rdf

sparql rdf

data eu http