Неструктурированные данные

Неструктури́рованные да́нные — данные, которые не соответствуют заранее определённой модели данных, и, как правило, представлены в форме текста с датами, цифрами, фактами, расположенными в нём в произвольной форме. Такие данные трудно анализировать, особенно при помощи традиционных программ, предназначенных для работы со структурированными данными (аннотированными или хранящимися в базах).

По оценкам Merrill Lynch 1998 года около 80—90 % от всей потенциально полезной деловой информации было представлено в неструктурированной форме, однако это соотношение не было основано на статистике или количественных исследованиях, а являлось предположением. Computerworld оценивает объём неструктурированных данных в организациях в 70—80 % от всех данных.

История

Самые ранние исследования в области бизнес-аналитики были сосредоточены не на числовых данных, а на неструктурированных текстовых данных. Уже в 1958 году такие исследователи в области информационных технологий, как Х. П. Лун, изучали способы извлечения и классификации данных в неструктурированном тексте. Тем не менее, только с начала 2000-х годов имеющиеся технологии догнали исследовательский интерес. В 2004 году SAS Institute разработал SAS Text Miner, который использует сингулярное разложение, чтобы факторизовать текстовое пространство высокой размерности на подпространства меньшей размерности для значительного упрощения машинного анализа. Достижения в области математики и технологий машинной обработки текстов стимулировали проведения исследований коммерческими организациями в таких областях, как анализ тональности текста (сентимент-анализ), сбор и анализ мнений потребителей, автоматизация центров обработки вызовов. Появление технологий больших данных в конце 2000-х годов стимулировало повышенный интерес к программам для анализа неструктурированных данных в современных областях, таких как прогнозирование и причинно-следственный анализ (root cause analysis).

Трудности терминологии

Термин «неструктурированные данные» может считаться неточным по нескольким причинам:

• структура, даже если она не определена формально, может подразумеваться;
• данные, обладающие структурой некоторой формы, могут по-прежнему характеризоваться как неструктурированные, если их структура не предназначена для машинной обработки;
• неструктурированная информация может иметь некоторую структуру (такая информация называется полуструктурированной) или даже быть хорошо структурированной, но теми способами, которые являются неочевидными без предварительного согласования.

Работа с неструктурированными данными

Такие техники, как интеллектуальный анализ данных (data mining), обработка естественного языка (Natural Language Processing) и интеллектуальный анализ текста, предоставляют методы поиска закономерностей с целью так или иначе интерпретировать неструктурированную информацию.

Методы структурирования текста обычно включают ручное тегирование (метаданные) или разметку по частям речи для дальнейшего структурирования текста. Архитектура управления неструктурированной информацией (UIMA) обеспечивает общую основу для обработки этой информации для извлечения значений и создания структурированных данных на основе неструктурированной информации. Программное обеспечение, которое создает машинно-обрабатываемую структуру данных, использует лингвистические, звуковые и визуальные структуры, которые существуют во всех формах человеческого общения. Например, специальные алгоритмы могут вывести структуру из текста путем анализа морфологии, синтаксиса предложений, и так далее. Затем неструктурированную информацию можно разметить для снятия неоднозначности, а для улучшения поиска используются методы оценки релевантности.

Примером «неструктурированных данных» могут служить книги, журналы, документы, метаданные, медицинские записи, аудио, видео, аналоговые данные, изображения, а также файлы, имеющие основой неструктурированный текст: сообщения электронной почты, веб-страницы, документы, созданные с помощью текстовых процессоров. Неструктурированная информация может храниться в форме структурированных объектов (например, в форме файлов или документов), которые сами по себе имеют структуру. При этом сочетание структурированных и неструктурированных данных в совокупности также называется «неструктурированные данные». Например, в веб-страницах на языке HTML уже есть разметка, однако она пригодна лишь для отображения. В ней не содержится информация о значениях или функциях тех или иных размеченных элементов в виде, пригодном для автоматической обработки. Разметку средствами XHTML проще обрабатывать автоматически, но, обычно, в ней не содержится семантических значений выражений.

Так как неструктурированные данные обычно хранятся в форме электронных документов, программы для анализа содержания или управления документами предпочитают классифицировать скорее целые документы, чем производить манипуляции внутри документов. Таким образом, программы для обработки такого типа данных обычно представляют средства для создания коллекций документов с неструктурированной информацией. Однако сегодня существуют также решения, работающие с атомарными элементами меньшими, чем целый документ.

Поисковые системы стали одним из популярных инструментов для индексации и поиска в неструктурированных данных.

Ссылки

• Артак Оганесян. Неструктурированные данные 2.0 Архивная копия от 11 декабря 2016 на Wayback Machine // Открытые системы. СУБД, 2012, № 04
• Леонид Черняк. Аналитика неструктурированных данных Архивная копия от 16 января 2017 на Wayback Machine // Открытые системы. СУБД, 2012, № 06
• Антон Иванов. Комплексный анализ неструктурированных данных Архивная копия от 15 ноября 2016 на Wayback Machine // Открытые системы. СУБД, 2013, № 06
• Артем Гришковский. Интегрированная обработка неструктурированных данных Архивная копия от 11 декабря 2016 на Wayback Machine // Открытые системы. СУБД, 2013, № 06
• Structure, Models and Meaning: Is «unstructured» data merely unmodeled? Архивная копия от 11 февраля 2009 на Wayback Machine, Intelligent Enterprise, March 1, 2005.
• Structuring Unstructured Data Архивная копия от 30 ноября 2016 на Wayback Machine, Forbes, April 5, 2007.
• Christopher C. Shilakes and Julie Tylman, «Enterprise Information Portals», Merrill Lynch, 16 November 1998.
• Holzinger, Andreas; Stocker, Christof; Ofner, Bernhard; Prohaska, Gottfried; Brabenetz, Alberto; Hofmann-Wellenhof, Rainer. Combining HCI, Natural Language Processing, and Knowledge Discovery – Potential of IBM Content Analytics as an Assistive Technology in the Biomedical Field // Human-Computer Interaction and Knowledge Discovery in Complex, Unstructured, Big Data (англ.) / Holzinger, Andreas; Pasi, Gabriella. — Springer, 2013. — P. 13—24. — (Lecture Notes in Computer Science). — ISBN 978-3-642-39146-0. — doi:10.1007/978-3-642-39146-0_2.
• Unstructured Data and the 80 Percent Rule Архивная копия от 12 сентября 2014 на Wayback Machine, Seth Grimes, Clarabridge Bridgepoints, 2008 Q3.
• Today’s Challenge in Government: What to do with Unstructured Information and Why Doing Nothing Isn’t An Option, Noel Yuhanna, Principal Analyst, Forrester Research, Nov 2010
• New Digital Universe Study Reveals Big Data Gap: Less Than 1 % of World’s Data is Analyzed; Less Than 20 % is Protected Архивная копия от 18 апреля 2016 на Wayback Machine, EMC Press Release, December 2012.
• Semi- and unstructured data processing / preparation in IRI CoSort Архивная копия от 16 октября 2016 на Wayback Machine, May 2014.