Tue . 20 Jan 2020

OpenRefine

OpenRefine, який раніше називався Google Refine - це окремий настільний додаток з відкритим кодом для очищення даних та перетворення його в інші формати, діяльність відома як керування даними [3] Вона схожа на програми електронних таблиць і може працювати з форматами файлів електронних таблиць; однак він поводиться більше як база даних
Він працює на рядах даних, у яких є комірки під стовпцями, що дуже схоже на таблиці реляційних баз даних. Один проект OpenRefine - одна таблиця. Користувач може фільтрувати рядки для відображення за допомогою граней, що визначають фільтрування критерії, наприклад, показуючи рядки, де заданий стовпець не порожній На відміну від електронних таблиць, більшість операцій у OpenRefine виконуються на всіх видимих рядках: перетворення всіх комірок у всіх рядках під одним стовпцем, [4] створення нового стовпця на основі наявного стовпця дані тощо. Усі дії, які були зроблені на наборі даних, зберігаються в проекті і можуть бути відтворені на іншому наборі даних. На відміну від електронних таблиць, формули не зберігаються в комірках, а формули використовуються для перетворення даних, і трансформація проводиться лише один раз [5] Вирази трансформації можна записати на Google Refine Expression Language GREL, [6] Jython, тобто Python та Clojure [7]
Програма має веб-користувальницький інтерфейс. Однак вона не розміщується в Інтернеті SAAS, але є ava ilable для завантаження та використання на локальній машині При запуску OpenRefine він запускає веб-сервер і запускає браузер, щоб відкрити веб-інтерфейс, що працює на цьому веб-сервері. Зміст - 1 Можливе використання програмного забезпечення
2 Підтримувані формати з імпорту та експорту - 3 Історія - 4 Книги - 5 Посилання
6 Зовнішні посилання - Можливе використання програмного забезпечення
Очищення брудних даних: наприклад, якщо у вас є текстовий файл з деякими напівсигналами структуровані дані, ви можете редагувати їх за допомогою перетворень, граней та кластеризації, щоб зробити дані чітко структурованими [8]
Перетворення даних: перетворення значень в інші формати, нормалізація та денормалізація
Розбір даних із веб-сайтів: OpenRefine має Функція отримання URL-адреси та jsoup HTML-аналізатор та двигун DOM [9]
Додавання даних до набору даних шляхом отримання їх із веб-сервісів, тобто повернення json [10] Наприклад, можна використовувати для геокодування адрес до географічних координат [11]
Робота з Freebase:
Розширення наборів даних за допомогою даних Freebase
Надання даних у Freeba se, використовуючи функцію вирівнювання схеми. Це передбачає примирення - відображення рядкових значень у клітинках для об'єктів у Freebase [12]. Підтримувані формати для імпорту та експорту. Імпорт підтримується у таких форматах: [13]
TSV, CSV
Текстовий файл із спеціальними роздільниками або стовпцями, розділеними на фіксовану ширину - XML
потрійні формати серіалізації RDF / XML та Notation3 у форматі RDF / JSON
Електронні таблиці Google, Google Fusion Tables [14]
Якщо вводиться дані мають нестандартний текстовий формат, їх можна імпортувати як цілі рядки, не розбиваючи на стовпці, а потім стовпці, вилучені пізніше інструментами OpenRefine. Архівні та стислі файли підтримуються zip, targz, tgz, tarbz2, gz або bz2 та Уточнити можна завантажувати вхідні файли з URL-адреси. Щоб використовувати веб-сторінки в якості введення, можна імпортувати список URL-адрес, а потім викликати функцію отримання URL-адреси. Експорт підтримується у таких форматах: [15]
TSV
CSV - Microsoft Excel - HTML таблиця - експортер шаблонів: можна визначити спеціальний шаблон для outputt Дані, наприклад, як таблиця MediaWiki - Цілі проекти OpenRefine у рідному форматі можна експортувати як архів targz - Історія
OpenRefine розпочав своє життя як Freebase Gridworks, розроблений Metaweb і доступний як відкритий код з січня, 2010 [16] 16 липня 2010 року Google придбав Metaweb, [17] творців Freebase, а 10 листопада 2010 року перейменував їх програмне забезпечення Freebase Gridworks в Google Refine, випустивши версію 20 [18] 2 жовтня 2012 року, оригінальний автор Девід Хюнх оголосив, що незабаром Google припинить свою активну підтримку Google Refine [19] [20] [21] З тих пір кодова база переходить до проекту з відкритим кодом під назвою OpenRefine [22]
Книги
Верборг, Рубен ; De Wilde, Max, використовуючи OpenRefine, Packt Publishing; 114 p вересня 2013 р. ISBN 9781783289080 - Список літератури
^ "Завантаження проекту"
^ "Переглядач репозиторію коду Google" Отримано 18 квітня 2012 р. ^ ^ "Головна сторінка проекту OpenRefine"
^ "Редагування шляхом перетворення: Сторінка вікі для редагування стільникових елементів із уточненої документації "Отримано 18 квітня 2012 року. ^" Порівняння з програмним забезпеченням для електронних таблиць: Сторінка вікі редагування стільникових елементів у доопрацьованій документації "Отримано 18 квітня 2012 року. 04-03 Отримано 16.08.2013
^ "Вирази: Уточнення документації" Отримано 18 квітня 2012 р. ^ ^ Скриншот: Google Refine 20 - Вступ 1 із 3 - редагування даних уряду "Отримано 18 квітня 2012 р.
^ "Зачистка HTML: Сторінка вікі вдосконалення документації" Отримано 18 квітня 2012 р. ^ ^ "ВибірURLsFromWebServices сторінка вікі: Уточнення документації" Отримано 18 квітня 2012 р. ^ ^ Скрін: Google Refine 20 - Збільшення даних 3 з 3 - за допомогою Openstreetmap Номінатім для геокодування та Freebase для аугме ntation "Отримано 18 квітня 2012 р. ^ ^" Вирівнювання схеми: Доопрацювання сторінки вікі документації "Отримано 18 квітня 2012 р. ^ ^ Імпортери: Докладна сторінка вікі документації" Отримано 18 квітня 2012 р. ^ ^ "Журнал змін на 25" Отримано 18 Квітень 2012 р. ^ ^ "Експорт: сторінка вікі уточнення документації" Отримано 18 квітня 2012 р. ^ ^ Https: // codegooglecom / p / google-refine / source / detailr = 2
^ "Офіційний блог Google: глибше розуміння з Metaweb "Отримано 18 квітня 2012 року. ^ ^" Блог Google Opensource: Оголошення Google Refine 20, електроінструмент для перебойок даних "Отримано 18 квітня 2012 року. ^" [оголошення] про майбутнє проектів Refine "
^ "Від Freebase Gridworks до Google Refine та тепер OpenRefine"
^ OpenRefine OpenRefine Отримано 16.08.2013
^ google-refine - Google Refine, електроінструмент для роботи з брудними даними раніше Freebase Gridworks - Google Project Хостинг Codegooglecom Отримано 16.08.2013
Зовнішні посилання - Офіційний веб-сайт
v
e - Google
Огляд
Alphabet Inc - Історія
Список злиттів та поглинань - Продукція - Критика - Питання щодо конфіденційності - Цензура - Домени
Пасхальні яйця - Не будьте злими
Реклама
AdMob
Рекламний пейзаж
AdSense
AdWords
Аналітика - Консультант - Партнери - DoubleClick - DoubleClick for Publishers - Гаманець, Комунікація
Allo
Повідомлення
Сценарій додатків
Duo
Календар
Контакти
Історія Gmail та інтерфейс
Google+
Групи
Hangouts
Inbox: Sync - Text-to-Speech - Перекласти: Транслітерація - Voice - Програмне забезпечення - Асистент - Chrome - для Android, для iOS
Веб-магазин Chrome - Програми - Розширення - Хмарний друк - Земля - Небо - Місяць - Марс - Гаджети - Gboard - Окуляри - IME
Pinyin - Японська - Фотографії - Keep - Новини та підсилювачі; Погода - Зараз
OpenRefine - Пошук - Панель інструментів - Платформи - Обліковий запис - Історія версій Android - Розробка програмного забезпечення - Android Auto - Android Pay
Android TV - Android Wear - Authenticator - Body - Книги - Бібліотечний проект - Caja - Картон, Cast - Chromecast
Chrome OS
Chromebit - Chromebook - Chromebox - Chrome Zone - Хмарна платформа - App Engine - BigQuery - BigTable - Compute Engine - Зберігання - Контактні лінзи - Користувацькі Пошук - Dart - Daydream - Земляний двигун - Fit - GFS - Скло - Перейти - G Suite - Клас - Домашня сторінка - Jamboard
Marketplace - Native Client - Nexus - OnHub - OpenSocial - Pixel - Play - Книги - Ігри - Фільми та посилювачі; Телебачення - Музика - Кіоск - Громадський DNS - Гаманець - Wifi - Розвиток - інструменти - API AJAX - Інвентар додатків - Інструменти закриття - Розробники
GData - Googlebot - Guava - Guice - GWS - KML - Kythe - MapReduce - Mediabot - Мапа сайту - Summer of Code - Web Toolkit
Search Console - Оптимізатор веб-сайтів - Swiffy - Публікація - Blogger - Закладки - Диск, Документи, Таблиці, Слайди, Форми - Малюнки - Мої карти
Fusion Tables - Домени
FeedBurner - Картограф - Панораміо - Сайти - YouTube - Миттєвий YouTube - YouTube Червоний - Vevo - Zagat
Пошук за часовою шкалою - Техніка - Пошук по блогах - Книги - Програма перегляду Ngram - Користувацький пошук - Фінанси
Рейси
Зображення
Карти
Марс > Місяць на Небі: Вид на вулицю - Покриття - Конкуренція - Побоювання щодо конфіденційності - Новини
Архів - Патенти - Публічні дані - Науковий співробітник <Покупки
Usenet - Відео
Алгоритми
PageRank - Панда - Пінгвін - Колібрі - Особливості
Історія веб-сайтів - Персоналізована - Реальний час - Миттєве Sear ch - Безпечний пошук - Голосовий пошук - Аналіз - Інформація про пошук - Тенденції - Графік знань - Сейф знань - Скасовано - Аардварк - Відповіді - браузер Синхронізація: База: Buzz - Оформити замовлення - Каркас Chrome: Клацніть для дзвінка - Cloud Cloud - Пошук коду - Течії - Настільний
Словник
Каталог
Dodgeball - Fast Flip - Friend Connect - Gears - GOOG-411 - Google TV
Jaiku - Knol
Health
iGoogle
Image Labeler - Labs - Latitude - Lively - Mashup Editor - Ноутбук - Пропозиції - Orkut - Pack - Creator Page Creator - Picasa - Веб-альбоми Picasa Picnik - PowerMeter - Q & amp; A Reader - Конвертер сценаріїв - SearchWiki - Sidewiki - Слайд - в квадраті - Talk - Оновлення - Urchin - Відео - Wave - Web Прискорювач: Люди в Аль-Гор - Алан Еустас - Алан Мулалі - Еміт Сінгал - Ен Маттер, Девід Драммонд, Ерік Шмідт, Джефф Дін, Джон Доер Джон Джон Хеннесі - Кришна-Бхарат - Метт Каттс - Патрік Пікетт - Пол Отелліні - Омід Кордестані - Рейчел Уотстоун - Реджен Шет, Рам Шрірам - Рей Курцвейл - Рут Порат - Салар Камангар - Шірлі М Тільман - Сундар Піхай - Сьюзан Войчицкі - Урс Хьолзле, Вінт Серф - Засновники - Ларрі Пейдж - Сергій Брін - Інше - Арт-проект - Calico - Поточні експерименти з Chrome - Код-в - Code Jam - День розробника - Бізнес-групи Google - Створено Код - Вивільнення даних - Виведення - Експерт Google для розробників - Google for Work - Автомобіль без водіїв - Просвіт Землі - Волокно - GV - Google Китай - Google Express «Гуглізація» - Гранти - Googleorg - премія Місяця X - Project Fi Дизайн матеріалів - Motorola Mobility - WiFi - X - Події - Наукова ярмарка - Серхологія - I / O - День розробника - AtGoogleTalks - Код Jam - Конкурс з високою відкритою участю - Проект із входом в проект - Ара - Лун - Танго - Люк на люк - Нерухомість - 111 Восьмий авеню - Googleplex
Логотип
Doodle4Google - Google Doodles - Пов'язані - AI Challenge - Бомба - Goojje - Вулиці міста Монополії - Єдність - Категорія
Портал
Категорія редагування: Придбання великих даних


OpenRefine

Random Posts

Picts

Picts

The Picts were a tribal confederation of peoples who lived in what is today eastern and northern Sco...
Visual prosthesis

Visual prosthesis

A visual prosthesis, often referred to as a bionic eye, is an experimental visual device intended to...
Mini rugby

Mini rugby

Mini rugby, also known as New Image Rugby, is a form of rugby union designed to introduce the sport ...
List of synthetic polymers

List of synthetic polymers

Synthetic polymers are human-made polymers From the utility point of view they can be classified int...