Apache atlas что это
1. Инструменты
Используемая версия: (не абсолютная, может быть настроена по запросу)
Обратите внимание, что maven должен быть выше 3.5.0, JDK должен быть выше 1.8.0 и младшей версии 151 и выше, и я напомню вам
apache-atlas-2.0.0-sources.tar.gz
apache-maven-3.5.4-bin.tar.gz
jdk-8u181-linux-x64.tar.gz
(jdk можно загрузить на официальном веб-сайте oracle. Зарегистрироваться в качестве участника сложно. Вы можете проверить общие учетные записи в Интернете)
Я увидел, что в Интернете есть конфигурация виртуальных машин. Я попробовал здесь, но отказался из-за сетевых причин. Рекомендуется установить и скомпилировать хост, но все же вставить зеркальный адрес
ubuntu-18.04.4-desktop-amd64.iso
Использование возможностей Atlas для активов данных за пределами CDP
Atlas предоставляет базовый набор предопределенных определений типов (называемых typedefs) для различных Hadoop и non-Hadoop метаданных для удовлетворения всех потребностей CDP. Но Atlas - это невероятно гибкий и настраиваемый фреймворк для метаданных, который позволяет добавлять активы из сторонних источников данных, даже те, которые находятся за пределами CDP.
Все построено вокруг основной структуры модели метаданных, состоящей из определений типов (type definitions) и объектов (entities) (подробнее см. документацию Atlas):
Определения каждого типа (typedef)
может быть выведено из определения супертипа
может быть частью высшего класса, позволяя создавать древовидное, структурированное хранилище для активов данных
может иметь неограниченное количество характеристик (атрибутов) для сохранения всех нужных описаний
может определить допустимый набор классификационных определений, которые впоследствии могут быть добавлены к каждой сущности данного typedef. В следующем примере мы используем определенный сервер для типа 'database_server'. Классификации могут также использоваться для указания, содержит ли таблица Персональную идентифицируемую информацию (PII).
Объекты являются примерами определенного typedef и:
могут быть связаны друг с другом
могут быть связаны с любым количеством классификаций. Например, каждому приложению или случаю использования может быть присвоена уникальная классификация; в примере ниже используется "xyz" в качестве приложения. После добавления, связанные объекты могут быть непосредственно привязаны к классификации, что дает четкое представление об артефактах и о том, как они соотносятся друг с другом.
Наконец, Atlas предоставляет богатый набор REST API, которые могут использоваться для:
управления основными typedef и классификациями
управления объектами (сущности typedef )
управления отношениями между объектами
2. Предварительная подготовка
1. Установите jdk
macOS (хост-компьютер) просто щелкните, чтобы установить его, это избавит от проблем, но вам нужно отредактировать / etc / profile позже и экспортировать javahome
ubuntu18 / centos (виртуальная машина Linux)
То же самое, настроить переменные среды
Сделайте так, чтобы переменные среды вступили в силу немедленно
Настроить переменные среды для всех пользователей
Добавить в конце текста
Выполните глобальные настройки, чтобы они вступили в силу немедленно
Введите java -version, чтобы проверить среду
Введите экспорт, чтобы узнать, есть ли Javahome
Если появляется следующее изображение, все в порядке
2. Установите maven
По умолчанию maven использует склады для более медленной загрузки в Китае. Рекомендуется перейти на склады Alibaba Cloud (доступны Tsinghua, 163).
Замените код зеркального кода следующим
8. Построение отношения между активами
Для активов конвейера данных, которые мы спроектировали и создали выше, нам нужны два разных типа для процессов, которые их соединяют:
6. Создание сущности типа "datafile"
Аналогично созданию субъекта сервера, снова используйте REST API "/api/atlas/v2/entity/bulk" и обратитесь к типу "dataset".
Скрипт create_entities_file.sh из репозитория github показывает, как создать сущность dataset и вернуть GUID для каждого файла.
SDX (Shared Data Experience)
Apache Atlas как фундаментальная часть SDX в CDP обеспечивает согласованную защиту данных и управление ими во всем спектре аналитических инструментов, развернутых в гибридной архитектуре, благодаря технологии Shared Data Experience (SDX). Как и сама CDP, SDX построена на проектах с открытым исходным кодом, где Apache Ranger и Apache Atlas играют главные роли. Atlas предоставляет возможности управления метаданными и создания единого дата каталога, а также классификации и управления этими активами данных. SDX в CDP использует все возможности Atlas для автоматического отслеживания и управления всеми активами данных со всех инструментов на платформе.
Data governance: добавление сторонних метаданных в Apache Atlas
4. Проверка интерфейса Atlas после добавления типов и классификации внешних источников, чтобы убедиться, что новые сущности были добавлены
Новые типы сгруппированы под обьектом "3party".
Также были добавлены новые классификации:
5. Создание сущности "server"
Чтобы создать субъект, используйте REST API "/api/atlas/v2/entity/bulk" и обратитесь к соответствующей типизации (например, "typeName": "server").
Полезно знать: Create vs Modify. Каждый типдеф определяет, какие поля должны быть уникальными. Если вы отправите запрос, в котором эти значения не являются уникальными, существующий экземпляр (с одинаковыми значениями) будет обновлен, а не вставлен.
Следующая команда показывает, как создать субъект сервера:
Отчет об обучении и использовании Apache atlas (1) полный процесс установки и развертывания
Мой дипломный проект - работа на облачной платформе, и мне нужно использовать атлас apache. Поскольку я сменил компьютер, многие вещи необходимо перенастроить. Настоящим я записываю весь процесс. Кроме того, вы можете обсудить это в области комментариев.
Введение в Apache Atlas
Apache Atlas - это проект с открытым исходным кодом, созданный сообществом Hadoop для решения проблемы управления метаданными в экосистеме Hadoop. Он предоставляет кластерам Hadoop классификацию данных, централизованный механизм политик, кровное родство данных, безопасность. и Основные возможности управления метаданными, включая управление жизненным циклом.
Atlas как сервис
Приглашаем также всех желающих на двухдневный интенсив «MongoDB Map-Reduce Framework».
— Темы 1 дня: CRUD-операции; фильтрация по полям; sort , skip , limit ; запросы по поддокументам.
— Темы 2 дня: концепция map-reduce; концепция pipeline ; структура и синтаксис агрегации; стадия $match ; стадия $group ; стадия $lookup .
Многие наши клиенты предоставляют своим командам разработчиков доступ к MongoDB как к сервису. Разработчики могут запросить экземпляр базы данных MongoDB и получить строку для подключения и учетные данные за считаные минуты. Переходя на использование MongoDB Atlas, наши клиенты заинтересованы и в том, чтобы дать своим разработчикам соответствующий уровень обслуживания.
В Atlas есть очень мощный уровень управления для предоставления кластеров. Однако в крупных организациях, где работают тысячи разработчиков, не всегда целесообразно предоставлять такому количеству людей прямой доступ к этому интерфейсу. Цель этой статьи — показать, как можно использовать API-интерфейсы Atlas для предоставления доступа к MongoDB как к сервису, когда MongoDB работает под управлением Atlas.
В частности, мы продемонстрируем способ создания интерфейса, предлагающего разработчикам набор вариантов для создания экземпляра базы данных MongoDB. Чтобы упростить себе задачу, рассмотрим, как предоставить разработчикам набор вариантов памяти и хранилища для настройки кластера. Прочие параметры, например выбор провайдера облачных услуг и региона, мы рассматривать не будем. Мы также расскажем о том, как добавлять метки к кластерам Atlas, так как эта функция не поддерживается в пользовательском интерфейсе Atlas. Для примера мы добавили метку для описания кластера.
Архитектура
Хотя API-интерфейсы Atlas можно вызывать непосредственно из клиентского интерфейса, мы решили использовать трехуровневую архитектуру. Ее преимущества заключаются в следующем:
возможность ограничивать доступную функциональность по мере необходимости;
возможность упростить API-интерфейсы, доступные разработчикам клиентских частей приложений;
возможность тонкой настройки защиты конечных точек API.
Мы могли бы воспользоваться другими функциями серверной части, например триггерами, интеграцией с Twilio и т. д.
Конечно же, для размещения среднего уровня мы выбрали Realm.
Реализация
Серверная часть
API Atlas
API-интерфейсы Atlas обернуты в набор функций Realm.
По большей части все они вызывают API Atlas следующим образом (здесь мы взяли для примера getOneCluster ):
Исходный код каждой функции размещен на GitHub.
API MiniAtlas
Следующий шаг — представление функций как конечных точек, которые может использовать клиентская часть. В качестве альтернативы мы могли бы вызывать функции с помощью Realm Web SDK, но мы решили придерживаться протокола REST; он более знаком нашим веб-разработчикам.
Используя функционал сторонних сервисов, мы разработали следующие 6 конечных точек:
Три, начните атлас
Версия Apache atlas 2.0.0 не требует распаковки
tar zxvf apache-atlas-2.0.0-server.tar.gz, после компиляции он будет распакован.
Он должен выглядеть как на картинке ниже
Если у вас все еще есть проблемы, рекомендуется вручную запустить hbase и solr
Запустить hbase вручную
Запустите Solr вручную и создайте начальную индексную библиотеку для Solr
После запуска atlas нет необходимости вручную запускать hbase и solr - просто выполните сценарий запуска atlas.
Спасибо, обратитесь к блогам многих предшественников и прикрепите ссылку на справочный блог.
Интеллектуальная рекомендация
Используйте Maven для создания собственного архетипа скелета проекта (4)
Один, базовое введение в Maven Во-вторых, скачайте и настройте Maven Три, настроить домашнее зеркало на Али В-четвертых, создайте содержимое скелета архетипа В-пятых, создайте проект через архетип 6. .
Станция интерпретации больших данных B пользуется популярностью среди гигантов района "призрачные животные" Цай Сюкуня.
Автор | Сюй Линь Ответственный редактор | Ху Вэйвэй Предисловие Недавно Цай Сюкунь отправил письмо юриста на станцию B. Содержание письма юриста показало, что «на станции B имеется большое кол.
Вопрос A: Алгоритм 7-15: алгоритм кратчайшего пути Дейкстры
Название Описание Во взвешенном ориентированном графе G для исходной точки v задача о кратчайшем пути от v до оставшихся вершин в G называется задачей кратчайшего пути с одной исходной точкой. Среди ш.
Учебный дневник - перелистывание страниц
Используйте плагин Layui.
Нулевое основание для отдыха-клиента
Предисловие: статья, обобщенная, когда я только что связался с тестом API, в дополнение к остальному клиенту этот инструмент сам, некоторые из мелких пониманий API, я надеюсь помочь тому же белую белу.
Вам также может понравиться
Подробно объясните, как новички используют sqlmap для выполнения инъекционных атак на базы данных mysql.
Шаг 1. Откройте для себя инъекцию Со мной все было нормально, когда я был свободен, я случайно нажал на чужой блог и обнаружил, что ссылка заканчивается на id, поэтому я проверил его вручную. Результа.
Vue заметки сортируют, пусть вам начать с Vue.js:. 04_3 Сетевое приложение: AXIOS плюс Вью
В предыдущем разделе мы ввели основное использование AXIOS, по сравнению с нативным Ajax, который при условии, что способ является более простым и, а сетевые данные теперь в состоянии получить его ров.
Шаблон алгоритма конной повозки
Блог гангстеров Тележки, запряженные лошадьми, используются для решения проблемы самой длинной подстроки палиндрома. Основное внимание уделяется подстрокам, а не подпоследовательностям. Если вы хотите.
35 Line Code, чтобы получить метод исследования событий (ON)
Об авторе: Чжу Сяою,Личный публичный номер: языковой класс большой кошки Эта проблема научит вас этой большой классе Cat.Как написать наиболее эффективное метод исследования событий с 35 Line R Code C.
Образ докера: gitlab
GitLab Docker images Both GitLab CE and EE are in Docker Hub: GitLab CE Docker image GitLab EE Docker image The GitLab Docker images are monolithic images of GitLab running all the necessary services .
Два, скомпилируйте атлас Apache
1. Процесс
Настроить размер кучи
Компилировать
Этот метод компиляции не включает HBase и Solr (не рекомендуется)
Этот метод компиляции будет включать HBase и Solr (просто добавьте clean для первого прохода, и не нужно добавлять его потом, не нужно перекомпилировать.
2. Исправление ошибок
Maven компилирует Atlas, будет много ошибок, я делю их на две категории: одна - встроенная ошибка конфигурации, другая - сетевые причины (это также может быть пакет jar в atlas2 .0.0 Проблема с адресом загрузки или версией.
Ошибка первого типа не повторится. Пришло время перезагрузить компьютер и устранить неполадки самостоятельно. Например, я сообщил «Слишком много открытых файлов в системе», просто измените текущий предел.
sudo launchctl limit maxfiles 1024 unlimited
Я также сообщил "слишком много файлов с неутвержденной лицензией"
Просто добавьте параметр "-Drat.skip = true", как показано ниже.
Второй тип проблемы относится к проблеме URL-адреса загрузки, который требуется в атласе, и его невозможно загрузить, или версия является проблемной. Если вы обнаружите, что существует проблема с загрузкой, например, следующая
Добавьте на склад и перекомпилируйте атлас, и все будет успешно
(забыл сделать скриншот здесь, приложил скриншот эталонного Бога)
2. Определение требуемых определений типов (typedef's).
С точки зрения дизайна, typedef аналогичен определению класса. Существуют предопределенные определения типов (typedefs) для всех активов, которые используются в CDP, например, таблицы Hive. Определения, которые не существуют из коробки, могут быть определены с помощью следующего синтаксиса в простом JSON-файле. В примере 1_typedef-server.json описывается сервер typedef, используемый в этом блоге.
Тип: сервер
Производная форма: ENTITY
Специальные характеристики для этого typedefа:
- имя хоста (host_name)
- ip_адрес (ip_address)
- зона (zone)
- платформа (platform)
- стойка (rack_id)
3. Добавление typedef'ов через REST API в Атлас
Для повышения надежности CDP все хуки Atlas используют Apache Kafka в качестве асинхронного транспортного уровня. Тем не менее, Atlas также предоставляет свой собственный богатый набор RESTful API. На этом шаге мы используем именно те конечные точки REST API v2 - документацию по полной конечной точке REST API можно найти здесь, а для вызова REST API будет использоваться curl.
Примечание: При желании вы можете использовать локальную установку на базе докера для первых шагов:
Typedef JSON запрос хранится в файле 1_typedef-server.json, и мы вызываем конечную точку REST следующей командой:
Для создания всех требуемых typedef'ов для всего конвейера данных можно также использовать следующий bash скрипт (create_typedef.sh):
Русские Блоги
Автор недавно участвовал в двух открытых мероприятиях, посвященных технологиям больших данных. Когда я делился этой технологией, я обнаружил, что на этих двух мероприятиях кто-то по совпадению рекомендовал компонент Apache atlas, так что это похоже на введение этого компонента. Что за инструмент представляет собой атлас Apache? Каковы его функции и функции?
Фактически, как было сказано в моей предыдущей статье, это инструмент фреймворка для управления данными и метаданными, который используется в hadoop. Он основан на платформе hadoop и может легко подключаться к компонентам платформы hadoop. Интерфейсный интерфейс по умолчанию использует solr5 с богатым API для отдыха, а внутренняя база данных может быть hive, hbase и т. Д. Он может импортировать источники данных в различных форматах, включая hive, hbase и т. Д. (Традиционные базы данных, временно неясно).
7. Поддерживание информации о классификациях, связанных с приложениями
Чтобы не потерять информацию о том, какая сущность является какой, если их существует много, мы можем создать дополнительную классификацию для каждого приложения. Скрипт create_classification.sh поможет нам создать дополнительную классификацию для каждого приложения, которая может быть использована для привязки всех активов к нему.
Вызов REST endpoint:
9. Собераем все вместе
Теперь у нас собраны все кусочки головоломки. Скрипт sample_e2e.sh показывает, как собрать их вместе, чтобы создать сквозную линию данных. Пайплайн также может содержать активы, которые уже были CDP, нужно просто установить между ними связь (как показано выше).
Создайте уникальную классификацию для данного приложения
Создайте необходимые сущности серверов
Создайте необходимые сущности датасетов на ранее созданных серверах (Mainframe, Landing zone).
Создайте необходимые сущности таблиц БД на ранее созданном сервере БД
Создайте процесс с типом 'transfer' между набором данных Mainframe > Landing
Создайте процесс с типом 'etl_load' между Landing zone > DB table
Создайте процесс с типом 'etl_load' между Landing zone > таблицей HIVE
Создайте процесс с типом 'etl_load' между Landing zone > набором данных Error
Сценарий, описанный выше, то и дело встречается практически во всех компаниях в такой или похожей форме. Atlas - это очень гибкий каталог метаданных, который может быть адаптирован для всех видов активов. При интеграции активов третьих источников он обеспечивает истинную добавленную стоимость за счет более полной иллюстрации существующих потоков данных. Связи между всеми активами имеют решающее значение для оценки последствий изменений или просто для понимания происходящего. Я рекомендую придерживаться подхода "начни с малого" и записывать первоисточник каждого набора данных по мере его подключения к CDP или во время технического обслуживания. Используйте возможности того, что уже есть, и со временем дополните картину.
Расширение модели метаданных в Атласе
Следующие шаги описывают, как Atlas может быть расширен для добавления метаданных из третьих источников. На различных этапах используются готовые скрипты из репозитория Github.
Эскиз сквозной линии передачи данных.
Ниже приведен очень простой, но распространенный сценарий ETL пайплайна:
Исходная система (например, транзакционное приложение для банковского приложения) отправляет файл с данными в CSV на какое-то хранилище (не HDFS). Затем ETL-процесс считывает файл, выполняет некоторые проверки качества и загружает проверенные записи в СУБД, а также в таблицу Hive. Проблемные записи сохраняются в отдельном файле ошибок.
Чтобы запечатлеть этот сквозной поток данных в Атласе, нам нужны следующие typedef'ы:
Активы (typedef):
- Файлы
- Таблица в СУБД
- таблица Hive *обратите внимание, что этот актив уже доступен в Атласе в CDP в качестве неотъемлемой части платформы CDP. Нет необходимости создавать typedef, но мы покажем, как сторонние активы могут подключаться к активам CDP для построения сквозного прослеживания.
Процессы:
- Процесс передачи файлов
- процесс загрузки ETL/DB
2. Как использовать атлас Apache
Поговорим об использовании rest api。
Необходимо обратить внимание на:
Apache atlas Api в основном предназначен для добавления, удаления, изменения и проверки трех компонентов: Тип, Сущность и Атрибут. Это звучит немного неожиданно. На самом деле, многие другие вещи инкапсулированы и включены в файл конфигурации, оставляя API и интерфейс администратора для внешних вызовов.
Кратко представьте эти компоненты.
Type:
«Тип» в Атласе - это определение, которое описывает, как хранить и получать доступ к определенному типу объекта метаданных. Тип представляет функцию или набор функций, и эти атрибуты определяют объекты метаданных. Пользователи с опытом разработки смогут распознать сходство типов, используя определение «Класс» или реляционную базу данных «схемы таблиц» объектно-ориентированного языка программирования.
Entity:
«Сущность» в Атласе - это конкретное значение или экземпляр класса «тип», поэтому он означает конкретное
Объекты метаданных в реальном мире. Вернемся к нашей объектно-ориентированной аналогии
В языках программирования «экземпляр» - это «объект» определенного «класса».
Attribute:
Атрибуты определены в составных метатипах, таких как Class и Struct.
Вы можете просто ссылаться на атрибут как на имеющий значение имени и метатипа. Однако
Атрибуты в Атласе имеют больше атрибутов, чтобы определять больше понятий, связанных с системой типов.
Приведенное выше определение сложно понять. Психология автора также более стойкая. Итак, давайте сначала рассмотрим несколько примеров.
пример(1)
Используйте Type для определения таблицы Hive, и есть некоторые атрибуты:
Это очень похоже на определение класса java, а также аналогично определению данных json. На заметку:
- Типы в Атласе однозначно идентифицируются по "имени"
- У каждого типа есть метатип. Метатип представляет тип модели в Атласе.
Атлас имеет следующие метатипы:
- Основные метатипы: такие как Int, string, boolean и т. Д.
- Метатипы перечисления: TODO
- Метатипы коллекции: например, массив, карта
- Составные метатипы: например, класс, структура, характеристики.
4. Тип может быть «расширен» от супертипа с именем «супертип». При этом он также будет включать атрибуты, определенные в супертипе. Это позволяет разработчику модели определять общие атрибуты и т. Д. Среди набора связанных типов. Это снова похоже на то, как объектно-ориентированные языки определяют концепцию суперклассов. В этом примере каждая таблица куста называется «DataSet» из предопределенного супертипа. Более подробная информация об этом предопределенном типе будет предоставлена в будущем. Типы в Атласе также могут быть расширены из нескольких супертипов.
5. Типы с метатипами "Class", "Struct" или "Trait" могут иметь набор
атрибут. У каждого атрибута есть имя (например, «имя») и некоторые другие связанные
производительность. На атрибуты можно ссылаться как на выражения.
Из приведенного выше описания кажется, что тип атласа имеет свойства, аналогичные свойствам класса в java, например наследование. Если мы поймем это с точки зрения объектных отношений в java, это будет легче понять.
пример(2)
Определение сущности:
Идентификатор выше - это идентификатор Сущности. Следуя идее Java-объектов, структуру Entity легче понять.
пример(3)
(1) Получите все типы
(2) Получите определенный тип:
(3) Создайте новый тип:
(4) Создать новую сущность:
сущности: это массив
(5) Получите сущность:
guid: идентификатор объекта
(6) Получить объект, содержащий атрибут (атрибут):
(7) Обновить атрибут объекта:
Ответ - это json-структура, похожая на solr api.
Выше приведен основной запрос Atlas Api. Поговорим о создании кровных родств в Api.
Интеллектуальная рекомендация
Используйте Maven для создания собственного архетипа скелета проекта (4)
Один, базовое введение в Maven Во-вторых, скачайте и настройте Maven Три, настроить домашнее зеркало на Али В-четвертых, создайте содержимое скелета архетипа В-пятых, создайте проект через архетип 6. .
Станция интерпретации больших данных B пользуется популярностью среди гигантов района "призрачные животные" Цай Сюкуня.
Автор | Сюй Линь Ответственный редактор | Ху Вэйвэй Предисловие Недавно Цай Сюкунь отправил письмо юриста на станцию B. Содержание письма юриста показало, что «на станции B имеется большое кол.
Вопрос A: Алгоритм 7-15: алгоритм кратчайшего пути Дейкстры
Название Описание Во взвешенном ориентированном графе G для исходной точки v задача о кратчайшем пути от v до оставшихся вершин в G называется задачей кратчайшего пути с одной исходной точкой. Среди ш.
Учебный дневник - перелистывание страниц
Используйте плагин Layui.
Нулевое основание для отдыха-клиента
Предисловие: статья, обобщенная, когда я только что связался с тестом API, в дополнение к остальному клиенту этот инструмент сам, некоторые из мелких пониманий API, я надеюсь помочь тому же белую белу.
Вам также может понравиться
Подробно объясните, как новички используют sqlmap для выполнения инъекционных атак на базы данных mysql.
Шаг 1. Откройте для себя инъекцию Со мной все было нормально, когда я был свободен, я случайно нажал на чужой блог и обнаружил, что ссылка заканчивается на id, поэтому я проверил его вручную. Результа.
Vue заметки сортируют, пусть вам начать с Vue.js:. 04_3 Сетевое приложение: AXIOS плюс Вью
В предыдущем разделе мы ввели основное использование AXIOS, по сравнению с нативным Ajax, который при условии, что способ является более простым и, а сетевые данные теперь в состоянии получить его ров.
Шаблон алгоритма конной повозки
Блог гангстеров Тележки, запряженные лошадьми, используются для решения проблемы самой длинной подстроки палиндрома. Основное внимание уделяется подстрокам, а не подпоследовательностям. Если вы хотите.
35 Line Code, чтобы получить метод исследования событий (ON)
Об авторе: Чжу Сяою,Личный публичный номер: языковой класс большой кошки Эта проблема научит вас этой большой классе Cat.Как написать наиболее эффективное метод исследования событий с 35 Line R Code C.
Образ докера: gitlab
GitLab Docker images Both GitLab CE and EE are in Docker Hub: GitLab CE Docker image GitLab EE Docker image The GitLab Docker images are monolithic images of GitLab running all the necessary services .
1. Установка атласа Apache
Пошаговая инструкция по установке доступна на официальном сайте по ссылке:
Чтобы облегчить работу, просто переведите шаги:
Среда:
JDK8
MAVEN3.X
GIT
PYTHON2.7 и выше
(1) строительный атлас (строительный атлас)
Объем памяти сервера должен быть не менее 4G. Автор несколько раз обновлял конфигурацию. Это скриншот автора:
Файлов много, загрузка занимает 1-2 часа, а в середине может быть сбой.
(2) Пакетный атлас
(Hbase и solr уже установлены на машине)
(Hbase и solr не установлены на машине, atlas поставляется с hbase и solr)
В этой статье выбрана последняя.
(3) После упаковки в корневом каталоге будут созданы следующие пакеты:
(4) Установить атлас
В настоящее время он автоматически распаковывается, этот шаг не требуется.
После завершения загрузки структура каталогов:
Среди них в разделе atlas_home / distro / target
apache-atlas-1.0.0-SNAPSHOT-bin - это распакованный каталог:
Примечание. Далее следуют этапы настройки. Сначала прочтите жирный шрифт, а затем прочтите следующее.
Если запущена только конфигурация атласа по умолчанию, команда:
контрольная работа:
причина:
Нет разрешения, правильная команда:
Это успех.
В приведенном выше запуске solr и hbase встроены, а порт solr - 9838, который отличается от порта по умолчанию 8983 для независимой установки. Если вам нужно настроить конфигурацию, особенно использовать hbase в качестве бэкэнда хранилища для репозитория графиков (HBase в качестве бэкэнд хранилища для репозитория графиков) и solr в качестве бэкэнда индексирования для репозитория графиков (SOLR как бэкэнд индексирования для репозитория графиков), см. Ниже。
(5) Элементы конфигурации.
Если / etc / profile не настроен с JAVA_HOME, вам необходимо настроитьJAVA_HOME。
Настройте conf / atlas-application.properties:
Запустите кластер solr:
SOLR_CONF: каталог, в котором находится файл solrconfig.xml. Фактически, автор никогда не догадывался об этом раньше. Вот автор:
/usr/local/solr-5.5.1
Если вы не знаете, сколько numShards нужно создать, можете проигнорировать его. Значение по умолчанию - 1. Конфигурация автора следующая:
После запуска кластера solr настройте в atlas-application.properties:
Запустить hbase:
Интерфейс пользовательского интерфейса атласа:
Ошибка 1:
Это вызвано неправильным путем запуска атласа. В сети такого решения нет. Позже я обнаружил, что путь запуска был неправильным. Здесь предыдущий путь запуска:
/apache_atlas/atlas/distro/target/
Правильный путь запуска:
/apache_atlas/atlas/distro/target/apache-atlas-1.0.0-SNAPSHOT-bin/apache-atlas-1.0.0-SNAPSHOT/
Ошибка 2:
/ apache_atlas / atlas / distro / target / logs Журнал ошибок будет содержать:
Это конфликт повторяющихся коллекций имен. Команда:
jps
Посмотрите, есть ли несколько процессов jar. Этот процесс - это простой процесс.
Я надеюсь, что другие не совершат таких же ошибок, как я.
Ошибка 3:
причина:
Порт занят. Посмотреть conf / atlas-application.properties
atlas.kafka.zookeeper.connect=localhost:*
Занят ли порт.
Кратко расскажите об установке атласа, а затем поговорите о том, как им пользоваться.
Читайте также: