Административные скрипты Amazon Redshift
SQL-скрипты для запуска диагностики вашего кластера Amazon Redshift с использованием системных таблиц. Скачать здесь »
Список скриптов:
- top_queries.sql — возвращает 50 запросов, выполняющихся дольше всего за последние 7 дней
- perf_alerts.sql — возвращает основные случаи возникновения оповещений, объединение со сканированием таблиц
- filter_used.sql — возвращает фильтры, примененные к таблицам при сканировании, для помощи в выборе ключа сортировки (sortkey)
- commit_stats.sql — показывает информацию об использовании ресурсов кластера с помощью команд COMMIT
- current_session_info.sql — показывает информацию о сеансах с текущими выполняющимися запросами
- missing_table_stats.sql — показывает планы EXPLAIN, в которых отмечена «отсутствующая статистика» для базовых таблиц
- queuing_queries.sql — выводит список запросов, ожидающих в таблице слотов запросов WLM table_info.sql — возвращает информацию о хранении таблиц (размер, асимметрия и т. д.)
Административные SQL-представления
SQL-представления для управления кластером Amazon Redshift и генерации DDL схем. Все представления предполагают наличие схемы с именем Admin. Скачать здесь »
Список представлений:
- v_check_data_distribution.sql — получить распределение данных по срезам
- v_constraint_dependency.sql — получить ограничения внешнего ключа между таблицами
- v_generate_group_ddl.sql — получить DDL для группы
- v_generate_schema_ddl.sql — получить DDL для схем
- v_generate_tbl_ddl.sql — получить DDL для таблицы, содержит distkey, sortkey и ограничения
- v_generate_unload_copy_cmd.sql — сгенерировать команды выгрузки (unload) и копирования (copy) для объекта
- v_generate_user_object_permissions.sql — получить DDL для разрешений пользователя на таблицы и представления
- v_generate_view_ddl.sql — получить DDL для представления
- v_get_obj_priv_by_user.sql — получить таблицы/представления, к которым у пользователя есть доступ
- v_get_schema_priv_by_user.sql — получить схему, к которой у пользователя есть доступ
- v_get_tbl_priv_by_user.sql — получить таблицы, к которым у пользователя есть доступ
- v_get_users_in_group.sql — получить всех пользователей в группе
- v_get_view_priv_by_user.sql — получить представления, к которым у пользователя есть доступ
- v_object_dependency.sql — объединить различные представления зависимостей
- v_space_used_per_tbl.sql — получить объем пространства, используемого на одну таблицу
- v_view_dependency.sql — получить имена представлений, которые зависят от других таблиц/представлений
- v_check_transaction_locks.sql — получить информацию о блокировках, удерживаемых открытыми транзакциями
- v_check_wlm_query_time.sql — получить время ожидания и время выполнения WLM за последние 7 дней
- v_check_wlm_query_trend_daily.sql — получить количество запросов WLM, время ожидания и время выполнения по дням
- v_check_wlm_query_trend_hourly.sql — получить количество запросов WLM, время ожидания и время выполнения по часам
- v_generate_cancel_query.sql — получить отмену запроса
- v_get_cluster_restart_ts.sql — получить дату и время последнего перезапуска кластера
- v_get_vacuum_details.sql — получить сведения о вакуумировании (vacuum)
Утилита кодирования столбцов
Определите оптимальное сжатие для ваших данных Amazon Redshift с помощью этой утилиты. Скачать здесь »
Утилита выгрузки/копирования (Unload/Copy)
Легко мигрируйте данные между двумя таблицами Amazon Redshift, которые могут находиться в разных базах данных, кластерах или регионах. Все экспортированные данные зашифрованы с помощью AWS Key Management Service (KMS). Вы можете использовать эту утилиту в дополнение к AWS Data Pipeline для регулярного перемещения данных между системами, например между производственной и тестовой, или для поддержания копий только для чтения на других кластерах. Скачать здесь »
Инструменты аналитики и администрирования
Легко
Общие пользовательские функции (UDF). Коллекция полезных UDF для использования всеми желающими. Предоставлено Periscope. Узнать больше » | Скачать здесь »
ETL-инструмент от Yelp для Amazon Redshift. Используйте Mycroft от Yelp для автоматической загрузки данных в Amazon Redshift. Прочитайте эту публикацию в блоге для получения дополнительной информации. Скачать здесь »
Фреймворк для разработки UDF. Чтобы упростить разработку, Periscope создала фреймворк для управления и тестирования пользовательских функций. Предоставлено Periscope Data. Скачать здесь »
re:Dash. Бесплатная платформа для совместной работы с данными и их визуализации с открытым исходным кодом, созданная для обеспечения быстрого и простого доступа к миллиардам записей. Функции включают браузер схем, улучшенное планирование, автозаполнение и возможность писать запросы на Python. Предоставлено Everything.me. Скачать здесь »
Административная панель Amazon Redshift от EverythingMe. Мониторинг выполняющихся запросов, очередей WLM и ваших таблиц/схем с помощью этого удобного инструмента. Предоставлено EverythingMe. Скачать здесь »
Библиотека Spark-Redshift. Используйте эту библиотеку для загрузки данных из Amazon Redshift в Apache Spark SQL DataFrames и записи данных из Apache Spark обратно в Amazon Redshift. Хороший пример использования приема AVRO с Amazon Redshift. Предоставлено Swiftkey. Скачать здесь »
