Перейти к содержимому

Ghoster AI 3.6.6 — аккаунт, подписка и личный кабинет

Data Engineer

810 вопросов в базе. Ниже — разобранные вопросы с ответами.

21 разобрано
01Чем отличается RANK от DENSE_RANK?Junior — Middle

Функции RANK() и DENSE_RANK() используются для присвоения рангов строкам в отсортированном наборе данных, но они отличаются тем, как обрабатывают одинаковые значения (т.е. как учитывают пропуски в рангах). • RANK() присваивает одинаковый ранг одинаковым значениям, но при этом пропускает следующие ранги. Например, если два элемента занимают 1-е место, следующий получит ранг 3. • DENSE_RANK() также присваивает одинаковый ранг одинаковым значениям, но не пропускает ранги. В том же примере следующий после двух первых с рангом 1 получит ранг 2. Пример: Значение RANK() DENSE_RANK() 100 1 1 100 1 1 90 3 2 80 4 3

02Работали ли вы с Oracle и PL/SQL?Middle — Middle+

В Oracle пакеты — это логические группы процедур, функций, переменных и курсоров, объединённые в один объект базы данных. Они позволяют инкапсулировать логику и обеспечивают удобство повторного использования кода. Пример создания простого пакета: CREATE OR REPLACE PACKAGE my_package AS PROCEDURE greet_user(p_name VARCHAR2); END my_package; / CREATE OR REPLACE PACKAGE BODY my_package AS PROCEDURE greet_user(p_name VARCHAR2) IS BEGIN DBMS_OUTPUT.PUT_LINE( 'Привет, ' || p_name || '!' ); END greet_user; END my_package; / Такой пакет можно вызывать из PL/SQL или других приложений, что упрощает поддержку и развитие кода.

03Как в Airflow создать много одинаковых тасков параллельно (например, загрузить много одинаковых файлов)?Middle

В Apache Airflow для создания множества одинаковых тасков параллельно обычно используют динамическое создание тасков в цикле или оператор TaskGroup для группировки. Но более современный и удобный способ — использовать TaskFlow API с параметризацией, либо Dynamic Task Mapping (начиная с Airflow 2.3), который позволяет создавать множество тасков на основе списка параметров. Пример с Dynamic Task Mapping для загрузки множества файлов: from airflow import DAG from airflow.decorators import task from datetime import datetime with DAG( 'load_files_dag' , start_date=datetime( 2024 , 1 , 1 ), schedule_interval= None ) as dag: @task def load_file ( file_name ): print ( f"Загружаем файл {file_name} " ) # Логика загрузки файла files = [ 'file1.csv' , 'file2.csv' , 'file3.csv' ] load_file.expand(file_name=files) Здесь load_file.expand() создаст отдельный таск для каждого файла, которые будут выполняться параллельно, если позволяет конфигурация Airflow и ресурсы. Если версия Airflow ниже 2.3, можно создавать таски в цикле: for file_name in files: load_file_task = PythonOperator( task_id= f'load_ {file_name} ' , python_callable=load_file_function, op_kwargs={ 'file_name' : file_name}, dag=dag ) Но Dynamic Task Mapping — более современный и удобный способ.

04Какие типы JOIN знаешь? (логические)Middle

В SQL и в плане запроса можно встретить несколько основных типов джойнов: • INNER JOIN — возвращает только те записи, которые совпадают по условию в обеих таблицах. • LEFT JOIN (LEFT OUTER JOIN) — возвращает все записи из левой таблицы и совпадающие из правой, если совпадений нет — правые поля будут NULL. • RIGHT JOIN (RIGHT OUTER JOIN) — наоборот, все из правой таблицы и совпадающие из левой. • FULL JOIN (FULL OUTER JOIN) — объединяет LEFT и RIGHT JOIN, возвращая все записи из обеих таблиц с NULL там, где нет совпадений. • CROSS JOIN — декартово произведение, каждая запись из первой таблицы соединяется с каждой из второй. В плане анализа запросов можно увидеть, какой именно тип джойна используется, что помогает понять логику объединения данных и возможные причины появления NULL или увеличения объема результата.

05Чем отличаются строковые и колоночные базы данных? Приведите примеры.Junior — Senior

Строчное хранение (row-oriented) сохраняет данные построчно, то есть все поля одной записи вместе, что эффективно для транзакционных систем с частыми операциями вставки и обновления. Колоночное хранение (column-oriented) сохраняет данные по столбцам, что ускоряет аналитические запросы, которые читают и агрегируют отдельные поля большого объема данных. Выбирать нужно исходя из задачи: для OLTP-систем и частых операций с отдельными записями — строчное хранение, для OLAP и аналитики на больших данных — колоночное, так как оно уменьшает объем считываемых данных и ускоряет агрегации.

06Как решить задачу за линейное время O(n), используя словарь? Что нужно хранить в словаре, чтобы потом собрать отсортированную строку? Как обработать символы, которых нет в order?Junior

Чтобы решить задачу за линейное время O(n) с помощью словаря (хэша), нужно: • Подсчитать количество каждого символа в исходной строке и сохранить в словаре, где ключ — символ, значение — количество. • Итерироваться по строке order , для каждого символа брать из словаря его количество и добавлять этот символ столько раз в результат. • Обработать символы, которых нет в order — пройтись по словарю и добавить оставшиеся символы в любом порядке (например, в порядке появления). Пример на Python: from collections import Counter def custom_sort ( s: str , order: str ) -> str : count = Counter(s) result = [] for ch in order: if ch in count: result.append(ch * count[ch]) del count[ch] # Добавляем символы, которых нет в order for ch, cnt in count.items(): result.append(ch * cnt) return '' .join(result) Такой подход гарантирует, что каждый символ обрабатывается один раз, что обеспечивает сложность O(n).

07Чем отличается EXPLAIN ANALYZE от обычного EXPLAIN? Почему его нежелательно запускать на DELETE/UPDATE запросах?Middle

План выполнения, который показывает команда EXPLAIN, не всегда полностью соответствует реальному выполнению запроса. Это связано с тем, что: • План — это оценка оптимизатора на момент компиляции запроса, основанная на статистике и предположениях. • Во время выполнения могут измениться условия: кэширование, параллелизм, блокировки, изменения данных. • Некоторые СУБД могут применять динамическую оптимизацию или адаптивное выполнение. Поэтому EXPLAIN полезен для понимания логики выполнения и поиска узких мест, но для точного анализа стоит использовать профилирование и мониторинг реального выполнения.

08Можешь вспомнить свой опыт оптимизации запроса? Как ты действовал, анализировал?Middle — Senior

Да, есть опыт оптимизации SQL-запросов. Например, однажды был запрос, который долго выполнялся из-за отсутствия индексов и неэффективных JOIN. Исходный запрос: SELECT orders.id, customers.name, orders.total FROM orders JOIN customers ON orders.customer_id = customers.id WHERE orders.status = 'completed' AND customers.region = 'Europe' ; Оптимизации: • Добавил составной индекс на таблицу orders по полям (status, customer_id) . • Добавил индекс на поле region в таблице customers . • Переписал запрос, чтобы сначала фильтровать по orders.status , а затем делать JOIN, используя подзапрос: SELECT o.id, c.name, o.total FROM ( SELECT id, customer_id, total FROM orders WHERE status = 'completed' ) o JOIN customers c ON o.customer_id = c.id WHERE c.region = 'Europe' ; Результат: время выполнения сократилось с нескольких секунд до долей секунды за счет уменьшения объема данных на этапе JOIN и использования индексов.

09Расскажи про Greenplum — форматы хранения данных, строчное и колоночное хранение.Middle

Greenplum использует строковое хранение данных (row-oriented storage). Это означает, что данные хранятся и читаются построчно, что удобно для транзакционных нагрузок и операций, где важна целостность строк. В отличие от колоночных баз данных, которые оптимизированы для аналитических запросов с агрегациями по столбцам, Greenplum — это MPP (Massively Parallel Processing) база на основе PostgreSQL, ориентированная на масштабируемую обработку больших объемов данных с использованием строкового формата.

10Какие виды JOIN вы знаете, в том числе физические реализации JOIN?Middle — Middle+

В SQL существуют разные типы JOIN, которые позволяют объединять строки из двух и более таблиц на основе связанных столбцов. Логические типы JOIN: • INNER JOIN — возвращает только те строки, которые имеют совпадения в обеих таблицах. • LEFT JOIN (LEFT OUTER JOIN) — возвращает все строки из левой таблицы и совпадающие строки из правой; если совпадений нет, в правой части будут NULL. • RIGHT JOIN (RIGHT OUTER JOIN) — аналогично LEFT JOIN, но для правой таблицы. • FULL JOIN (FULL OUTER JOIN) — возвращает все строки из обеих таблиц, заполняя NULL там, где нет совпадений. • CROSS JOIN — декартово произведение двух таблиц, каждая строка первой таблицы соединяется с каждой строкой второй. Физические типы JOIN — это способы реализации логических JOIN на уровне СУБД, которые зависят от оптимизатора и структуры данных: • Nested Loop Join — для каждой строки из первой таблицы ищет совпадения во второй. • Hash Join — строит хеш-таблицу по одной из таблиц и ищет совпадения по хешу. • Merge Join — требует отсортированных данных, объединяет таблицы путём последовательного прохода по ним. Пример INNER JOIN: SELECT employees.name, departments.name FROM employees INNER JOIN departments ON employees.department_id = departments.id;

11Сравните два решения задачи поиска единиц по потреблению памяти: 1) цикл с переменными, 2) split('0') + list comprehension + max()Middle

Рассмотрим два подхода для поиска максимального количества подряд идущих единиц в строке: • Цикл с переменными: • Проходим по строке, считаем текущую длину последовательности единиц. • При встрече нуля сбрасываем счетчик. • Отслеживаем максимальное значение. • split('0') + list comprehension + max(): • Разбиваем строку по нулям, получая список подстрок из единиц. • Вычисляем длины этих подстрок. • Находим максимум. По потреблению памяти: • Цикл с переменными использует константное количество памяти, так как хранит только счетчики. • split() создает список подстрок, что требует дополнительной памяти, пропорциональной количеству и длине подстрок. Таким образом, первый метод более экономен по памяти и обычно быстрее, особенно на больших строках. Второй метод проще в реализации, но менее эффективен по памяти.

12Расскажи о своём опыте работы: задачи, стек технологийJunior — Principal

В моём опыте работы Data Engineer я занимался обработкой и трансформацией больших объёмов данных для аналитики и отчётности. Основные задачи включали: • Разработку и поддержку ETL-процессов • Оптимизацию загрузки данных из различных источников • Автоматизацию пайплайнов данных Стек технологий, с которым работал: • Язык Python для написания скриптов и обработки данных • Apache Airflow для оркестрации задач • Базы данных: PostgreSQL, ClickHouse • Облачные сервисы для хранения и обработки данных Например, реализовывал пайплайн, который ежедневно загружал данные из API, очищал и загружал их в аналитическую базу для дальнейшего использования командой аналитиков.

13Знакомы ли с CTE (common table expressions)? Приведите пример использования.Middle — Senior

CTE (Common Table Expression) — это временный именованный результат запроса, который можно использовать внутри основного SQL-запроса. Он объявляется с помощью ключевого слова WITH и позволяет структурировать сложные запросы, улучшая читаемость и повторное использование подзапросов. Пример: WITH RecentOrders AS ( SELECT * FROM Orders WHERE OrderDate > '2024-01-01' ) SELECT CustomerID, COUNT ( * ) FROM RecentOrders GROUP BY CustomerID; Здесь RecentOrders — это CTE, который можно использовать в основном запросе как временную таблицу.

14Есть две таблицы tab1 id 1 2 3 tab2 id 1 1 2 2 Скажите количество строк в результирующей таблице при 1) inner join 2) left join 3) cross join *Таблица tab1 всегда слеваMiddle

Рассмотрим виды JOIN и результат запроса select * from t1 <join> t2 on t1.t = t2.t для таблиц: t1.t 1 2 4 null t2.t 1 3 null null CROSS JOIN — декартово произведение всех строк из t1 и t2, без условия соединения. Результат будет 4 (строки t1) * 4 (строки t2) = 16 строк, например: t1.t t2.t 1 1 1 3 1 null 1 null 2 1 2 3 ... ... INNER JOIN — возвращает строки, где условие t1.t = t2.t истинно. Результат: t1.t t2.t 1 1 null null (так как null = null в SQL не считается равенством, но в некоторых СУБД с использованием IS NULL может быть иначе; обычно null не равен null) LEFT JOIN — все строки из t1, и соответствующие из t2, если нет совпадения — NULL в столбцах t2: t1.t t2.t 1 1 2 NULL 4 NULL null NULL RIGHT JOIN — все строки из t2, и соответствующие из t1, если нет совпадения — NULL в столбцах t1: t1.t t2.t 1 1 NULL 3 NULL null NULL null FULL JOIN — объединяет LEFT и RIGHT JOIN, все строки из обеих таблиц, NULL там, где нет совпадений: t1.t t2.t 1 1 2 NULL 4 NULL null null NULL 3 NULL null Таким образом, каждый вид JOIN отличается по набору возвращаемых строк и обработке отсутствующих совпадений.

15Нам нужно из Greenplum материализованное представление перенести в ClickHouse — каким образом можно передать данные?Middle

Для переноса данных из материализованного представления Greenplum в ClickHouse можно использовать несколько подходов: • Экспорт и импорт через CSV или Parquet : • Выполнить выгрузку данных из Greenplum в CSV или Parquet файл с помощью COPY или внешних утилит. • Затем загрузить эти файлы в ClickHouse с помощью clickhouse-client или через HTTP интерфейс. • Использование промежуточных ETL-инструментов : • Например, Apache NiFi, Airflow, или специализированные коннекторы, которые могут читать из Greenplum и писать в ClickHouse. • Прямое подключение и потоковая передача : • Если есть возможность, можно написать скрипт на Python или другом языке, который будет читать данные из Greenplum (через psycopg2) и вставлять их в ClickHouse (через clickhouse-driver). • Использование внешних таблиц или FDW (Foreign Data Wrapper) : • В Greenplum можно настроить внешние таблицы, но для ClickHouse такой интеграции обычно нет, поэтому чаще применяют экспорт/импорт. Пример экспорта из Greenplum в CSV: COPY materialized_view_name TO '/path/to/export.csv' WITH CSV HEADER; Затем загрузка в ClickHouse: clickhouse-client --query= "INSERT INTO target_table FORMAT CSV" < /path/to/export.csv

16С какими библиотеками Python вы работали?Junior — Middle+

Мои знания Python достаточно углублённые, я использую его для обработки данных, автоматизации и разработки ETL-процессов. Использовал следующие библиотеки: • pandas — для работы с табличными данными, фильтрации, агрегации. • numpy — для численных вычислений и работы с массивами. • sqlalchemy — для взаимодействия с базами данных. • requests — для работы с HTTP-запросами. • airflow — для оркестрации ETL-процессов. • pyarrow и fastparquet — для работы с форматами данных Parquet. Пример простого ETL с pandas и sqlalchemy: import pandas as pd from sqlalchemy import create_engine engine = create_engine( 'postgresql://user:password@host:port/dbname' ) # Загрузка данных из CSV data = pd.read_csv( 'data.csv' ) # Очистка и преобразование filtered = data[data[ 'value' ] > 0 ] # Запись в базу filtered.to_sql( 'table_name' , engine, if_exists= 'replace' , index= False )

17Какие у тебя мотивации и планы развития на несколько лет? Куда ты хочешь расти?Middle — Middle+

Меня мотивирует возможность решать сложные задачи, видеть результат своей работы и постоянно развиваться в профессиональном плане. Особенно ценю работу в команде, где можно обмениваться знаниями и улучшать процессы. Мои сильные стороны в части hard skills: • Опыт работы с большими данными и построением ETL-процессов. • Знание SQL и оптимизация запросов для повышения производительности. • Владение инструментами для обработки данных, такими как Apache Spark, Kafka. • Навыки программирования на Python и Scala для разработки дата-пайплайнов. • Опыт работы с облачными платформами (AWS, GCP) и контейнеризацией (Docker, Kubernetes). Эти навыки позволяют эффективно строить и поддерживать инфраструктуру для обработки и анализа данных.

18В каких случаях использовать B-tree и hash-индексы в PostgreSQL?Middle — Senior

В PostgreSQL существуют следующие основные типы индексов: • B-tree — самый распространённый тип, используется для быстрого поиска по равенству и диапазонам. • Hash — индекс для быстрого поиска по равенству, но менее универсален и реже используется. • GiST (Generalized Search Tree) — обобщённый индекс, поддерживает различные структуры данных, например, для геометрических данных. • SP-GiST (Space-partitioned GiST) — индекс для разбиения пространства, полезен для специфичных структур данных. • GIN (Generalized Inverted Index) — индекс для быстрого поиска по элементам массивов, JSON и полнотекстовому поиску. • BRIN (Block Range Index) — компактный индекс для больших таблиц с упорядоченными данными, индексирует диапазоны блоков. Каждый тип индекса подходит для разных сценариев использования и типов данных.

19Задача #2 Написать запрос, выводящий TOP-3 сотрудника по зарплате в каждом департаменте. Вывести название департамента, имя сотрудника, его зарплату. employee table: | id | name | salary | dept_id | |----|-------|--------|---------| | 10 | John | 1000 | 2 | | 20 | Tom | 5000 | 3 | | 30 | Bill | 3000 | 2 | department table: | id | name | |----|-----------| | 1 | Marketing | | 2 | IT | | 3 | Finance | Output: department_name, num, employee_name, salary with cte as( select d.name as department_name, e.name as employee_name, e.salary, dense_rank from employee e join department d on e.id = d.idJunior — Middle

Для получения топ 10 водителей по количеству заказов в каждом городе можно использовать оконную функцию ROW_NUMBER() или RANK() в SQL. Пример запроса: SELECT driver_id, city, order_count FROM ( SELECT driver_id, city, COUNT (order_id) AS order_count, ROW_NUMBER () OVER ( PARTITION BY city ORDER BY COUNT (order_id) DESC ) AS rn FROM orders GROUP BY city, driver_id ) sub WHERE rn <= 10 ORDER BY city, order_count DESC ; Здесь мы группируем заказы по водителю и городу, считаем количество заказов, затем нумеруем водителей в каждом городе по убыванию количества заказов и выбираем только первые 10.

20Как передавать данные между разными задачами Airflow?Middle — Middle+

В Apache Airflow для передачи данных между задачами обычно используют XCom (Cross-Communication). XCom позволяет одной задаче «пушить» (отправлять) небольшие данные, которые затем могут быть «пулены» (получены) другой задачей. Пример использования XCom: from airflow import DAG from airflow.operators.python import PythonOperator from datetime import datetime def push_function ( **kwargs ): # Отправляем данные в XCom kwargs[ 'ti' ].xcom_push(key= 'sample_key' , value= 'данные для передачи' ) def pull_function ( **kwargs ): # Получаем данные из XCom data = kwargs[ 'ti' ].xcom_pull(key= 'sample_key' , task_ids= 'push_task' ) print ( f'Полученные данные: {data} ' ) with DAG( 'example_xcom_dag' , start_date=datetime( 2023 , 1 , 1 ), schedule_interval= '@daily' ) as dag: push_task = PythonOperator( task_id= 'push_task' , python_callable=push_function, provide_context= True ) pull_task = PythonOperator( task_id= 'pull_task' , python_callable=pull_function, provide_context= True ) push_task >> pull_task Важно помнить, что XCom предназначен для передачи небольших объемов данных (например, строк, чисел, небольших словарей). Для больших данных лучше использовать внешние хранилища (S3, базы данных и т.п.) и передавать в XCom только ссылки на эти данные.

21Data EngineerMiddle

Ответ доступен в приложении.