Перейти к содержимому

Ghoster AI 3.6.6 — аккаунт, подписка и личный кабинет

Machine Learning / AI

2 858 вопросов в базе. Ниже — разобранные вопросы с ответами.

21 разобрано
01Что такое recall и precision?Junior — Middle+

Precision (точность) и Recall (полнота) — это метрики качества классификации, особенно важные при работе с несбалансированными классами. • Precision — доля правильно предсказанных положительных примеров среди всех, которые модель определила как положительные. Формула: [ Precision = \frac{TP}{TP + FP} ] где TP — истинно положительные, FP — ложно положительные. • Recall — доля правильно предсказанных положительных примеров среди всех реальных положительных. Формула: [ Recall = \frac{TP}{TP + FN} ] где FN — ложно отрицательные. Пример: если модель для задачи обнаружения спама выдает много писем как спам, но среди них много ошибочных (FP), то precision будет низким. Если модель пропускает много спам-писем (FN), то recall будет низким. Обычно между precision и recall существует компромисс, и для оценки часто используют F1-score — гармоническое среднее между ними.

02Что такое градиентный бустинг и как он работает?Middle — Senior

Бустинг — это метод ансамблирования, который строит сильную модель путем последовательного обучения серии слабых моделей (обычно деревьев решений). Каждая новая модель пытается исправить ошибки предыдущих, фокусируясь на тех объектах, которые были классифицированы неправильно. Как работает бустинг: • Инициализируется базовая модель, которая делает первые предсказания. • Вычисляются ошибки (остатки) этой модели. • Следующая модель обучается на этих ошибках, пытаясь их уменьшить. • Процесс повторяется несколько раз, и итоговое предсказание получается как взвешенная сумма предсказаний всех моделей. Пример упрощённого псевдокода бустинга: # pseudo-code model_0 = train_model(data) residuals = target - model_0.predict(data) model_1 = train_model(data, residuals) residuals = residuals - model_1.predict(data) ... final_prediction = model_0.predict(data) + model_1.predict(data) + ... Таким образом, бустинг последовательно улучшает качество модели, уменьшая ошибку на каждом шаге.

03Расскажи про разницу между мультитрейдингом, мультипроцессорностью и асинхронностьюMiddle — Senior

В Python корутины — это специальные функции, которые могут приостанавливать своё выполнение и возобновлять его позже, что позволяет эффективно работать с асинхронными операциями без блокировки основного потока. Event loop — это цикл событий, который управляет выполнением корутин. Он отслеживает, когда корутина готова продолжить работу (например, когда завершилась операция ввода-вывода) и переключается между ними, обеспечивая однопоточное асинхронное выполнение. В основе лежит механизм await, который приостанавливает корутину до завершения асинхронной операции. В Python это реализовано в модуле asyncio. Пример: import asyncio async def say_hello (): print ( 'Hello' ) await asyncio.sleep( 1 ) # имитация асинхронной операции print ( 'World' ) asyncio.run(say_hello()) Здесь event loop запускает корутину say_hello, которая приостанавливается на await asyncio.sleep(1), позволяя event loop переключиться на другие задачи, если они есть. Важно, что корутины в Python не создают новые потоки, а работают в одном потоке, что отличает их от многопоточности.

04Как dropout помогает избежать переобучения в нейросетях?Junior — Senior

Dropout — это техника регуляризации в нейросетях, которая помогает избежать переобучения, случайным образом "выключая" (обнуляя) часть нейронов во время обучения. Это заставляет сеть не полагаться слишком сильно на отдельные нейроны и их связи, а учиться более устойчивым и обобщающим признакам. Идея в том, что при каждом проходе обучения создаётся случайная подмножество сети, что похоже на обучение ансамбля различных моделей. В итоге модель становится менее склонной к переобучению, так как не может запомнить шум или специфические детали обучающего набора. Пример использования dropout в Keras: from tensorflow.keras.layers import Dropout, Dense from tensorflow.keras.models import Sequential model = Sequential([ Dense( 128 , activation= 'relu' , input_shape=(input_dim,)), Dropout( 0.5 ), # отключаем 50% нейронов случайно Dense( 10 , activation= 'softmax' ) ]) Здесь Dropout с вероятностью 0.5 отключает половину нейронов слоя во время обучения.

05Расскажите, пожалуйста, что был именно за проект, чем занимались именно вы.Middle — Senior

В моей работе с машинным обучением я занимаюсь разработкой и внедрением моделей для решения бизнес-задач, например, прогнозирования спроса, классификации клиентов или обработки текстов. Основные задачи, которые выполняю самостоятельно: • Сбор и подготовка данных: очистка, преобразование, создание признаков. • Исследовательский анализ данных (EDA) для понимания структуры и выявления закономерностей. • Выбор и обучение моделей: от простых линейных до сложных нейронных сетей. • Настройка гиперпараметров и регуляризация для улучшения качества и предотвращения переобучения. • Оценка моделей с помощью метрик и кросс-валидации. • Внедрение моделей в продакшен, написание скриптов и API для интеграции. Например, недавно я работал над проектом по классификации отзывов клиентов, где самостоятельно подготовил данные, обучил несколько моделей и выбрал лучшую по метрикам, а затем помог интегрировать модель в веб-приложение.

06Чем отличается кросс-энкодер (ранкер) от би-энкодера?Middle — Senior

В RAG (Retrieval-Augmented Generation) re-ranker — это компонент, который переоценивает и сортирует документы или фрагменты, извлечённые из базы знаний, чтобы выбрать наиболее релевантные для генерации ответа. Основные типы моделей re-ranker: • Cross-encoder : модель, которая принимает пару (вопрос, документ) и одновременно обрабатывает их, вычисляя релевантность. Это более точный, но вычислительно дорогой подход, так как каждый документ обрабатывается вместе с запросом. • BGE-reranker (Bi-Encoder) : модели, которые кодируют вопрос и документы отдельно в векторы, а затем вычисляют косинусное сходство. Быстрее, но может быть менее точным, чем cross-encoder. В RAG часто сначала используется быстрый би-энкодер для предварительного отбора, а затем cross-encoder для точного ранжирования. Re-ranker помогает повысить качество выбора документов, что улучшает итоговую генерацию ответа.

07Расскажи, какой состав команды, от кого обычно приходит задача и как задачи распределяются между командой?Middle — Senior

Распределение задач в команде машинного обучения обычно строится с учетом специализации участников и этапов проекта. Часто выделяют следующие роли и задачи: • Аналитик данных : сбор, очистка и подготовка данных. • Инженер данных : настройка пайплайнов и инфраструктуры для обработки данных. • ML-инженер : разработка и обучение моделей, подбор гиперпараметров. • Исследователь (Data Scientist) : экспериментирование с алгоритмами, анализ результатов. • Разработчик ПО : интеграция моделей в продукт, разработка API. • Менеджер проекта : координация, планирование и коммуникация. Задачи распределяются с учетом компетенций, приоритетов и сроков. В Agile-подходах команда регулярно обсуждает прогресс на встречах (stand-up), пересматривает планы и адаптирует распределение задач. Важно поддерживать прозрачность, чтобы каждый понимал свои цели и вклад в общий результат, а также эффективно коммуницировать между ролями для решения возникающих вопросов.

08Расскажи про регуляризацию: что это, зачем нужна, какие виды бывают.Middle — Senior

Основные виды регуляризации в машинном обучении: • L1-регуляризация (Lasso): добавляет к функции потерь сумму абсолютных значений весов. Способствует разреженности модели, то есть занулению некоторых коэффициентов, что помогает в отборе признаков. • L2-регуляризация (Ridge): добавляет сумму квадратов весов. Помогает уменьшить переобучение, заставляя веса быть меньшими по величине, но не зануляет их. • Dropout: случайное отключение нейронов во время обучения нейросети, что предотвращает слишком сильную зависимость от отдельных нейронов. • Early stopping: прекращение обучения, когда ошибка на валидационном наборе начинает расти, чтобы избежать переобучения. • Data augmentation: искусственное увеличение объема данных, что косвенно помогает регуляризации. • Batch normalization: нормализация входов слоев, что стабилизирует и ускоряет обучение, а также оказывает регуляризующий эффект.

09Знаешь что-нибудь про изменяемые и неизменяемые типы данных, и какие данные к чему относятся?Middle — Senior

В Python строки являются неизменяемыми (immutable) объектами. Это значит, что после создания строку нельзя изменить — любые операции, которые кажутся изменением строки, на самом деле создают новую строку. Например: s = "hello" s = s + " world" # создаётся новая строка "hello world" Исходная строка "hello" остаётся без изменений, а переменная s теперь ссылается на новую строку. Неизменяемость строк важна для безопасности, эффективности и позволяет использовать строки как ключи в словарях и элементы множеств. В контексте машинного обучения это означает, что при обработке текстовых данных любые преобразования строк создают новые объекты, что стоит учитывать при оптимизации памяти и производительности.

10Какие виды токенизации ты знаешь? Плюсы и минусы каждого.Junior — Middle+

В BERT токен — это минимальная единица текста, на которую модель разбивает входную последовательность для обработки. Токены могут быть словами, частями слов или даже отдельными символами. Основные варианты токенизации в BERT: • WordPiece токенизация — наиболее распространённый метод в BERT. Текст разбивается на подслова, которые встречаются в словаре модели. Если слово неизвестно, оно разбивается на более мелкие части, что помогает обрабатывать редкие и новые слова. • Basic Tokenizer — предварительный этап, который разбивает текст на слова и знаки препинания, нормализует текст (например, приводит к нижнему регистру). • SentencePiece — альтернативный метод токенизации, который используется в некоторых моделях, похожих на BERT, и основан на статистическом разбиении текста. Таким образом, токенизация в BERT — это процесс разбиения текста на подслова (токены), которые затем преобразуются в числовые индексы для подачи в модель.

11Назовите несколько типов метрик классификации и объясните их.Intern — Senior

Для задач классификации часто используют следующие метрики: • Accuracy (Точность) — доля правильно классифицированных объектов от общего числа. Хорошо подходит при сбалансированных классах. • Precision (Точность положительных предсказаний) — отношение истинно положительных результатов к сумме истинно положительных и ложноположительных. Важна, когда важно минимизировать ложные срабатывания. • Recall (Полнота) — отношение истинно положительных к сумме истинно положительных и ложноотрицательных. Важна, когда нужно минимизировать пропуски положительных случаев. • F1-score — гармоническое среднее Precision и Recall, балансирует между ними. • ROC-AUC — площадь под ROC-кривой, показывает качество модели при разных порогах классификации. • Confusion Matrix (Матрица ошибок) — таблица, показывающая распределение предсказаний по классам, помогает понять типы ошибок. Каждая метрика подходит для разных задач и зависит от баланса классов и бизнес-целей.

12Расскажите о себе и опыте?Middle — Senior

Я имею опыт работы в области машинного обучения и искусственного интеллекта более 3 лет. За это время я занимался разработкой и внедрением моделей для задач классификации, регрессии и обработки естественного языка. Работал с такими инструментами, как Python, TensorFlow и PyTorch. В одном из проектов мне удалось повысить точность модели распознавания изображений на 15% за счет оптимизации архитектуры и подбора гиперпараметров. Также я участвовал в автоматизации процессов подготовки данных и создании пайплайнов для обучения моделей, что значительно ускорило цикл разработки. Мой карьерный рост связан с постоянным обучением и применением новых методов, что позволяет мне эффективно решать сложные задачи в области AI.

13Что такое квантизация?Middle — Senior

Квантизация — это процесс преобразования непрерывного диапазона значений в дискретный набор уровней. В машинном обучении и искусственном интеллекте квантизация часто используется для уменьшения размера модели и ускорения вычислений за счёт представления весов и активаций с меньшей точностью (например, с 32-битных float до 8-битных целых). Это позволяет: • Снизить требования к памяти и хранению модели. • Ускорить инференс на устройствах с ограниченными ресурсами. Однако квантизация может привести к некоторой потере точности, поэтому важно балансировать между эффективностью и качеством модели.

14Какие существуют виды attention, позволяющие избежать квадратичной сложности полного self-attention на длинном контексте?Middle — Senior

Механизм внимания (attention) в классических трансформерах имеет квадратичную сложность по длине последовательности, так как вычисляется матрица внимания размером L×L (где L — длина входа). Для борьбы с этим используют несколько подходов: • Linformer — аппроксимирует матрицу внимания с помощью низкорангового разложения, сокращая размерность ключей и значений, что уменьшает сложность до линейной. • Performer — использует случайные проекции и kernel-trick для аппроксимации softmax внимания, позволяя вычислять внимание с линейной сложностью. • FlashAttention — оптимизирует вычисления внимания на уровне GPU, эффективно используя память и вычисления, что ускоряет процесс без потери точности. • Sliding-window attention — ограничивает внимание локальным окном фиксированного размера, то есть каждый токен взаимодействует только с соседними, что снижает сложность до линейной. • Sparse attention — использует разреженные маски внимания, где каждый токен смотрит не на все остальные, а на ограниченный набор релевантных токенов, уменьшая вычисления. Все эти методы направлены на снижение вычислительной и памяти нагрузки, сохраняя при этом качество модели для длинных последовательностей.

15В чем разница между оверфиттингом и андерфиттингом?Middle — Senior

Компромисс между недообучением (underfitting) и переобучением (overfitting) — это баланс между слишком простой и слишком сложной моделью. • Недообучение происходит, когда модель слишком проста и не способна уловить закономерности в данных. В результате она плохо работает как на тренировочных, так и на новых данных. • Переобучение возникает, когда модель слишком сложна и запоминает шум и случайные особенности тренировочных данных, что ухудшает её способность обобщать на новые данные. Компромисс достигается подбором такой модели и параметров, которые достаточно сложны, чтобы захватывать важные зависимости, но при этом не слишком сложны, чтобы не запоминать шум. Для этого используют методы регуляризации, кросс-валидацию и подбор гиперпараметров. Пример: если у вас есть модель регрессии, слишком простая (например, линейная при сложной зависимости) будет недообученной, а слишком сложная (например, полином высокой степени) — переобученной.

16Что такое переобучение? Как его обнаружить и предотвратить?Intern — Senior

Переобучение — это ситуация, когда модель машинного обучения слишком хорошо подстраивается под обучающие данные, включая шум и случайные особенности, и плохо обобщает на новые данные. Как обнаружить: • Высокая точность на обучающей выборке и низкая на тестовой. • Значительная разница между ошибками на обучении и проверке. Как предотвратить: • Использовать больше данных для обучения. • Применять регуляризацию (L1, L2). • Использовать методы ранней остановки обучения. • Применять кросс-валидацию. • Упрощать модель (меньше параметров).

17Почему решила уйти с текущего места работы?Middle — Senior

Причины ухода с последнего места работы могут быть разными, но важно формулировать их конструктивно и профессионально. Например: • Желание развиваться в новых направлениях, которые не были доступны на предыдущем месте. • Поиск более сложных задач и возможностей для роста. • Необходимость сменить корпоративную культуру или команду для лучшей синергии. • Личные обстоятельства, которые требовали изменений. Важно избегать негативных высказываний о предыдущем работодателе и сосредоточиться на том, что мотивирует вас двигаться вперёд и как вы хотите применять свой опыт в новой роли.

18Какие знаете оптимизаторы (SGD, Momentum, RMSProp, Adam, AdamW)? В чём идеи и различия?Middle — Senior

Оптимизаторы — алгоритмы для обновления параметров модели в процессе обучения, чтобы минимизировать функцию потерь. Рассмотрим основные из них: • SGD (Stochastic Gradient Descent) — простой стохастический градиентный спуск. Обновляет параметры по направлению отрицательного градиента с фиксированным шагом (learning rate). Может колебаться и медленно сходиться. • Momentum — расширение SGD, добавляет "инерцию" к обновлениям, учитывая накопленный градиент из предыдущих шагов. Это помогает быстрее проходить плоскости и избегать локальных минимумов. • RMSProp — адаптивный оптимизатор, который масштабирует шаг обновления для каждого параметра, учитывая среднеквадратичное значение градиентов за последние шаги. Это помогает стабилизировать обучение при изменяющихся масштабах градиентов. • Adam — сочетает идеи Momentum и RMSProp. Использует скользящие средние первого момента (градиента) и второго момента (квадрата градиента) для адаптивного шага обновления. Часто показывает хорошую сходимость и широко применяется. • AdamW — модификация Adam, которая корректно отделяет регуляризацию L2 (weight decay) от шага обновления, что улучшает обобщающую способность модели. Основные различия: • SGD — простой, требует тщательного подбора learning rate. • Momentum — ускоряет SGD за счёт накопления градиентов. • RMSProp — адаптивный шаг для каждого параметра. • Adam — комбинирует Momentum и RMSProp, адаптивный и эффективный. • AdamW — улучшенный Adam с правильной регуляризацией. Пример использования Adam в PyTorch: import torch model = ... optimizer = torch.optim.Adam(model.parameters(), lr= 0.001 ) for input , target in data_loader: optimizer.zero_grad() output = model( input ) loss = loss_fn(output, target) loss.backward() optimizer.step()

19Как подготавливал документы для RAG (chunking, embeddings, Milvus)?Middle — Senior

Для подготовки документов к Retrieval-Augmented Generation (RAG) обычно выполняются следующие шаги: • Chunking (разбиение на части) — исходный текст разбивается на логические или фиксированные по размеру фрагменты (чанки). Это нужно, чтобы модель могла эффективно искать релевантные куски информации. Например, можно разбить текст на абзацы или блоки по 500 слов. • Генерация эмбеддингов — для каждого чанка вычисляется векторное представление с помощью моделей эмбеддингов (например, Sentence-BERT, OpenAI embeddings). Эти векторы отражают смысловую близость текста. • Индексация в Milvus — эмбеддинги загружаются в векторную базу данных Milvus, которая оптимизирована для быстрого поиска по векторным пространствам. Это позволяет эффективно находить наиболее релевантные чанки по запросу. Пример на Python с использованием Milvus и SentenceTransformer: from pymilvus import connections, FieldSchema, CollectionSchema, DataType, Collection from sentence_transformers import SentenceTransformer # Подключение к Milvus connections.connect( "default" , host= "localhost" , port= "19530" ) # Определение схемы коллекции fields = [ FieldSchema(name= "id" , dtype=DataType.INT64, is_primary= True ), FieldSchema(name= "embedding" , dtype=DataType.FLOAT_VECTOR, dim= 768 ) ] schema = CollectionSchema(fields, description= "Document chunks embeddings" ) collection = Collection( "doc_chunks" , schema) # Разбиение текста на чанки text = "Очень длинный документ..." chunks = [text[i:i+ 500 ] for i in range ( 0 , len (text), 500 )] # Генерация эмбеддингов model = SentenceTransformer( 'all-MiniLM-L6-v2' ) embeddings = model.encode(chunks) # Подготовка данных для вставки ids = list ( range ( len (chunks))) data = [ids, embeddings.tolist()] # Вставка в Milvus collection.insert(data) collection.flush() Таким образом, при запросе к RAG сначала ищутся наиболее релевантные чанки в Milvus, а затем они используются для генерации ответа.

20Как соотносятся Recall и Precision, можно ли повысить одно не снижая другое? Приведи примеры задач.Middle — Senior

Recall (полнота) и Precision (точность) — это метрики качества классификации, особенно важные при несбалансированных данных. • Recall — доля правильно найденных положительных объектов от всех реально положительных. Показывает, насколько хорошо модель находит все нужные объекты. • Precision — доля правильно найденных положительных объектов от всех объектов, которые модель пометила как положительные. Показывает, насколько модель точна в своих положительных предсказаниях. Обычно между ними существует компромисс: повышение Recall часто ведёт к снижению Precision и наоборот. Это связано с порогом принятия решения модели. Можно ли повысить одно, не снижая другое? В общем случае — нет, но можно улучшить обе метрики, улучшая саму модель (лучшие признаки, алгоритмы, данные). Однако при фиксированной модели изменение порога обычно меняет их в противоположных направлениях. Примеры задач: • Медицинская диагностика : важен высокий Recall (не пропустить больного), иногда в ущерб Precision. • Спам-фильтр : важен высокий Precision (не блокировать важные письма), иногда в ущерб Recall. Таким образом, выбор между Recall и Precision зависит от бизнес-задачи и последствий ошибок.

21Machine Learning / AIMiddle

Ответ доступен в приложении.