---
Тред в Slack, который стал началом перемен
Все началось в треде Slack, где один из наших бэкенд-инженеров высказал недовольство по поводу разочаровывающего взаимодействия с новым сотрудником, который заявил, что он инженер по машинному обучению. "Они вообще не понимают процесс развертывания," - написали они, подчеркивая пробел, который негативно сказывался на нашем проекте. Этот момент ясно показал: нам нужно пересмотреть, как мы нанимаем инженеров по машинному обучению, и убедиться, что они могут эффективно способствовать нашему процессу развертывания.
Контекст: Почему это важно
Разграничение между инженерами по машинному обучению и дата-сайентистами часто размыто, что приводит к несоответствию ожиданий при найме. В нашем случае ставки были высоки; мы находились в процессе развертывания новой функции, которая сильно зависела от надежных ML-моделей. Если наш новый сотрудник не сможет справиться с операционными аспектами ML, это задержит наш график и повлияет на пользователей. Нам нужна была ясность в том, какие навыки мы ищем и как эффективно их тестировать во время интервью.
Проблема в деталях
Наш новый сотрудник имел сильное теоретическое понимание машинного обучения, но не хватало практического опыта в развертывании моделей. Например, когда ему было поручено интегрировать модель в нашу существующую инфраструктуру, он столкнулся с трудностями в управлении зависимостями и версиями, что привело к значительным простоям. Это не только расстраивало команду, но и ставило под угрозу сроки нашего проекта. Мы быстро поняли, что сосредоточение исключительно на навыках моделирования было недостаточным.
Что мы попробовали в первую очередь
Сначала мы попытались уточнить наши описания вакансий, чтобы привлечь кандидатов с опытом развертывания. Однако после нескольких итераций мы обнаружили, что простое изменение формулировок не существенно изменило качество заявок. Мы по-прежнему получали множество кандидатов, которые отлично разбирались в теории, но не имели практических навыков. Это заставило нас полностью пересмотреть наш процесс интервью, перейдя от традиционных вопросов по моделированию к оценке готовности к реальным условиям.
Технический подход
Мы решили внедрить двухэтапный процесс интервью, который сосредоточился как на теоретических знаниях, так и на практическом применении. Первая часть охватывала основные концепции ML, в то время как вторая включала практическое задание по программированию, которое моделировало сценарий развертывания. Например, кандидатам было предложено написать простой скрипт для развертывания предварительно обученной модели на макетном API, демонстрируя их понимание пайплайнов.
# Пример скрипта развертывания
import joblib
from flask import Flask, request
app = Flask(__name__)
model = joblib.load('model.pkl')
@app.route('/predict', methods=['POST'])
def predict():
data = request.json
prediction = model.predict(data['input'])
return {'prediction': prediction.tolist()}
if __name__ == '__main__':
app.run(debug=True)Этот подход помог нам выявить кандидатов, которые не только понимали теорию ML, но и могли ориентироваться в ландшафте развертывания, что является ключевым навыком для нашей команды.
Что изменилось в продукте
После внедрения наш процесс найма стал более соответствовать нашим реальным потребностям. Мы успешно заполнили несколько вакансий кандидатами, которые продемонстрировали хорошее сочетание теории и практических навыков развертывания. В результате мы заметили явное улучшение в эффективности развертывания наших ML-функций. Это напрямую повлияло на удовлетворенность пользователей, так как мы смогли запускать новые функции в срок без прежних головных болей.
Чему мы научились
В ходе этого процесса мы выявили несколько ключевых инсайтов:
- Сосредоточение на практических навыках: Кандидаты должны продемонстрировать практический опыт в развертывании, а не только теоретические знания.
- Четкие определения ролей: Правильное разграничение ролей между инженерами ML и дата-сайентистами помогает оптимизировать процесс найма и устанавливает четкие ожидания.
- Итерация процессов интервью: Регулярное пересмотр и уточнение наших методологий интервью поддерживает актуальность и эффективность наших практик найма.
- Ценность реальных сценариев: Включение реальных задач в интервью дает лучшее понимание практических возможностей кандидата.
Что это значит для кандидатов
Как кандидат, понимание различия между инженерией машинного обучения и дата-сайенс является ключевым. Если вы подаете заявку на роль инженера ML, сосредоточьтесь на демонстрации вашего опыта развертывания и знакомства с пайплайнами. Будьте готовы обсудить практические сценарии во время интервью, так как мы ценим практические навыки не меньше, чем теоретические знания.
Что это значит для рекрутеров
Для рекрутеров важно четко обозначить требования к вакансии при поиске инженеров по машинному обучению. Подчеркните необходимость наличия у кандидатов практического опыта в развертывании моделей и пайплайнах. Это поможет привлечь правильные таланты и снизить вероятность несоответствий при найме, которые могут привести к задержкам в проекте.
Следующие шаги
Смотря в будущее, мы планируем постоянно отслеживать результаты нашего найма и собирать отзывы от новых сотрудников о процессе интервью. Мы также исследуем возможность создания стандартизированной платформы оценки для потенциальных кандидатов, чтобы еще больше оптимизировать наши оценки. Если бы нам пришлось что-то переделать, мы бы включили совместные сессии кодирования на более раннем этапе процесса, чтобы лучше оценить динамику работы в команде. ---