DevChallenge. Мій досвід (онлайн раунд)
💫 Мої загальні відчуття
Я розумію коли стрьомно учасникам, які відправили завдання і якісь люди оцінюють те, що зробили і якось проставляють бали. Тим не менш, для мене було стресово. Як перевіряти, кому більше, кому менше, що буде в середині. Все для мене було нове.
Тут дякую Олексію за те, що підготував речі які повинні оцінювати і це спростило участь у якості судді. Здалось, що я був найдобріший серед суддів. Але треба буде то перевіряти по балами, що там проставили.
✅️ Що по завданням?
1. Перше завдання із порівнянням інструментів.
90% робіт було з однаковим списком інструментів, які проходили аналітику. Проте результати коливалися.
⛔️ Головні проблеми:
- всі протоколи в одній купі (в одній клітинці). Такі списки дуже складно порівнювати. Що потім може призвести до хибних висновків. Кращий варіант був окремий рядок на окремий протокол. І до речі оцінка була саме в цьому.
- в більшості робіт у висновках фігурував один інструмент. І дуже дивно, коли в тебе один інструмент, адеж це не покриває всі протоколи.
В жодній роботі не було інструменту cURL. Я б його розглядав, а взяв би в тулінг для проекту наступні 3 інструменти: postman, jmeter, cURL.
2. Завдання знайти дефекти пов'язані з NFR.
На початку було складно перевіряти, бо треба було ще самому протестити і подивитись на спеціально закладені баги.
⛔️ Головні проблеми:
- кожен баг в рядок (мене це бісить бо просто нереально читати так). Краще щоб була "плашка" з дефектом і я скролю їх згори вниз.
- тільки в одній роботі у мене людина виписала дефект на використання значної кількості RAM при виконанні задачі.
- виписували часто на одну проблему по 3-5 тікетів. Де просто мінявся інпут по принципам тест-дизайну (EC, BV), по ходу не всі розібрались з тест-дизайном 😏
- в хороших тікетах були присутні команди і параметри запуску, в поганих тікетах їх не було. Але тут вже 50/50
3. Завдання на автоматизацію
Було видно декілька дійсно непоганих робіт, з якими все було чітко і зрозуміло. А ось в більшості склалась у фіналі думка, що якщо за це платять +500$, то у мене до індустрії великі запитання :)
Зі своєї сторони я намагався запустити все, що нам давали люди. Якщо врешті-решт не запускалися, що ж. Сорі :)
⛔️ Ключові проблеми:
- погані інструкції. Ваш Readme можуть читати колеги з інших ОС, та з іншим середовищем. Якщо в мене немає встановленої JAVA, то про це треба написати. Класно, якщо там буде посилання, а ще краще якщо буде посилання на інструкцію з інсталяції. Часто мені приходилось гуглити то самостійно. В деяких роботах через це я не міг запустити тести, бо не вистачало інформації :(
- локатори. Я розумію, що хтось там в користовував те, що йому тула нагенерила. Але було щось там не зрозуміле. Як тільки Поміняється в UI, ваші тести полетять, як то підтримувати незрозуміло.
- далі були тести, не зовсім тести (unit, та просто виконання якихось дій без аспектів і експектів). Була людина яка перевіряла, у якої визивалась функція яка повертала заготовлені дані і потім ці дані звірялись з експектом 🤣
Четверте завдання
Було мало, хто здав, але як на мене треба було людям його робити всім. Там і балів могло бути відсипано і взагалі цікаво подумати мізками.
Проблем і паттернів особливо не було (робіт мало). Як на мене вони всі були більш-менш притомні. Тому я залишився задоволеним. Хоча дивився і порівнював виконання різних робіт і було багато в роботах спільного.
💪 Резюмуючи все це.
Досвід класний і корисний. Сам би я зробив роботи гірші за деяких учасників. Також я помітив, що тестувальники також погано читають умови завдання (за це знімали бали, бо написано досить непогано, що та в якому вигляді треба здати).