Оценка отзывов

Размышляла в выходные над постановкой задачи для LLM по обработке обратной связи о сотрудниках в ходе перфоманс ревью.

Т.к. информации о сотрудниках обычно значительно меньше, чем о товарах на маркетплейсах, то пошла посмотреть на отзывы о товарах на одной из платформ и прочитала штук 100 отзывов на какие-то рандомные очистители для стекол.

Это оказалось отличное, очень показательное, проективное упражнение на тему качества данных.

Точной статистики я не вела, но наблюдения такие:

1. Примерно половина отзывов из серии «товар доставили, все в порядке», т.е. не дают вообще никакой информации о самом товаре.
2. На один и тот же товар от одного и того же производителя есть оценки и «5» и «1»
3. Оценка «3» вообще универсальная – и почти хорошо, и почти плохо
4. Оценивают и доставку, и упаковку, и количество пленки, и запах, и, собственно, качество товара
5. Отзыв явно сильно зависит от умений и навыков пользователей, потому что одно и то же средство и «оставляет разводы» и «не оставляет разводы»
6. Качество отзыва абсолютно не зависит от формата отзыва – и текст, и изображение, и видео могут быть как полезными, так и нет
7. И, наконец, по всем конкурирующим товарам средняя оценка 4,8

Обратная связь от сотрудников во время перфоманс ревью по своему качеству не сильно отстает от отзывов на маркетплейсе и их на 1-2 порядка меньше, так что хорошая получается задачка