Илко Василев.
← Всички проекти

Проект 03 · Бизнес · Анализ на текст

Какво казват 751 500 клиенти за 12 онлайн магазина

Анализ на всички отзиви за приложенията на Amazon, eBay, Walmart, AliExpress, Shein и още седем магазина от 2018 до 2024 г. За всеки магазин: присъда, най-честите оплаквания и похвали, как се менят с годините и какво точно да се оправи.

Идеята и проверката са мои. Кодът и текстът са написани с AI, а всяко число в текста е проверено автоматично срещу данните.

Разпознати теми
Истински отзиви от базата. Оцветените думи са разпознати от системата.
Звезди:
Напиши нещо и ще видиш темите тук.

Обща картина

Предварителен анализ: от какво се оплакват и какво хвалят

Всички 12 магазина заедно. Отляво: дял от позитивните отзиви, които споменават темата. Отдясно: дял от негативните.

Четири неща, които числата показват

Общият дял на негативните отзиви почти не мърда през годините. Интересното е какво се крие под средното.

Walmart се обърна: негативните отзиви паднаха от 77,4% на 31,9%

Най-голямото подобрение от всички 12 магазина. Оплакванията за приложението паднаха от 32,0% до 9,0% от всички отзиви, а за доставката от 21,6% до 9,8%.

Walmart: негативни отзиви (1–2★) по години

Shein се срина за две години: от 8,8% до 50,7% негативни

През 2024 г. отведнъж растат три неща, които дотогава почти ги нямаше: оплакванията за приложението (от 1,3% на 10,0% от всички отзиви), за цените (от 1,9% на 10,4%) и за измами и блокирани акаунти (от 0,8% на 8,8%).

Shein: негативни отзиви (1–2★) по години

Flipkart е на последно място и тенденцията е най-лоша

Негативните отзиви растат от 50,9% през 2019 г. до 91,8% през 2023 г. Тази година девет от десет отзива са с една или две звезди. Основните причини са доставката, връщането на пари и обслужването.

Flipkart: негативни отзиви (1–2★) по години

Да отговаряш на отзивите не значи да решаваш проблема

Meesho и Snapdeal отговарят на 96,9% и 97,7% от отзивите, а имат 63,4% и 68,5% негативни. Amazon не отговаря на нито един. Колко често магазинът отговаря не казва нищо за това колко са доволни клиентите.

Всеки кръг е магазин: % отзиви с отговор срещу % негативни отзиви

Карта на оплакванията

Всеки ред е магазин, всяка колона е тема. Числото показва какъв дял от негативните отзиви за магазина споменават темата. Посочи клетка за детайли, а с клик отваряш доклада на магазина. Магазините са подредени от най-добрия към най-слабия.

По-рядкоПо-често

Всеки магазин

Доклад за всеки магазин

Присъдата идва от Net Sentiment: % позитивни отзиви (4–5★) минус % негативни (1–2★). Избери магазин.

Сравнение между магазините

Натисни заглавие на колона, за да подредиш таблицата.

Обслужване: баланс на отзивите, които споменават обслужването на клиенти (% позитивни минус % негативни). Отговаря: % от отзивите с отговор от магазина.

Как е направено

Осем стъпки от суровите файлове до доклада. Целият анализ на 751 500 отзива отнема около 10 секунди.

  1. Събиране на данните 751 500 отзива

    12 файла от Google Play: текст, звезди, дата, колко души са харесали отзива и дали магазинът е отговорил. Периодът е от 12 септември 2018 г. до 17 август 2024 г.

  2. Тонът идва от клиента 1–2★ и 4–5★

    1–2 звезди е оплакване, 4–5 е похвала, 3 е неутрално. Клиентът сам е казал доволен ли е, затова няма нужда да гадаем с модел. Сравнено с човешки оценки, това съвпада в 94% от случаите.

  3. Речник на темите

    Всяка тема има списък с изрази. Отзивът попада в темата, ако съдържа поне един от тях. Ето по няколко примера:

  4. Подпроблеми вътре в темите

    „Доставка“ е твърде общо, за да се направи нещо с него. Затова всяко оплакване се разбива още: закъснение, неполучена пратка, пратка „доставена“, без да е, такса за доставка, куриерът. Така препоръките стъпват на конкретен проблем с число.

  5. Проверка срещу хора 2 782 отзива

    Отделна база с отзиви от Trustpilot за 5 други онлайн магазина, в които изследователи са маркирали темите на ръка. Първата версия на речника изкара обща оценка 0,60 от 1. Прегледах грешките една по една, поправих изразите и махнах темата, която не работеше. Втората версия изкара 0,74.

    Обща оценка на разпознаването по теми (0 = никакво, 1 = съвършено)
    Първа версияВтора версия

    Грешките, които проверката хвана:

    „Package“ почти винаги значи пратка, не опаковкаТемата „Опаковка“ имаше само 6% верни попадения. Махнах я, а повредените продукти отидоха в „Качество“.
    „Update“ хващаше „tracking update“Обновяване на пратка се броеше за проблем с приложението. Сега се броят само „app update“ и „after the update“.
    „Paid“ хващаше „paid extra for express delivery“Това е оплакване за доставка, не за плащане. Сега „Плащане“ търси конкретни проблеми: „charged twice“, „payment failed“.

  6. Цитатите са истински и подбрани честно

    За всяка тема се взима най-харесваният кратък отзив на английски, който е основно за тази тема и не е използван за друга. Тонът на текста, проверен с речника VADER, трябва да съвпада със звездите. Иначе излизаше „похвала“ с 5 звезди, която всъщност е оплакване.

  7. AI пише доклада от числата

    Присъдите, тенденциите и препоръките са написани от AI само върху изчислените числа. Нищо не е добавено отвън.

  8. Автоматична проверка на всяко число 293 числа, 0 грешки

    Отделен скрипт взима всяко число от текста на доклада и проверява дали го има в данните за същия магазин. Ако едно не съвпада, докладът не минава.

„Приложението“ излиза слабо, защото в Trustpilot отзивите са за сайтове, не за приложения. „Измами и блокирани акаунти“ не е в таблицата: в Trustpilot подобната тема е за доверие и препоръка, така че няма с какво да се сравни.

Какво трябва да се знае

  • Отзивите са за приложенията

    Данните са от Google Play, затова част от оплакванията са за самото приложение, а не за магазина. Магазините работят в различни страни: Индия, Югоизточна Азия, САЩ, Китай.

  • Годините не са равни

    Броят отзиви на година се различава, затова тенденциите са в проценти. 2024 г. е до август. При Flipkart и Snapdeal някои години имат само около хиляда отзива.

  • Изразите не хващат всичко

    Отзив, който описва проблем с други думи, може да бъде пропуснат. Числата служат за сравнение между магазини и години, не са абсолютна истина.

Какво научих

  • Средното скрива историята

    Общият дял на негативните отзиви е почти стабилен, а под него Walmart се подобрява рязко, Flipkart се срива, а Shein се обръща за една година.

  • Без проверка грешките не се виждат

    Речникът изглеждаше разумен, докато не го сравних с човешки оценки. Тогава излязоха „package“, „update“ и „paid“.

  • Всяка препоръка трябва да има число

    Правилото всяка препоръка да е вързана с число принуди анализа да слезе до подпроблемите. Без него щеше да пише „подобрете доставката“.

Същият анализ става за всяка фирма с отзиви

Куриери, ресторанти, хотели, банки, мобилни приложения, кол центрове. Отговаря на три въпроса: какво дразни клиентите най-много, расте ли проблемът и какво да се оправи първо.

Свържи се с мен

Данни: ShoppingAppReviews (Mendeley Data, лиценз CC BY-NC 4.0) и отзиви от Trustpilot с човешки етикети (figshare). Шрифтове: Unbounded и Golos Text (SIL Open Font License).