Analisis Perbandingan Pengaruh Jenis Promosi Pasar Terhadap Jumlah Penjualan Menggunakan Annova Test

Studi kasus ini bertujuan untuk mengetahui apakah terdapat perbedaan yang signifikan ketika perusahaan fast-food menggunakan metode promosi tertentu dibandingkan metode promosi yang lain dengan cara melakukan A/B testing menggunakan Annova Test. Untuk kode program secara lengkap dapat dilihat pada situs github berikut:

Annova-Test-for-Market-Campaign/Annova_Test_for_Market_Campaign.ipynb at main ·…

Photo by Franki Chamaki on Unsplash

Background

Perusahaan fast-food memiliki rencana untuk menambah menu baru. Untuk melakukan promosi menu baru tersebut kepada customer, perusahaan telah merencanakan 3 buah strategi promosi yang dapat dijadikan sebagai opsi. Perusahaan ingin mengetahui apakah terdapat perbedaan yang signifikan dari masing-masing strategi promosi dan strategi promosi manakah yang paling memungkinkan untuk diterapkan pada market tertentu.

Guna mengetahui apakah memang terdapat perbedaan yang signifikan terhadap nilai penjualan perusahaan jika menerapkan strategi pemasaran tertentu, perusahaan perlu melakukan A/B testing antara masing-masing strategi pemasaran.

Solution

Solusi yang diajukan untuk mengatasi permasalahan penentuan strategi marketing pada perusahaan fast-food tersebut yaitu dengan melakukan A/B Testing menggunakan Annova Test. Annova Test dipilih sebab jenis test hipotesis ini cocok digunakan untuk membandingkan lebih dari 2 buah grup dan perusahaan sendiri ingin melakukan perbandingan terhadap 3 jenis strategi promosi, sehingga Annova Test dapat digunakan untuk mengatasi permasalahan tersebut.

Methodology

1. Data Preparation and Understanding
2. Exploratory Data Analysis
3. Set Hypothesis
4. Power Test untuk menentukan minimum sample
5. Annova Test
6. Result and Analysis

Data Preparation and Understanding

Dataset

Dataset yang digunakan adalah data penjualan bersumber dari IBM Watson Analytics yang dapat diakses melalui repositori kaggle

Fast Food Marketing Campaign A\B Test

Tidak diketahui rentang waktu data tersebut diambil. Terdapat total 348 record dan 7 buah atribut pada dateset tersebut diantaranya:

1. MarketID: ID unik dari masing-masing market
2. MarketSize: Ukuran cakupan area pasar yang terdiri dari Small, Medium, dan Large
3. LocationID: ID unik dari lokasi toko
4. AgeOfStore: Usia toko sejak berdiri (dalam satuan tahun)
5. Promotion: Jenis promosi/campaign yang digunakan, terdiri dari promotion 1–3
6. week: Pekan ketika promosi diterapkan, terdiri dari week 1–4
7. SalesInThousand: Nilai penjualan dalam satuan ribu

Missing Value dan Data Duplikat

Setelah dilakukan pengecekan terhadap data, ternyata tidak ada missing value dalam data tersebut, begitupun untuk data duplikat pada keseluruhan kolom.

Sedangkan ketika dicek data duplikat khusus untuk kolom market ID ternyata terdapat 538 data duplikat. Berdasarkan hasil pengecekan lanjutan, rupanya dalam 1 market ID memiliki berbagai lokasi yang berbeda, usia store yang berbeda, perbedaan jenis promosi yang digunakan, pekan ketika promosi diimplementasikan, dan tentunya nilai penjualan.

Berdasarkan data tersebut disimpulkan bahwa 1 market memiliki beberapa store yang tersebar di beberapa lokasi yang berbeda dan dalam data tersebut terdapat 10 buah market yang tersebar pada 137 lokasi.

Exploratory Data Analysis

Data Distribution (Univariate Analysis)

1. Distribusi Jumlah Penjualan

Gambar 1: Distribusi Jumlah Penjualan

Persebaran jumlah penjualan pada toko dalam dataset berkisar antara 10.000-an hingga 100.000. Mayoritas toko memiliki jumlah penjualan diantara 40.000 hingga 60.000. Sementara itu terlihat pada diagram bahwa sangat sedikit toko yang memiliki jumlah penjualan 20.000 kebawah.

2. Distribusi Usia Toko

Gambar 2: Distribusi Usia Toko

Pada dataset, usia toko bervariasi mulai dari dibawah 5 tahun hingga dibawah 30 tahun. Terlihat bahwa ternyata mayoritas toko memiliki usia 10 tahun kebawah.

3. Distribusi Setiap Market Size

Gambar 3: Distribusi Market Size

Toko dengan medium market size ternyata memiliki jumlah persebaran paling banyak dalam dataset sedangkan ukuran small memiliki persebaran yang paling sedikit.

4. Distribusi Jenis Promosi

Gambar 4: Distribusi Jenis Promosi

Jenis promosi yang paling banyak digunakan oleh toko adalah promotion-2 dan promotion-3

Bivariate Analysis

1. Rata-Rata Jumlah Penjualan pada Masing-Masing Market Size

Gambar 5: Rata-Rata Jumlah Penjualan Berdasarkan Market Size

Berdasarkan diagram, large market size memiliki rata-rata jumlah penjualan tertinggi dan Medium market size memiliki jumlah penjualan terendah. Padahal jumlah pelanggan potensial (yang biasanya diukur dalam waktu satu tahun) tentunya lebih besar toko dengan market size medium dibanding small namun ternyata dari segi jumlah penjualan small market size lebih unggul dibandingkan medium market size.

2. Jumlah Penjualan Berdasarkan Jenis Promosi

Gambar 6: Rata-Rata Jumlah Penjualan Berdasarkan Jenis Promosi

Berdasarkan jenis promosi yang digunakan, ternyata jenis promosi yang menarik jumlah penjualan terbanyak adalah promotion-1 dengan rata-rata jumlah penjualan hampir 60.000, selisih sedikit dengan promotion-3. Sedangkan jenis promotion yang memiliki rata-rata jumlah penjualan terendah adalah promotion-2.

Multivariate Analysis

1. Trend Penjualan Setiap Pekan Berdasarkan Jenis Promosi

Gambar 7: Trend Penjualan Setiap Pekan Berdasarkan Jenis Promosi

Setiap pekannya trend dari jumlah penjualan masing-masing jenis promosi tidak menentu. Jumlah penjualan promotion-1 cenderung menurun pada pekan 2 dan 4 namun meningkat pada pekan 3. Promotion 2 cenderung stagnan pada pekan ke-2 dan naik sedikit pada pekan ketiga, namun turun pada pekan ke-4. Sedangkan Promotion-3 mengalami penurunan yang cukup banyak pada pekan ke 3 namun kembali meningkat pada pekan ke-4 meskipun tidak menyamai jumlah penjualannya di pekan ke 2.

2. Jumlah Penjualan Berdasarkan Market Size dan Jenis Promosi

Gambar 8: Jumlah Penjualan Berdasaran Market Size dan Jenis Promosi

Ketika data dikelompokkan berdasarkan Market Size dan jenis promosi yang digunakan, terlihat bahwa toko dengan market size large ternyata memiliki jumlah penjualan paling besar jika menggunakan promotion-3. Sedangkan untuk medium market size dan small market size jumlah penjualannya lebih banyak jika menggunakan promotion-1.

Berdasarkan diagram tersebut sebenarnya terlihat bahwa perbedaan penggunaan jenis promotion ternyata menimbulkan jumlah penjualan yang berbeda pula pada tiap toko dengan market size tertentu. Namun disini perlu diketahui apakah perbedaan yang terlihat memang signifikan ataukah hanya kebetulan saja persebaran datanya seperti itu. Untuk mengetahui signifikan atau tidaknya perbedaan tiap jenis strategi promosi maka dilakukan Annova Test.

Hypothesis

Hipotesis Bisnis

“Terdapat perbedaan yang signifikan antara masing-masing jenis promotion”

Hipotesis Statistik

Power Test

Power test bertujuan untuk mengetahui apakah jumlah data yang kita miliki memenuhi jumlah minimum sample. Jika jumlahnya tidak memenuhi maka yang perlu dilakukan adalah mengumpulkan lebih banyak data atau mengubah level signifikansi (alpha). Alternatif-alternatif tersebut disesuaikan kembali dengan relevansi tujuan penelitian.

Menentukan nilai effect size dengan mencari nilai cohens’f

Untuk melakukan power test, kita perlu menginisiasi nilai effect size, alpha, dan power. Effect size merupakan ukuran statistik yang digunakan untuk mengukur seberapa besar atau seberapa kuat perbedan kelompok dalam suatu penelitian.

Penentuan nilai effect size yang memiliki lebih dari 2 buah variabel pembanding dapat dilakukan menggunakan nilai cohens’f. Nilai cohens’f yang didapatkan dalam studi kasus ini adalah 0,28.

Parameter power test (effect size, alpha, power)

Effect size diperoleh dari nilai cohen’s f, sehingga nilai effect size yang digunakan adalah 0,28

Nilai alpha yang digunakan adalah 0,05 artinya tingkat signifikansi yang diterapkan adalah 0,05 sehingga ada resiko 5% untuk mendapatkan error tipe I (Sebuah error/kesalahan yang terjadi ketika menolak H0 padahal seharusnya H0 diterima).

Nilai power yang diterapkan dalam studi kasus ini adalah 0,8 artinya harapan probabilitas yang dimiliki untuk mendeteksi efek atau perbedaan yang sebenarnya ada dalam populasi bernilai 80%. Maksudnya adalah jika dalam populasi dideteksi terdapat efek/perbedaan yang signifikan (melalui annova test) maka efek yang signifikan tersebut ditemukan dalam 80% percobaan atau analisis yang dilakukan.

Minimum Sample

Nilai minimum sample yang diperoleh setelah melakukan power test adalah 102 data, sedangkan data yang dimiliki adalah 548 data. Sehingga proses selanjutnya yaitu Annova Test dapat dilakukan tanpa harus mencari data tambahan.

Annova Test

Setelah melakukan power test dan data yang kita miliki memenuhi nilai minimum sample, maka selanjutnya dapat dilakukan Annova Test. Setelah dilakukan Annova Test, P value yang diperoleh adalah:

Nilai P value lebih kecil daripada nilai alpha, sehingga H0 ditolak. Artinya setiap promosi oleh market memiliki perbedaan yang signifikan

Result and Analysis

Berdasarkan hasil dari Annova Test didapatkan hasil bahwa setiap promosi memiliki perbedaan yang signifikan. Lalu promosi yang mana yang sebaiknya digunakan? untuk mengetahui jenis promosi yang tepat, maka dianalisis berdasarkan EDA yang telah dilakukan sebelumnya. Berdasarkan EDA, diperoleh insight sebagai berikut:

1. Jenis market size yang paling banyak adalah medium market size dan yang paling sedikit adalah small market size
2. Jenis promosi yang digunakan paling banyak adalah promotion-2 dan promotion-3
3. Large market size memiliki rata-rata jumlah pejualan paling besar, diikuti dengan small market size, kemudian medium market size
4. Promotion-2 mendapatkan hasil penjualan yang paling sedikit dibandingkan jenis promotion lainnya
5. Large market size ternyata memperoleh jumlah penjualan terbesar jika menggunakan promotion-3, sedangkan medium dan small market size memperoleh jumlah penjualan terbesar jika menggunakan promotion-1

Business Recomendation

1. Penggunaan jenis promotion dapat dikelompokkan berdasarkan market size nya. Large market size dapat menggunakan promotion 3 sedangkan small dan medium market size dapat menggunakan promotion-1 jika dipertimbangkan berdasarkan hasil penjualan yang diperoleh masing-masing market size dengan jenis promosi tertentu
2. Penggunaan jenis promosi ini dapat dipertimbangkan dan didiskusikan lebih lanjut dengan tim marketing mengingat ada pertimbangan-pertimbangan lain yang dapat dijadikan acuan, misalnya cost yang dikeluarkan ketika menggunakan jenis promosi tertentu dan apakah dana dari masing-masing store mencukupi untuk melakukan jenis promosi tersebut.

Conclusion

1. Terdapat perbedaan yang signifikan antara masing-masing jenis promosi
2. Penggunaan jenis promosi tertentu dapat disesuaikan berdasarkan market size. Large market size menggunakan promotion-1 sedangkam medium dan small market size dapat menggunakan promotion-3