会Python的淘宝商家可以横扫一切竞争对手，这就是会技术的魅力！（下）

这篇上上篇的续集。上篇主要从宏观市场及微观市场两个方面深入分析拜耳产品销售数据。本篇中将继续从微观市场方面，从产品结构、产品舆情及产品流量三个方面深入探讨拜耳产品的竞品分析。

电商分析基础知识

电子商务和传统零售数据分析的区别

传统零售是利用二八法则生存，电商是靠长尾理论积累销售。
电商是大数据，传统零售是小数据。
传统零售是"物流"，零售过程就是商品的流动。电子商务是"信息流"，顾客通过搜索、比价、评论、分享产生信息，达到购买的目的。
传统零售注重体验感，购物有时候也是社交的一部分，现在的购物中心基本是吃喝玩乐一体化设计。电商注重服务和效率，虽然也有吃喝玩乐的产品，但却不能方便及时享受。
传统零售是做加法，电子商务是做乘法。传统零售通过一家店一家店的开发来扩充自己的影响力，电商则通过资金的投入迅速抢占市场。
成本结构不同，传统零售的主要成本是租房与人工成本，电商的主要成本是物流和营销成本。

电商数据分析需要的数据

电商需要的数据复杂，数据来源渠道也多样化，当然数据质量也是有好有坏的。

营销数据
包括营销费用、覆盖用户数、达到用户数、打开或点击用户数。
流量数据
包括浏览量、访客数、登陆时间、在线时长等基础数据。
会员数据
包括会员的姓名、出生日期、真实性别、网络性别、地址、手机号、微博号、微信号等基础数据。
交易及服务数据
包括交易金额、交易数量、交易人数、交易商品、交易场所、交易时间。供应链服务等数据。
行业数据
淘宝的数据魔方提供行业品牌的关键字搜索、店铺排名、销售、会员等数据查询。

产品结构分析

波士顿矩阵

波士顿矩阵又称市场增长率-相对市场份额矩阵、波士顿咨询集团法、四象限分析法、产品系列结构管理法等。

适用于一般产品，不适合引流产品。

明星产品：高市场占有率，高业务增长率
金牛产品：高市场占有率，低业务增长率
问题产品：低市场占有率，高业务增长率
瘦狗产品：低市场占有率，低业务增长率

波士顿矩阵的应用

（1）评价各项业务的前景。BCG是用市场增长率这一指标来表示发展前景的。这一步的数据可以从企业的经营分析系统中提取。

（2）评价各项业务的竞争地位。BCG是用“相对市场份额”这个指标来表示竞争力的。这一步需要做市场调查才能得到相对准确的数据。计算公式是把一单位的收益除以其最大竞争对手的收益。

（3）表明各项业务在BCG矩阵图上的位置。具体方法是以业务在二维坐标上的坐标点为圆心画一个圆圈，圆圈的大小来表示企业每项业务的销售额。

（4）确定纵坐标“市场增长率”的一个标准线，从而将“市场增长率”划分为高、低两个区域。

比较科学的方法有两种：

把该行业市场的平均增长率作为分界线
把多种产品的市场增长率(加权)平均值作为界分点

需要说明的是，高市场增长定义为销售额至少达到10%的年增长率（扣除通货膨胀因素后）。

（5）确定横坐标“相对市场份额”的一个标准线，从而将“相对市场份额”划分为高、低两个区域。

拜耳产品结构分析

首先获取拜耳全店商品交易数据，数据样例如下图所示。

baier_02 = pd.read_excel('./baier/电商案例数据/拜耳店铺数据/拜耳全店商品交易数据.xlsx')
baier_02.head()

以单个商品为聚合，分别对交易增长幅度求平均，支付转化指数求平局，交易金额求和，这些只需要一行代码就能搞定。

下一步将单个商品的交易金额除以全部商品的交易总金额，得到单个商品的交易金额占比。

baier_str = baier_02.groupby('商品').agg({'交易增长幅度':np.mean,'支付转化指数':np.mean,'交易金额':np.sum})
baier_str['交易金额占比'] = baier_str.交易金额/baier_str.交易金额.sum()*100
baier_str.head()

对上述表进行描述性统计，查看下是否有缺失值、异常值等"脏"数据或不合理的数据。从结果看，交易增长幅度最大值(红色框框)为1030，很明显是个异常值，我们将其删除，

baier_str.describe()

删除异常值

baier_str = baier_str[baier_str.交易增长幅度!=1030.00]

明星产品

高销售额占比，高销售增长率

它是指处于高增长率、高市场占有率象限内的产品群，这类产品可能成为企业的现金牛产品，需要加大投资以支持其迅速发展。

采用的发展战略是：积极扩大经济规模和市场机会，以长远利益为目标，提高市场占有率，加强竞争地位。发展战略以及明星产品的管理与组织最好采用事业部形式，由对生产技术和销售两方面都很内行的经营者负责。

明星产品=baier_str.where((baier_str.交易增长幅度>=baier_str.交易增长幅度.mean()
)&(baier_str.交易金额>=baier_str.交易金额.mean())).dropna()
明星产品

金牛产品

高销售额占比，低销售增长率

现金牛产品（cash cow），又称厚利产品。它是指处于低增长率、高市场占有率象限内的产品群，已进入成熟期。其财务特点是销售量大，产品利润率高、负债比率低，可以为企业提供资金，而且由于增长率低，也无需增大投资。因而成为企业回收资金，支持其它产品，尤其明星产品投资的后盾。

把设备投资和其它投资尽量压缩；
采用榨油式方法，争取在短时间内获取更多利润，为其它产品提供资金。

对于这一象限内的销售增长率仍有所增长的产品，应进一步进行市场细分，维持现存市场增长率或延缓其下降速度。

金牛产品 = baier_str.where((baier_str.交易增长幅度<=baier_str.交易增长幅度.mean()
)&(baier_str.交易金额>=baier_str.交易金额.mean())).dropna()
金牛产品

问题产品

低销售额占比，高销售增长率

问题产品（question marks）。它是处于高增长率、低市场占有率象限内的产品群。前者说明市场机会大，前景好，而后者则说明在市场营销上存在问题。

其财务特点是利润率较低，所需资金不足，负债比率高。例如在产品生命周期中处于引进期、因种种原因未能开拓市场局面的新产品即属此类问题的产品。

对问题产品应采取选择性投资战略。因此，对问题产品的改进与扶持方案一般均列入企业长期计划中。

问题产品=baier_str.where((baier_str.交易增长幅度>=baier_str.交易增长幅度.mean()
)&(baier_str.交易金额<=baier_str.交易金额.mean())).dropna()
问题产品

瘦狗产品

低销售额占比，低销售增长率

瘦狗产品（dogs），也称衰退类产品。它是处在低增长率、低市场占有率象限内的产品群。其财务特点是利润率低、处于保本或亏损状态，负债比率高，无法为企业带来收益。

对这类产品应采用撤退战略：

首先应减少批量，逐渐撤退，对那些销售增长率和市场占有率均极低的产品应立即淘汰。
其次是将剩余资源向其它产品转移。
第三是整顿产品系列，最好将瘦狗产品与其它事业部合并，统一管理。

瘦狗产品 = baier_str.where((baier_str.交易增长幅度<=baier_str.交易增长幅度.mean()
)&(baier_str.交易金额<=baier_str.交易金额.mean())).dropna()
瘦狗产品

从以上结果，可以得到如下几点信息。

拜耳低明显产品不明显，增长缓慢的一个原因
潜力款产品较多，要考虑是否应该投入更多的营销资源去保持增长幅度，使得其转化为明显产品或金牛产品
潜力款产品较多，要考虑是否应该投入营销资源去保持增长幅度，使得其转化为明显产品或金牛产品
瘦狗产品：产品容量、外观设计问题，或是产品标题问题

波斯顿矩阵可视化

为了方便大家查看，可视化代码如下，代码比较简单，一个循环绘制四个字图。

ax = plt.figure(figsize=(8,8))
a = [问题产品,明星产品,瘦狗产品,金牛产品]
b = ['问题产品','明星产品','瘦狗产品','金牛产品']
c = ['b','y','r','k']
for i in range(len(a)):ax.add_subplot(2,2,i+1)plt.scatter(a[i].交易金额,a[i].交易增长幅度,c = c[i])plt.title(b[i])if i==0:plt.ylim(baier_str.交易增长幅度.mean()-1,baier_str.交易增长幅度.max()+5)plt.xlim(baier_str.交易金额.min()-100000,baier_str.交易金额.mean()+10000)elif i==1:plt.ylim(baier_str.交易增长幅度.mean()-1,baier_str.交易增长幅度.max()+5)plt.xlim(baier_str.交易金额.mean()-10000,baier_str.交易金额.max()+2000000)elif i==2:plt.ylim(baier_str.交易增长幅度.min()-0.01,baier_str.交易增长幅度.mean()+0.01)plt.xlim(baier_str.交易金额.min()-100000,baier_str.交易金额.mean()+10000)elif i==3:plt.ylim(baier_str.交易增长幅度.min()-0.01,baier_str.交易增长幅度.mean()+0.01)plt.xlim(baier_str.交易金额.mean()-10000,baier_str.交易金额.max()+2000000)

科凌产品结构分析

通过对竞争对手产品结构分析，尤其是对手大流量产品，可以找出下一步市场增长点，拓展业务，减少推广风险。

对自家产品有相对增长减缓对产品，防止其他结构点品牌对自家产品对冲击。

同样读取数据，对销售数据进行处理，处理逻辑跟拜耳产品处理逻辑一样。结果如下所示。

keling_02 = pd.read_excel('./baier/电商案例数据/竞争数据/商品交易数据/科凌虫控全店商品交易数据.xlsx')
keling_str = keling_02.groupby('商品').agg({'交易增长幅度':np.mean,
'支付转化指数':np.mean,
'交易金额':np.sum})
keling_str['交易金额占比'] = keling_str.交易金额/keling_str.交易金额.sum()*100
keling_str

同样的方法分别计算明星产品，金牛产品，问题产品和瘦狗产品。

明星产品=keling_str.where((keling_str.交易增长幅度>=keling_str.交易增长幅度.mean()
)&(keling_str.交易金额>=keling_str.交易金额.mean())).dropna()
金牛产品=keling_str.where((keling_str.交易增长幅度<keling_str.交易增长幅度.mean()
)&(keling_str.交易金额>=keling_str.交易金额.mean())).dropna()

由此可见：

竞争产品：灭蟑螂21966057元，已造成威胁
拜耳未涉及产品：灭鼠、除螨产品也已达到两百多万

问题产品=keling_str.where((keling_str.交易增长幅度>=keling_str.交易增长幅度.mean()
)&(keling_str.交易金额<keling_str.交易金额.mean())).dropna()
瘦狗产品=keling_str.where((keling_str.交易增长幅度<keling_str.交易增长幅度.mean()
)&(keling_str.交易金额<keling_str.交易金额.mean())).dropna()

波斯顿矩阵可视化

科凌产品结构分析：

金牛产品明显，灭蟑产品对销售额与拜耳主营业务差距不是非常大。
科凌产品多样化，特别是灭鼠和除螨，拜耳还没有涉及大两大业务现金牛产品属性也很明显。
除螨产品增长迅速，满足了二级市场的第三大产品需求。

安速产品结构分析

最后一个安速产品，处理逻辑一致，就不过多阐述。

ansu_02 = pd.read_excel('./baier/电商案例数据/竞争数据/商品交易数据/安速全店商品交易数据.xlsx')
ansu_02

ansu_str = ansu_02.groupby('商品').agg({'交易增长幅度':np.mean,
'支付转化指数':np.mean,
'交易金额':np.sum})
ansu_str['交易金额占比'] = ansu_str.交易金额/ansu_str.交易金额.sum()*100

计算波斯顿矩阵中各个产品分布值及可视化

明星产品=ansu_str.where((ansu_str.交易增长幅度>=ansu_str.交易增长幅度.mean()
                    )&(ansu_str.交易金额>=ansu_str.交易金额.mean())).dropna()
金牛产品=ansu_str.where((ansu_str.交易增长幅度<ansu_str.交易增长幅度.mean()
                    )&(ansu_str.交易金额>=ansu_str.交易金额.mean())).dropna()
问题产品=ansu_str.where((ansu_str.交易增长幅度>=ansu_str.交易增长幅度.mean()
                    )&(ansu_str.交易金额<ansu_str.交易金额.mean())).dropna()
瘦狗产品=ansu_str.where((ansu_str.交易增长幅度<ansu_str.交易增长幅度.mean()
                    )&(ansu_str.交易金额<ansu_str.交易金额.mean())).dropna()

安速产品分析部分结果如下：

现金牛产品多，覆盖广
主营业务与拜耳构成冲突
安速现金牛和潜力产品覆盖了二级市场，跳蚤产品支付热度明显

def Wordcloud(x):res=xfrom wordcloud import WordCloudimport matplotlib.pyplot as pltimport jiebastopwords = set()content = [line.strip() for line in open('stopwords.txt','r').readlines()]stopwords.update(content)text=""for i in res:text=text+" ".join(jieba.lcut(i))#配置词云的基本参数my_cloud=WordCloud(background_color='white',stopwords=stopwords,#也可用自带的停留词font_path='/System/Library/Fonts/STHeiti Medium.ttc',width=1000,height=500)#用分好的词进行词云图生成my_cloud.generate(text)#显示词云plt.rcParams['figure.figsize']=(14,8)plt.imshow(my_cloud)plt.axis('off')plt.show()Wordcloud(baier_03）

主题特征提取

本案例的主题特征提取其实就是提取用户评论中关键字。

关键字提取是从文本中提取跟内容最相关的词语，关键字抽取的结果常用于文档检索、文章标签编辑等，也经常用在文本聚类、文本分类、关键字摘要等方面。

关键字模型能生成简短的关于文档内容的指示性信息，将文档的主要内容或核心关键字呈现给用户，以决定是否要阅读文档的原文，这样能够节省大量的浏览时间并提高信息关键信息的展示能力。

文章关键字模型抽取应用场景:帖子、新闻、资讯、评论、问答的标签、内容和meta信息的产生。

文章关键字模型抽取常用方法:通过词频统计、TF-IDF模型获得文本的主要关键字。

这里我们使用的是jieba分词中的主题特征提取函数jieba.analyse.extract_tags。具体代码如下。

import jieba.analyse
with open('./baier/文本/stopwords.txt') as f:stopwords = f.read()
c=''for i in baier_03:text_01=jieba.lcut(i)for word in text_01:if word in stopwords:continueelif word=='hellip':continueelse:c+=' '+wordtop15 = jieba.analyse.extract_tags(c,topK=15,withWeight=True)
top15

我们取主题评分最高的前15个作为本次分析的对象。

('蟑螂', 0.53339416054279),
('效果', 0.32093429997410744),
('好评', 0.18237001476358497),
('双十', 0.13505752082213712),
('不错', 0.1224331453720733),
('小强', 0.11686764891551786),
('满意', 0.08728920885818746),
('湿巾', 0.0839275253212345),
('追评', 0.0675780074015135),
('收到', 0.0657725962627024),
('没用', 0.06424569614348834),
('划算', 0.05729263019878829),
('好用', 0.057249479004923415),
('尸体', 0.05667847597855945),
('湿纸巾', 0.05449755096973013)]

为了更加方便分析结果。我们将上面15个主题进行可视化分析。简单地绘制了如下横向柱状图。

plt.figure(figsize=(8,6))
top15 = pd.DataFrame(top15)
plt.barh(top15.iloc[:,0],top15.iloc[:,1])

科凌舆情分析

keling_03 = pd.read_excel('./baier/电商案例数据/竞争数据/评论舆情数据/科林虫控.xlsx')
keling_03.head()

from text_analy import clean
text_02=clean(keling_03)
text_02

词频分析

Wordcloud(text_02)

主题特征提取

stopwords = pd.read_table('./baier/文本/stopwords.txt'
,quoting=3,names=['stopword'])
from theam_extract_02 import extract
extract(text_02,stopwords)

科凌灭蟑产品好评居多，但是差评比拜耳稍微多点。

安速舆情分析

ansu_03 = pd.read_excel('./baier/电商案例数据/竞争数据/评论舆情数据/安速.xlsx')
from text_analy import clean
text_03=clean(ansu_03)
Wordcloud(text_03)

stopwords = pd.read_table('./baier/文本/stopwords.txt'
,quoting=3,names=['stopword'])
from theam_extract_02 import extract
extract(text_03,stopwords)

安速灭蟑产品负面评论极少，灭蟑产品优化方面可以考察安速。

产品流量分析

流量（Traffic）是企业获得用户的第一步，对于大多数需要“自力更生”企业而言，流量几乎是企业运营的命脉之一，没有流量就没有一切。流量数据化运营要解决的本质问题是如何通过数据获得更多流量以及有效流量，然后完成最大化的营销转化目标。

这里列举八大流量分析工具：

这里介绍一些市场上主流的流量分析工具，它们可以提供流量数据的跟踪、采集、配置、处理、分析和整合功能，其中有免费也有付费的。

Adobe Analytics
Webtrekk Suite
Webtrends
Google Analytics
IBM Coremetrics
百度统计
Flurry
友盟

无流量不电商，没有流量大电商就犹如线下在荒郊野外开了一个购物中心，虽然硬件都不错，但是没人光顾。流量大来源需要细分，细分包括多地理属性的细分、渠道来源的细分、时间属性的细分、推广内容的细分等，其中流量来源渠道是其中的重点，也算最复杂的一部分。

细分完后的流量可以通过数据对比找到流量的主要来源，接下来要做的就是实时监控主要渠道流量的对比和趋势变化。对比可以和竞争对手对比，和类目流量对比等。

本案例流量分析，主要细分各个品牌官方旗舰店流量来源渠道及交易指数，通过横向比较各个流量来源的交易指数大小，及纵向比较不同品牌商各流量渠道交易指数，从而完成竞品分析的一部分。

拜耳流量分析

baier_04 = pd.read_excel('./baier/电商案例数据/拜耳店铺数据/拜耳官方旗舰店流量渠道.xlsx')
del baier_04['交易指数.1']
baier_04.set_index('流量来源',inplace=True)
baier_04.head()

top10 = baier_04.sort_values('交易指数',ascending=False)[:10]
top10.plot(kind='barh',figsize=(10,6))

科凌流量分析

kelin=pd.read_excel('./baier/电商案例数据/竞争数据/流量渠道数据/科凌虫控旗舰店流量渠道.xlsx')
kelin['交易占比']=kelin.交易指数/kelin.交易指数.sum()*100
top10=kelin.sort_values('交易指数',ascending=False).reset_index(drop=True).iloc[0:10,:]
top10.index=top10['流量来源']
top10.drop(['流量来源','交易占比'],axis=1,inplace=True)
top10.plot(kind='barh');

安速流量分析

ansu=pd.read_excel('./baier/电商案例数据/竞争数据/流量渠道数据/安速家居旗舰店流量渠道.xlsx')

ansu['交易占比']=ansu.交易指数/ansu.交易指数.sum()*100
top10=ansu.sort_values('交易指数',ascending=False).reset_index(drop=True).iloc[0:10,:]
top10.index=top10['流量来源']
top10.drop(['流量来源','交易占比'],axis=1,inplace=True)
top10.plot(kind='barh');

主要的竞争对手都不太注重淘内流量服务购买，拜耳可以通过直通车等付费流量渠道来增加产品曝光。

产品舆情分析

舆情分析就是根据特定问题的需要，对针对这个问题的舆情进行深层次的思维加工和分析研究，得到相关结论的过程。而本次案例舆情分析是透过用户对某商品的评论信息进行舆情分析。

评论是对内容互动的基本形式，参与评论的用户越多证明该内容能吸引用户互动的价值越大。当然，评论多并不一定意味着内容本身的质量或价值度高，很多内容可能通过打擦边球甚至做有争议内容来增加用户的评论。

本次舆情分析，是对各个产品对评论内容通过一系列方法，包括通过语句分词，词频统计及绘制词云图等进行分析。

拜耳舆情分析

首先读取产品评论数据表，获取其评论字段数据。

baier_03 = pd.read_excel('./baier/电商案例数据/拜耳店铺数据/德国拜耳产品评论数据.xlsx')
baier_03.head()

baier_03 = baier_03.评论
baier_03

0 刚收到，家里厨房突然出现小强了，看了这个评价挺多挺好，销量也大，赶紧定了三盒，一定要管用啊一...
1 朋友推荐的说之前用的挺管用的。在放药的前几天就没怎么见蟑螂了，然后出去玩之前把家里角角落落全...
2 真心坑人啊！😂还没到24小时就凝固了！小强依然活跃🤑🤑🤑🤑
3 盆友推荐的，说特别好用，效果杠杠的，看双十一做活动，就买啦，效果应该不错吧，不过尸体都是家里...
4 我是买到假货吗？那么贵的蟑螂药居然还有，还是蟑螂已经百毒不侵了？
...
1395 此用户没有填写评论!
1396 有点贵，已经用了，期待效果
1397 物流挺快的客服也很贴心好评
1398 看起来不错，暂时没发现蟑螂
1399 买二送一，期待效果呀，这个是同事推荐并且指定的产品，希望好用以后就再来吧…&h...
Name: 评论, Length: 1400, dtype: object

删除没有价值的信息

很多时候，我们购买某些产品，但懒得去评论，此时系统到了一定的时间，会给你自动打上标签：'此用户没有填写评论!'，这部分信息对于我们分析是没有用的，因此需要将其删除。

此用户没有填写评论!

baier_03 = baier_03[baier_03 != '此用户没有填写评论!']
baier_03

0 刚收到，家里厨房突然出现小强了，看了这个评价挺多挺好，销量也大，赶紧定了三盒，一定要管用啊一...
1 朋友推荐的说之前用的挺管用的。在放药的前几天就没怎么见蟑螂了，然后出去玩之前把家里角角落落全...
2 真心坑人啊！😂还没到24小时就凝固了！小强依然活跃🤑🤑🤑🤑
3 盆友推荐的，说特别好用，效果杠杠的，看双十一做活动，就买啦，效果应该不错吧，不过尸体都是家里...
4 我是买到假货吗？那么贵的蟑螂药居然还有，还是蟑螂已经百毒不侵了？
...
1394 试用一个星期，德国小蠊的数量有明显减少。按照了说明去点药，用药一个星期之后零星能找到蟑螂尸体...
1396 有点贵，已经用了，期待效果
1397 物流挺快的客服也很贴心好评
1398 看起来不错，暂时没发现蟑螂
1399 买二送一，期待效果呀，这个是同事推荐并且指定的产品，希望好用以后就再来吧…&h...
Name: 评论, Length: 1300, dtype: object

同样也会出现这样的情况，商家为鼓励消费者评价，会给个评价小红包，买家又懒得评价，就会复制别人的评论。因此难免会出现重复值，这里我们也需要添加去除重复评论的操作。

删除重复评论

baier_03.drop_duplicates(inplace=True)
baier_03.reset_index(drop=True,inplace=True)