应该是不能用数据或统计分析方法解决的问题

日期:2019-09-24编辑作者:新闻中心

原标题:产品经理AI指北(一):企业AI产品经理采购指南

文章通过教学爬取招聘数据的方式,详细剖析了当今AI产品经理的岗位需求和企业招聘情况。

图片 1

商业情报领域,有一个被称为奥地利学派的理论,他们主要关注不能量化的信息,而非公式化的信息,认为这类信息才是高利润的来源,并且指出商业情报工作的重点,应该是不能用数据或统计分析方法解决的问题。

我个人其实很欣赏这个理论,如果能够通过数据的统计分析能够发现需求的话,那么产品经理的价值和意义怎么去体现,产品经理真正的价值应该是体现在:用数据和统计分析方法无法直观体现和挖掘需求的数据上。

John:

好久不见,我是Kevin。近期也想从产品经理转行成为一名AI产品经理,我需要做什么样的准备呢?

Kevin

2018年9月8日

Kevin:

已经收到你的来信,的确好久不见!既然你想成为一名AI产品经理,那我今天先给你说一下企业对于AI产品经理有怎样的要求吧?

一、爬取招聘数据

我们从拉勾上爬取有关AI产品经理的招聘数据:

图片 2

完整的代码下载地址:

链接: 密码:b5dz

在范冰的《增长黑客》一书中,提到增长黑客使用的各种方法,包括:A/B 测试、数据抓取、排队机制、提供有损服务等。由于今天我们的任务主要是基于数据分析的,我们就来简单的了解一下数据抓取。

作为产品经理、增长黑客、亦或AI产品经理,难免会在日常工作中需要使用和分析第三方的数据,比如百度API Store,聚合数据等公开的第三方数据服务提供商,从事淘宝客产品的伙伴,可能需要分析淘宝的商品数据。

不管是哪一种类型的产品经理,遇到问题的第一时间,想到的并不是需要用写代码去解决问题(请记住我们是产品经理,我们不是负责开发的伙伴),而是利用现有的工具,数据的抓取工作也是同样的道理。现有的第三方工具,比如八爪鱼(

如果现有第三方工具不能满足需要的情况,例如John的尴尬情况,因为八爪鱼只提供Windows的版本,我的Mac无法运行,所以我选了用Python编写爬虫。而产品经理涉及相关的爬虫工作,我们只需要了解基础的爬虫程序就可以了,如果要从事比较深入的工作,好吧你可以转行从事开发的工作了,少年!

我们先写一个最基本的爬虫小程序。

工作:Python2.7

目的:第一个爬虫程序

图片 3

第一行代码是:

# -*- coding:UTF-8 -*-

如果我们是使用的Python工具,第一行代码一定先写下这句,这是为了使我们在编写代码时,能够使用中文的注释或者一些中文字符。

OK我们导入requests库,requests库的开发者为我们提供了详细的中文教程,查询起来很方便,万事请问度娘。如果我们需要使用Python进行网络请求,requests将是我们十分常用的库。

import requests

让我们看下requests.get()方法,它用于向服务器发起GET请求,不了解GET请求没有关系。我们可以这样理解:get的中文意思是得到、抓住,那这个requests.get()方法就是从服务器得到、抓住数据,也就是获取数据。我们就以百度为例:

if __name__ == ‘__main__’:

target = ‘

req = requests.get(url=target)

print(req.text)

运行程序,我们看到以下结果:

图片 4

我们已经完成了我们的第一个小程序。大家可以把链接换成其他的链接,尝试一下爬取我们感兴趣的内容。

再者,我们来说一下比较深入一点的爬虫抓取工程,通常思路:

  1. 找到我们目标数据的API;
  2. Python模拟GET请求获取数据;
  3. 保存数据,等待我们去揭开他的神秘面纱。

我们以本次爬取拉勾的招聘数据为例,笔者首先找到招聘数据的API:

图片 5

具体的实现过程,可以从百度网盘中下载源码。

程序运行完之后,数据如下图所示:

二、数据分析及理解

我们开始对获取到的数据进行分析和理解:

链接: 密码:b5dz

给大家分享一个模板,我们基础的数据分析和理解工作,也可以参考该模板:

# 1. 准备

  1. # a) 导入类库
  2. # b) 导入数据集
  3. # c) 初步描述性统计

# 2. 预处理数据

  1. # a) 数据清洗
  2. # b) 特征选择
  3. # c) 数据转换

# 3. 概述数据

  1. # a) 描述性统计
  2. # b) 数据可视化

2.1 导入数据

通过Pandas导入CSV文件,CSV 文件是用逗号(,)分隔的文本文件。

图片 6

我们导入数据后,可以通过head方法查看一下我们的数据是否正常导入。

Data.head()

我们数据已经正常导入。

2.2 初步描述性统计数据

图片 7

我们的数据维度:共有450行,11列数据。这说明我们总共抓取到450条招聘信息,而11列说明我们设定爬取的参数时,设定了11个参数或指标。

我们查看数据概述数据,如果数据大部分为数字或者全是数值型数据的话,通过data.describe()方法查看数据,能够帮我们直观的看到数据的整体情况,比如最大值、最小值、中位数等数据。

图片 8

由于我们此次抓取的数据都是对象,所以呈现了上述的情况,不过我们依然可以看到数据共有450条,招聘的公司总数有308条,开出的工资条件总共有71种薪水范围。

数据类型:

图片 9

查看数据类型的重要一点,就是我们需不需要对数据类型进行转换。

2.3 数据清洗

我们进行数据清洗,通常采用的方式:

  1. 删除空值数据;
  2. 去除重复值数据;
  3. 删除异常值数据;
  4. 删除包含某个关键词的数据或者不包含某个关键词的数据。

我们此次采取的是删除包含某个关键词的数据:

图片 10

2.4 对数据进行可视化理解

通常我们的数据可视化包含:

  1. 分布直方图
  2. 箱线图
  3. 线性图
  4. 饼图
  5. 词云

matplotlib包含了丰富的图表,大家可以到官网上去选择自己需要用到的图表。(matplotlib:

我们此次用到的首先是饼图,查看全国主要城市,对于AI产品经理的招聘情况:

图片 11

① 全国主要城市AI产品经理的招聘情况:

图片 12

城市:

  • 上海 82
  • 东莞 1
  • 佛山 1
  • 北京 153
  • 南京 12
  • 南宁 1
  • 厦门 11
  • 合肥 5
  • 天津 3
  • 宁波 2
  • 常州 1
  • 广州 51
  • 成都 3
  • 杭州 64
  • 武汉 12
  • 济南 2
  • 深圳 14
  • 珠海 2
  • 石家庄 1
  • 苏州 11
  • 西安 4
  • 贵阳 1
  • 郑州 4
  • 重庆 3
  • 长沙 5

从数据来看:北京AI产品经理招聘岗位153个,上海82个,杭州64个,广州51个。通过地理分布来看,AI产品经理作为一个新的产品经理品种,仍是集中在北上杭广三大地区。

② AI产品产品经理工资情况:

图片 13

图片 14

AI产品经理工资平均数为16K,25%的伙伴能拿到19K,最高是55K,而最低仅有3K,平均工资在16K左右。由此来看,AI产品经理是产品经理这个种群中高收入的人群,产品经理虽然散步在互联网行业的各个角落,但是AI产品经理目前主要分布在并且集中在使用大数据、机器学习、深度学习、智能家居、车联网等与前沿技术相关联的公司。虽然技术的发展,AI产品将是一个新的增长极。

图片 15

图片 16

从工资的分布直方图来看,主要工资集中在15-20K左右居多,其次为10K-15K左右。从抓取的数据来看,多数工资的构成仍然是普通产品经理岗位的工资,10K-15K左右为数据产品经理的薪资范围,15-20K是真正属于AI产品经理的岗位薪资。

③ 职位福利:

图片 17

图片 18

我们将职位福利这一列的数据汇总,按照词频生成词云。可见五险一金在职位福利里出现的频率最高,其次是平台,工作氛围、年终奖、期权等。

④ 学历要求:

图片 19

从数据来看,R-squared的值为0.185,说明工作经验和学历仅仅解释了工资变异性的18.5%。

这一点其实比较好理解,因为我们抓取的数据中,title其实主要仍然是普通产品经理的岗位工作,普通产品经理的岗位工作、数据产品经理,AI产品经理的实际工作内容差异还是比较大的。

普通产品经理主要仍然是进行产品原型设计和完成三大文档的工作;数据行产品经理可能会经常使用Python、R等工具进行工作;AI产品经理将设计NLP、MPL等方面的工作。另外,各个公司的规模和它愿意开出的工资也不尽相同。

图片 20

从这次数据分析来看,Kevin是不是对去从事AI产品经理充满了信心呢?

Kevin,我们今天看了AI产品经理的岗位需求和企业招聘情况,我们下次聊聊关于AI产品经理在思维上和普通产品经理岗位有着怎样的不同。请关注《产品经理AI指北(二):AI产品经理思维6顶思考帽》

作者:John_Ren,微信公众号:产品经理与增长黑客,id: pmgrowth

本文由 @John_Ren 原创发布于人人都是产品经理。未经许可,禁止转载

题图来自 Unsplash,基于 CC0 协议返回搜狐,查看更多

责任编辑:

本文由云顶娱乐发布于新闻中心,转载请注明出处:应该是不能用数据或统计分析方法解决的问题

关键词:

百度竞价排名的商业模式虽然引起了广泛议

原标题:百度竞价排名的重要几点? 百度竞价排名的商业模式虽然引起了广泛议,甚至被央视曝光数次,但是不得不...

详细>>

就把融资搞定了

原标题:为什么VC们“几乎盲目地”投资于有过创业成功的创业者 导读 作者发现投资者对连续成功创业者的青睐,并...

详细>>

这一年看似火爆的知识付费浪潮

原标题:得到APP:知识服务商养成记背后的运营策略分析 本文从产品现状、用户增长和用户留存为切入点,结合PMF、...

详细>>

很多人问我数据科学和数据分析的最大区别是什

原标题:数据科学入门的5个技巧 很多人问我数据科学和数据分析的最大区别是什么。有的人认为两者没有区别,有的...

详细>>