数据分析师面试|新公布的大数据分析师入门面试题，这个细节值得被注意

更新时间：2020-03-18 10:20:10 来源：环球网校

浏览

摘要在茫茫的数据发展长河中，人们慢慢掌握了数据处理的方法，其中重要的处理方法之一就是对数据的分析，所以出现了数据分析师这一处理数据的职业，有很多刚入职成为数据分析师的新人都会有数据分析的问题，今天就来讲讲开源数据库的现状的问题。

大数据分析师入门面试题题目：

有10个文件，每个文件1G，每个文件的每一行存放的都是用户的query，每个文件的query都可能重复。要求你按照query的频度排序。

方案1：

s 顺序读取10个文件，按照hash(query)%10的结果将query写入到另外10个文件(记为 )中。这样新生成的文件每个的大小大约也1G(假设hash函数是随机的)。

s 找一台内在2G左右的机器，依次对用hash_map(query, query_count)来统计每个query出现的次数。利用快速/堆/归并排序按照出现次数进行排序。将排序好的query和对应的query_cout输出到文件中。这样得到了10个排好序的文件(记为 )。

s 对这10个文件进行归并排序(内排序与外排序相结合)。

方案2：

一般query的总量是有限的，只是重复的次数比较多而已，可能对于所有的query，一次性就可以加入到内存了。这样，我们就可以采用trie树/hash_map等直接来统计每个query出现的次数，然后按出现次数做快速/堆/归并排序就可以了。

方案3：

与方案1类似，但在做完hash，分成多个文件后，可以交给多个文件来处理，采用分布式的架构来处理(比如MapReduce)，最后再进行合并。

//一般在大文件中找出出现频率高的，先把大文件映射成小文件，模1000，在小文件中找到高频的。

这是一道常见的大数据分析师入门面试题!

以上就是有关于大数据分析师面试题的相关内容，以及相应的解析，不论你是已经入职数据分析师岗位的新人，还是打算进入数据分析岗位的小白，以上的内容都或多或少会对大家有所帮助，环球网校的小编在这里祝大家的数据分析师职业道路顺利。

编辑推荐

分享到：编辑：环球网校

资料下载精选课程老师直播真题练习

更多资料

更多课程

更多直播

更多真题