当前位置: 首页> 娱乐> 影视 > 龙岩天宫山海拔_威海网络科技有限公司_深圳网络推广培训机构_网站建设优化公司

龙岩天宫山海拔_威海网络科技有限公司_深圳网络推广培训机构_网站建设优化公司

时间:2025/7/9 20:14:31来源:https://blog.csdn.net/m0_50973548/article/details/142415083 浏览次数:0次
龙岩天宫山海拔_威海网络科技有限公司_深圳网络推广培训机构_网站建设优化公司

1.topK,高频元素,大文件小内存

如何从海量数据中找出高频词? | Vingkin的学习博客

问题:有一个 1G 大小的文件,里面每一行是一个词,每个词的大小不超过 16 字节,内存限制大小是 1M。返回出现频率最高的 100 个单词

2g文件搜索topK个元素

先分割,比如2g = 512k * 2048个小文件

你要对每个小文件做单词统计,那一共需要2048个hash表,也就是hash数组

对每个小文件遍历建立小hash?

然后对统计的hash对加入k大小的小根堆,这样能找到top k个最大的

关键字:龙岩天宫山海拔_威海网络科技有限公司_深圳网络推广培训机构_网站建设优化公司

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: