tkn牛人大佬:

重要

请使用 MySQL8.0 以下,否则 MyISAM 引擎不支持分区,如果用 Innodb 引擎,导入速度和建索引速度将大打折扣,我使用的是 MySQL5.7。

下载 mysql shell 工具
mysql shell 下载地址: https://downloads.mysql.com/archives/shell/

修改配置文件

my.ini 配置文件添加以下两行

  1. secure_file_priv=”
  2. local_infile=on

同时如果原先已有以下两行,请先注释掉(关闭二进制日志,加快导入速度)

  1. #binlog_format=mixed
  2. #log-bin=binlog

建立数据库和表

  1. #建立数据库
  2. CREATE DATABASE kuzi;
  3. use kuzi;
  4. #建 weibos 表,分 16 个区
  5. CREATE TABLE `weibos`  (
  6. `phone` BIGINT(20) DEFAULT NULL,`uid` BIGINT(20) DEFAULT NULL
  7. ) ENGINE=MyISAM DEFAULT CHARSET=ASCII PARTITION BY HASH(uid) PARTITIONS 16;
  8. #建 qq 表,分 26 个区
  9. CREATE TABLE `qqs`  (
  10. `qq` BIGINT(20) DEFAULT NULL,`phone` BIGINT(20) DEFAULT NULL
  11. ) ENGINE=MyISAM DEFAULT CHARSET=ASCII PARTITION BY HASH(qq) PARTITIONS 26;

运行 mysqlsh 导入数据

cmd 命令行进入 mysql shell 的 bin 目录运行  mysqlsh.exe,接着输入如下命令

  1. #连接数据库,会提示输入密码
  2. \c root@127.0.0.1:3306
  3. #选择刚刚建的库
  4. \use kuzi
  5. #导入WB数据,把 D:/0/weibo_2019_5e.txt 修改成你的文件路径
  6. util.importTable("D:/0/weibo_2019_5e.txt",{"schema":"kuzi","table":"weibos","fieldsTerminatedBy":"\t","showProgress":true,"threads":8,bytesPerChunk: "1G",maxRate: "2G"});
  7. #上面执行完后,再导入 QQ 数据
  8. util.importTable("D:/0/qq_6.9_8e_update.txt",{"schema":"kuzi","table":"qqs","fieldsTerminatedBy":"—-","showProgress":true,"threads":8,bytesPerChunk: "1G",maxRate: "2G"});

该方法导入应该是最快的了,我笔记本机械硬盘导入两个数据,WB用了 5 分钟,QQ 用了 7 分钟

建立索引

  1. use kuzi;
  2. #WB的索引
  3. ALTER TABLE `kuzi`.`weibos`  ADD INDEX uid_phone (uid,phone);
  4. QQ 的索引
  5. ALTER TABLE `kuzi`.`qqs`  ADD INDEX qq_phone (qq,phone);

这一步就比较久了,WB耗时 45 分钟,QQ 耗时 90 分钟

查询

用 go 写了个简单的程序,源码已经放 https://github.com/JuchiaLu/kuzi,懒得编译的可以直接下载编译好的运行,修改程序配置文件后,cmd 下直接执行即可

  1. #数据库类型
  2. db_type=mysql
  3. #数据库连接地址和账户密码
  4. db_url=root:root@tcp(127.0.0.1:3306)/kuzi?charset=utf8mb4&parseTime=True&loc=Local
  5. #http监听端口
  6. listen_port=8080

执行程序后浏览器打开,也可以不用界面直接访问接口,返回 Json

QQ:http://127.0.0.1:8080/v1/qq?qq=10001

WB:http://127.0.0.1:8080/v1/weibo?uid=10001

feiyu牛人大佬:
学习了

ccj330牛人大佬:
给牛人大佬端茶

KACA7牛人大佬:
佩服了。不过花费时间太久了。

wushen168牛人大佬:
啊这,太快了

qingwei牛人大佬:
牛人大佬优秀,学习了

qinghe187100牛人大佬:
学不会怎么办

单阔牛人大佬:
牛人大佬 不来个win版本的吗?

qqlikeho牛人大佬:
这就很牛逼了

tkn牛人大佬:


牛人大佬 不来个win版本的吗?

这就是 win 版本的啊