golang中发现的一个教训:如果是读算法,就不要做成写算法

作者:张富春(ahfuzhang),转载时请注明作者和引用链接,谢谢!


我仍然在尝试优化 VictoriaLogs 的性能,手贱开始改以下这个函数:

// lib/logstorage/bloomfilter.go
func initBloomFilter(bits, hashes []uint64) {
	maxBits := uint64(len(bits)) * 64 // bitmap 的总 bit 数
	for _, h := range hashes {
	idx := h % maxBits // hash 值落到哪一位 . //??? 有没有更快的计算方法
	i := idx / 64 // 落到哪一个数组下标
	j := idx % 64 // 落到一个 uint64 中的哪个 bit
	mask := uint64(1) << j
	w := bits[i] // 取出对应位置的 uint64
	if (w & mask) == 0 { // 如果这一位没有 set
	bits[i] = w | mask // 把这一位 set 进去
	}
	}
}

看到上面的代码,我第一想法是:那个条件判断明显可以去掉啊,反正重复对某个 bit 位 set 1 也没错。

于是:

func initBloomFilter(bits, hashes []uint64) {
	maxBits := uint64(len(bits)) * 64 // bitmap 的总 bit 数
	for _, h := range hashes {
	idx := h % maxBits // hash 值落到哪一位 . //??? 有没有更快的计算方法
	i := idx / 64 // 落到哪一个数组下标
	j := idx % 64 // 落到一个 uint64 中的哪个 bit
	mask := uint64(1) << j
	w := bits[i] // 取出对应位置的 uint64
	// if (w & mask) == 0 { // 如果这一位没有 set
	// 	bits[i] = w | mask // 把这一位 set 进去
	// }
	bits[i] = w | mask
	}
}

去掉了 if 判断,性能下降了 21.2%.
Why ?
解释就在我的标题上:如果是读的算法,就不要做成写的算法。
不要低估“内存墙”有多慢。
bits[i] 是随机访问的,if 语句能够减少数据随机写回内存。
去掉 if 后,写变多了,自然就慢了。

作者:ahfuzhang原文地址:https://www.cnblogs.com/ahfuzhang/p/18926565

%s 个评论

要回复文章请先登录注册