golang测试hashof 的重复性

最新推荐文章于 2025-12-12 11:56:26 发布
原创 最新推荐文章于 2025-12-12 11:56:26 发布 · 577 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#hashof
本文通过测试不同哈希算法（CRC32、Adler32及CRC64）在整数序列上的表现，探讨了这些算法产生哈希冲突的可能性。测试结果显示，在大量数据输入的情况下，CRC32与Adler32算法均未出现明显的哈希碰撞现象。
func crc32_test() { 
    mp := make(map[uint32]byte)
    crc32tab := crc32.MakeTable(crc32.IEEE)
    for i := 1; i <= 99999999; i++ {
        mp[crc32.Checksum([]byte(strconv.Itoa(i)), crc32tab)] = 1
        //mp[crc32.ChecksumIEEE([]byte(strconv.Itoa(i)))] = 1
    }
    fmt.Println(len(mp))
}


func adler32_test() {


    mp := make(map[uint32]byte)


    for i := 1; i <= 99999999; i++ {


        mp[adler32.Checksum([]byte(strconv.Itoa(i)))] = 1


    }


    fmt.Println(len(mp))


}




func crc64_test() {


    mp := make(map[uint64]byte)


    //算到199999999依然没有重复，已经5G内存


    crc64_tab := crc64.MakeTable(crc64.ISO)


    for i := 1; i <= 99999999; i++ {


        mp[crc64.Checksum([]byte(strconv.Itoa(i)), crc64_tab)] = 1


    }


    fmt.Println(len(mp))


}







                

        

    





  



    

      

        

            

              
                
                  vbz001
                
              
            

            

                关注
              
            

        

        

          
      

      










              

                

              

            
              



	

		

			

				
					
VHDL实现IEEE802.3中的CRC32算法

				
			

			

				

					weixin_41719055的博客
				

				

					08-30
					
					1891
					
				

			

		

		

			
				
按上面逻辑使用VHDL计算CRC32，步骤1结果只要16个，直接case语句分别计数，每种结果各个bit值固定，那么除了CRC值不确定，其他计数参数都固定，可以按步骤2-3把其余参数都计算出来，直接写入，VHDL不用完全把上面逻辑写入代码中。上面是生成CRC-8的计数代码，CRC32计算需要32位，代码太多了！2、将亦或后的CRC右移1位，再判断4bit异或操作后bit0状态，为1把CRC与多项式进行亦或计算。MII接口4数据线，一个时钟周期发送4个比特，计数CRC32直接按4bit计算。

			
		

	



              


  
              

                


	

		

			

				
					
CRC32算法理论和分库分表业务实现

				
			

			

				

					
				

				

					05-13
					
					855
					
				

			

		

		

			
				
算法原理

CRC检验原理实际上就是在一个p位二进制数据序列之后附加一个r位二进制检验码(序列)，从而构成一个总长为n＝p＋r位的二进制序列；附加在数据序列之后的这个检验码与数据序列的内容之间存在着某种特定的关系。如果因干扰等原因使数据序列中的某一位或某些位发生错误，这种特定关系就会被破坏。因此，通过检查这一关系，就可以实现对数据正确性的检验
注：仅用循环冗余检验 CRC 差错检测技术只能做到无差错接受（只是非常近似的认为是无差错的），并不能保证可靠传输

Java实现
  import java.util

			
		

	





	

		

			

				
					
CRC32校验算法C语言版(查表法)

				
			

			

				

					weixin_30840253的博客
				

				

					05-16
					
					4263
					
				

			

		

		

			
				
最近用到CRC校验算法，就找了些资料，学习了一下，网上关于CRC32的资料也多，但感觉不是很完整，或者太高深。
CRC算法查表法很常见，但表是怎么来的，有些资料说得不很清楚。
我来说一下我的看法：
1.CRC校验变化太多，有CRC4/5/6/7/8/16/32，每一种的多项式也有很多种变化，并不是一成不变的；
2.输入输出方式也有区别，有一些初始值是0，有一些初始值是0xFFFFF...

			
		

	



		

			
		



	

		

			

				
					
golang标准库-crc32的使用

				
			

			

				

					u_say2what的博客
				

				

					11-17
					
					2191
					
				

			

		

		

			
				
crc32实现了32位循环冗余检测算法的实现。目前crc32内部提供 了三种常用的多项式,采用查表法来提高计算checksum的效率。

			
		

	





	

		

			

				
					
Go语言 序列化反序列化二进制包

				
			

			

				

					咖啡's blog
				

				

					10-22
					
					6580
					
				

			

		

		

			
				
包的定义格式是长度，校验码和json内容
package main

import (
	"bytes"
	"encoding/binary"
	"encoding/json"
	"fmt"
	"hash/crc32"
	"io"
	"net"
	"os"
)

type Register struct {
	ACTION int32
	SID    int32
}

type Packet s

			
		

	





	

		

			

				
					
小心陷入MySQL索引的坑

				
			

			

				

					被基金支配的打工人
				

				

					10-20
					
					545
					
				

			

		

		

			
				
索引可以说是数据库中的一个大心脏了，如果说一个数据库少了索引，那么数据库本身存在的意义就不大了，和普通的文件没什么两样。所以说一个好的索引对数据库系统尤其重要，今天来说说MySQL索引，从细节和实际业务的角度看看在MySQL中B+树索引好处，以及我们在使用索引时需要注意的知识点。

合理利用索引

在工作中，我们可能判断数据表中的一个字段是不是需要加索引的最直接办法就是：这个字段会不会经常出现在我们的where条件中。从宏观的角度来说，这样思考没有问题，但是从长远的角度来看，有时可能需要更细致的思考，比如我

			
		

	





	

		

			

				
					
hash crc32_负载均衡--一致性hash算法

				
			

			

				

					weixin_39897749的博客
				

				

					11-18
					
					418
					
				

			

		

		

			
				
有没有好奇过redis(用的是hash slot而不是一致性hash，感谢评论区兄弟指正)、memcache等是怎么实现集群负载均衡的呢？其实他们都是通过一致性hash算法实现节点调度的。讲一致性hash算法前，先简述一下求余hash算法：hash(object)%N一个缓存服务器宕机了，这样所有映射到这台服务器的对象都会失效，我们需要把属于该服务器中的缓存移除，这时候缓存服务器是 N-1 台，映...

			
		

	





	

		

			

				
					
学习负载均衡的算法

				
			

			

				

					wujiesunlirong的博客
				

				

					02-23
					
					1776
					
				

			

		

		

			
				
一致性哈希（Consistent Hashing）是一种特殊的哈希技术，广泛应用于分布式系统中，用于解决数据的分布式存储问题。在传统的哈希表中，如果哈希空间的大小发生变化（例如，增加或减少服务器），几乎所有的键值对都需要重新映射，这会导致大量的数据迁移，对系统的性能和稳定性产生影响。一致性哈希通过引入虚拟节点和环形哈希空间的概念，使得哈希空间的大小变化时，只有一小部分的键值对需要重新映射。这大大减少了数据迁移的数量，提高了系统的稳定性。

			
		

	





	

		

			

				
					
go两种获取hash值函数md5与crc32性能对比

				
			

			

				

					Aiky哇
				

				

					05-24
					
					1443
					
				

			

		

		

			
				
感觉MD5算法复杂度比crc32高很多，具体高多少呢？
测试一下


// main.go
package main

import (
    "crypto/md5"
    "fmt"
    "hash/crc32"
)

func main() {

    data := []byte("test")
    fmt.Printf("%x", md5.Sum(data))

}

func Crc32IEEE(data []byte) uint32 {
    return crc32.Chec

			
		

	





	

		

			

				
					
一致性哈希算法

				
			

			

				

					写写代码
				

				

					12-04
					
					1058
					
				

			

		

		

			
				
普通哈希

在分布式场景下，往往涉及到负载均衡，比如分布式缓存这种应用，我们希望如果获取相同的key，尽量映射到同一台机器上，这样可以在内存中最快速的获取，如果相同的key总是打到不同的机器上，可能由于缓存淘汰导致该缓存值被替换掉，进而需要读取磁盘，这样性能就会大打折扣。

基于此，我们可以获取key值的哈希值，该哈希值对应的就是机器节点，比如key和节点个数做取余运算（key%n），这样每次相同的key必然会打到同一台机器上。

但是问题又出现了，分布式环境中最常见的问题就是节点宕机，如果一台节点下线了，

			
		

	





	

		

			

				
					
Golang hash/crc32 库实战指南：从基础到优化

				
			

			

				

					walkskyer的博客
				

				

					03-27
					
					2130
					
				

			

		

		

			
				
在本文中，我们深入探讨了Golang的hash/crc32标准库，从基础概念到实战技巧，再到错误处理与实际案例分析，全面覆盖了使用hash/crc32进行数据校验和优化的各个方面。通过本文，开发者应能够理解CRC32算法的重要性，掌握如何在Golang项目中有效利用hash/crc32库来提升数据的完整性和应用的性能。

			
		

	





	

		

			

				
					
【算法系列】一致性hash算法原理及实践

				
			

			

				

					我活在当下，我巨他妈勇敢。
				

				

					06-21
					
					327
					
				

			

		

		

			
				
首先我们来看看一致性hash的定义和算法思想，一致性hash算法有别于传统hash算法，例如我们有3个节点，现在要考虑某个key值落到哪个节点上，传统hash算法是将key通过hash函数后通过节点数量进行取模运算得到需要落到的节点序号。传统hash算法在节点数量变化时基本上会导致大量旧数据经过hash得到的节点序号失效， 而一致性hash算法则能够保证只有少部分旧数据需要重新改变需要落到的节点，其余数据依然能够保证节点扩容后，hash计算得到的节点序号和之前一致。

			
		

	





	

		

			

				
					
crc32算法_每天进步一点的一致Hash算法

				
			

			

				

					weixin_39585761的博客
				

				

					11-18
					
					1296
					
				

			

		

		

			
				
概述一致Hash在分布式应用中,是常见的负载均衡方式,多用于资源请求映射分散到具体某一台节点服务器,使得每一台服务器能固定处理部分请求,同时,能较小的减少由于动态增减服务器节点带来请求的失效，保证系统更好对外提供服务。从问题的发展引入思考图1.假设现在有200万张图片资源，需要随机的分配到3台服务器除余法很多人一下子就想到了除余法,通过给每个图片唯一编号(较少的情况),或者通过hash文件名(假设...

			
		

	





	

		

			

				
					
crc32校验算法_带你学加密丨WinACE中的CRC32

				
			

			

				

					weixin_39681724的博客
				

				

					01-12
					
					1598
					
				

			

		

		

			
				
* 几天前(文章是2月底写完的)，WinRAR曝出一个存在了19年的安全漏洞，实验室的@浮萍大佬在第一时间进行了复现分析，其中用一个非常巧妙的方法获取了修改后的CRC值。通过常规CRC-32算法(zip和gzip通用)计算后得到的值与它并不一致，这让我感到十分好奇。遗憾的是，在随后圈里刮起的分析预警风里，也没能发现一篇满足我好奇心的。算了，还是自己动手吧。CRC基础CRC，Cycli...

			
		

	





	

		

			

				
					
go, 计算bytes数据的CRC32值

				
			

			

				

					
				

				

					06-07
					
					372
					
				

			

		

		

			
				
go计算bytes数据的CRC32值

			
		

	





	

		

			

				
					
IEEE 802.3 标准中规定的 CRC32 算法

					
热门推荐

				
			

			

				

					MrWangHao的博客
				

				

					06-19
					
					1万+
					
				

			

		

		

			
				
话不多说直奔主题，下面是一个使用 IEEE 802.3 标准中规定的 CRC32 算法计算校验和的示例程序（使用 C 语言）。该示例程序实现了一个crc32函数，可以计算给定长度的数据的 CRC32 校验和。程序中包含了详细的注释，方便理解。示例程序中，crc32函数用于计算给定长度的数据的 CRC32 校验和。该函数接受两个参数，分别为指向待计算数据的指针和数据的长度。函数首先将多项式除数（0xEDB88320UL）赋给一个 32 位的 CRC 寄存器（变量crc），然后对待校验数据的每个字节进行处理。

			
		

	





	

		

			

				
					
【嵌入式开发必学技能】：卫星终端中CRC32校验的高效C实现

					
最新发布

				
			

			

				

					VarPerch的博客
				

				

					12-12
					
					630
					
				

			

		

		

			
				
掌握卫星终端的C语言CRC校验高效实现方法，提升数据传输可靠性。适用于嵌入式环境下的CRC32校验算法优化，基于查表法与模块化设计，兼顾速度与内存占用。代码简洁可移植，适用于各类卫星通信场景，值得收藏。

			
		

	





	

		

			

				
					
Golang实现crc32、md5、sha1函数

				
			

			

				

					mrtwenty的博客
				

				

					06-18
					
					1万+
					
				

			

		

		

			
				
package main

import (
	"crypto/md5"
	"crypto/sha1"
	"encoding/hex"
	"fmt"
	"hash/crc32"
)

// 生成md5
func MD5(str string) string {
	c := md5.New()
	c.Write([]byte(str))
	return hex.EncodeToString(c.S...

			
		

	





	

		

			

				
					
常见校验算法原理：CheckSum、CRC、哈希校验、奇偶校验、纵向冗余校验

				
			

			

				

					qq_44844515的博客
				

				

					01-15
					
					5861
					
				

			

		

		

			
				
循环冗余校验CRC（CyclicRedundancyCheck）是数据通信领域常用的一种数据传输检错技术。通过在发送端对数据按照某种算法计算出校验码，并将得到的校验码附在数据帧的后面，一起发送到接收端。接收端对收到的数据和校验码按照相同算法进行验证，以此判断接收到的数据是否正确、完整。我们首先假设有一个b个bit的数据作为输入，然后我们希望根据某种规则计算出它的信息摘要。这里b是任意大小的数据，也不需要是8bit的倍数。现在要生成MD5码要经过以下步骤:填充位。

			
		

	





	

		

			

				
					
CRC32算法冲突概率测试和分析

				
			

			

				

					weixin_34253126的博客
				

				

					01-16
					
					1286
					
				

			

		

		

			
				
最近因为某个业务需要用到CRC32算法，但业务又不能容忍重复的数值出现，于是自然就想了解一下CRC32算法的冲突概率（或者叫碰撞概率）。

本以为这种问题应该很多人分析过，结果找来找去就只看到一大堆数学公式，我这种数学盲完全看不懂。
好不容易找到一张图，但看得云里雾里（原图链接：http://preshing.com/20110504/hash-coll...

			
		

	



              




          





        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值