生成1亿个不重复的8位随机整数

项目中有一部分需要用到8位不重复的随机整数，即有1到99999999种可能，即1亿个可能。这可是一个不小的数据量。那要怎么去实现呢？


1、尝试使用Access
在看到这个需求时，第一反应就是使用数据库。但是客户又要求不能使用SQL等数据库，于是又换了个思路，既然不能使用SQL，那使用Access来替换


不就可以了吗？
于是想着在程序中产生随机数，并将其与数据库中已经使用的随机数进行比对，如果不存在，则使用该随机数，并且插入到数据库中。基于这个想法


，做了个简单的测试。当数据量达到百万级时，运行速度明显变量，当达到千万级时，更是慢之又慢，而项目中随机数的使用频率，最快时一秒中可在达到5到8个，这明显满足不了需求。
再网上查了下资料，有说到当Access达到64M时，效率会明显降低，而1亿个随机数，按8个字节一个也有760几M，虽然可以通过设置，将Access设置到2G，但效率低了，无法满足要求。
使用Access的尝试失败。


2、尝试使用SQL
在使用Access测试时，发现CPU和内存的消耗居高不下，于是就想着这应该是频繁的查找和插入造成的，如果可以避开这一步，那是不是就能提高效率了呢？有了这个思路，又遇到新的问题。那如果不在程序中动态生成随机数，不就得预先生成一个随机数的字典，然后不断的去读取吗？那这个随机数的字典要如何去产生呢？这时想到了SQL。

虽然项目中提到不能使用SQL，但是可以通过SQL插入ID和随机码，其中ID采用GUID，随机码是1到99999999的数，然后将表格按GUID排序，这样就生成了随机数表。之后再导出为并进一步处理为所要的字典。写了一段SQL，代码如下

DECLARE @randomCode int
SET @randomCode=1
WHILE @randomCode<＝99999999
	BEGIN
		INSERT INTO RandomCodeDictionary(ID,RandomCode) VALUES(NEWID(),CAST())
		SET @randomCode=@randomCode+1
	END

结果这段SQL跑了一晚上，也没有跑完。电脑配置是WIN7_64、4G内存、奔腾CPU主频2.7。显然这条路也不通。

3、尝试程序直接生成

前面两次尝试都失败了，那就只剩下自己写程序来生成随机字典了。但又碰到了一个问题，这8位随机整数该以什么形式存储呢？如果是直接以整数的形式，那么每个整数只需要4个字节，而以字符的形式储存，8位就得8个字节，显然以整数储存会节省一半的空间，但是这样一来就限定了这8位随机数必须是整数，万一哪一天客户需要变了，要换成包含字母和符号的随机数，那就完蛋了。思来想去，最后决定增加其扩展性，牺牲一点储存空间。具体代码如下

private void generate(string savePath)
        {
            int begin = 1;
            int end = 9999;
            Encoding encoding = Encoding.UTF8;
            FileStream destStream = new FileStream(savePath,FileMode.Create,FileAccess.ReadWrite,FileShare.None);
            List<byte[]> codeList = new List<byte[]>();
            for (int i = begin; i <= end; i++)
            {               
                string code = string.Format("{0:00000000}", i);
                byte[] codeBytes = encoding.GetBytes(code);
                codeList.Add(codeBytes);                
            }
            while (codeList.Count>0)
            {
                int index = generateRandomInt(0, codeList.Count);
                byte[] tempCodeByte = codeList[index];
                codeList.RemoveAt(index);
                destStream.Write(tempCodeByte, 0, 8);
            }
            destStream.Close();
        }
 private int generateRandomInt(int min, int max)
        {
            Random random = new Random(Guid.NewGuid().GetHashCode());
            int randomInt = random.Next(min, max);
            return randomInt;
        }

随机字典很顺利的生成了，但这时只是1到9999。于是将end调大，依次是5个9、6个9、7个9、8个9，当到达8个9时，程序已经跑不动了。显然这样的做法也不行。于是又绞尽脑汁的想，终于有了新的思路，具体的请参见 亿级数据时，内存性能低于IO性能一文。

至此，终于达成了目的。

转载请注明出处http://blog.csdn.net/xxdddail/article/details/12652385