最近项目要求高频次地读写数据数据量也不是很大多表总共加起来在百万条上下。单表最大的也在25万左右历史数据表因为不涉及所以不用考虑难点在于这个规模的热点数据变化非常频繁。数据来源于一些检测设备的采集数据一些大表有可能在极短时间内如几秒钟可能大部分都会变化而且主程序也有一些后台服务需要不断轮询、读写某种类型的设备所以要求信息交互时间尽可能短。2、之前的解决方案是把所有热点数据统一加载到共享内存里边到也能够支撑的住毫秒级的但是由于系统架构升级之前的程序20年前的不能兼容。只能重新写一个最先想到的是用redis当时把所有API重写完成后测试发现效率不行是的你没有看错redis也是有使用范围的。3、redis读写非常快但是对于大批量读写操作我觉得支持不够虽然redis支持批量读写但是效率还是不够快对于字符串string类型的批量读写我测试过效率比较好的在每批次200 至 250条之间处理20万条数据耗时5秒左右, (PC机8G4核)而对于有序集合sorted set类型批量写的操作用起来非常别扭而且没有修改API如有其他方式请指教我测试过效率没string类型那么高其他类型不适合我的业务场景就没考虑使用了4、所以项目组最后决定还是用回共享内存先决定在.net环境下使用c#的共享内存这个功能可能使用的人不多其实在.net4.0版本就已经集成进来了在System.IO.MemoryMappedFile命名空间下。这个类库让人很无语因为里边能用的只有Write、Read这2种方法而且只是针对字节的操作需要非常多的类型转换非常麻烦想想只能以字节为单位去构建一个需要存放百万级数据的内存数据库得多麻烦需要手动搞定索引功能因为要支持各种查询最后花了一天的时间写完DEMO最后测试后发现效率并没有很大提高因为当时加了互斥量测试但是离毫秒级差得远。这个技术点有兴趣的可以了解下园子里有如https://www.cnblogs.com/zeroone/archive/2012/04/18/2454776.html二、没错第一节写的太多了1、最后分析这应该是c#语言的瓶颈c#对于这种骚操作是不那么成熟的。2、最后瞄来瞄去决定使用VC开发一个dll在里边封装对内存数据的读写功能然后c#调用3、本人的C、C不那么熟、参考了一些实例比如园子里的http://www.cnblogs.com/cwbcwb505/archive/2008/12/08/1350505.html4、是的你没有看错2008年的我还看到一篇更早的看来底层开发C、C那么经久不衰不是没有道理的很多技术现在都在用5、看看什么是共享内存三、开始写代码了1、首先建2个控制台项目支持MFC2、先这样一个负责创建共享内存初始化数据3、再这样一个读写数据测试最后修改4、最后修改下图片细节测试一下看看效果5、完成了see, 是不是很简单呀都会了吗四、真的要贴代码了1、先定义个枚举返回状态1 typedef enum 2 { 3 Success 0, 4 AlreadyExists 1, 5 Error 2, 6 OverSize 3 7 }enumMemory;2、再定义个结构体用来测试1 typedef struct 2 { 3 int TagID; 4 char TagName[32]; 5 int Area; 6 double EngVal; 7 double UpdateTime; 8 double RawMax; 9 double RawMin; 10 double RawVal; 11 char Name[50]; 12 char Al; 13 double ASTime; 14 char MaskState; 15 double AMTime; 16 char Cf; 17 char Tdf; 18 char AlarmCode[32]; 19 }TENG;3、开始创建共享内存1 int Create(UINT size) 2 { 3 // Data 4 HANDLE fileMap CreateFileMapping(INVALID_HANDLE_VALUE, NULL, PAGE_READWRITE, 0, size, “Name”); 5 6 if (fileMap NULL || fileMap INVALID_HANDLE_VALUE) 7 return Error; 8 9 if (GetLastError() ERROR_ALREADY_EXISTS) 10 return AlreadyExists; 11 12 // init 13 void *mapView MapViewOfFile(fileMap, FILE_MAP_WRITE, 0, 0, size); 14 15 if (mapView NULL) 16 return Error; 17 else 18 memset(mapView, 0, size); 19 20 return Success; 21 }4、再开始写数据1 int Write(void *pDate, UINT nSize, UINT offset) 2 { 3 // open 4 HANDLE fileMap OpenFileMapping(FILE_MAP_WRITE, FALSE, “Name”); 5 6 if (fileMap NULL) 7 return Error; 8 9 // hander 10 void *mapView MapViewOfFile(fileMap, FILE_MAP_WRITE, 0, 0, nSize); 11 12 if (mapView NULL) 13 return Error; 14 else 15 WriteDataPtr mapView; 16 17 // write 18 memcpy(mapView, pDate, nSize); 19 20 UnmapViewOfFile(pMapView); 21 return Success; 22 }5、开始读数据1 int Read(void *pData, UINT nSize, UINT offset) 2 { 3 // open 4 HANDLE fileMap OpenFileMapping(FILE_MAP_READ, FALSE, GetTableName()); 5 6 if (fileMap NULL) 7 return Error; 8 9 // hander 10 void *pMapView MapViewOfFile(fileMap, FILE_MAP_READ, 0, 0, nSize); 11 12 if (pMapView NULL) 13 return Error; 14 else 15 ReadDataPtr pMapView; 16 17 memcpy(pData, (pMapView, nSize); 18 19 UnmapViewOfFile(pMapView); 20 return Success; 21 }6、OK了不复杂网上都有这些资料最后我们贴上测试程序1 int _tmain(int argc, TCHAR* argv[], TCHAR* envp[]) 2 { 3 int length 100000; 4 CEng * ceng new CEng(); 5 DWORD dwStart GetTickCount(); 6 7 for (int i 0; i length; i) { 8 TENG eng; 9 ceng-Read(eng, ceng-size, ceng-size * i); 10 11 eng.EngVal i; 12 ceng-Write(eng, ceng-size, (i*ceng-size)); 13 14 if (i % 10000 0 || i length - 1) 15 printf(正在读写的Eng.TagName:%s \n, eng.TagName); 16 } 17 18 printf(总条数%d,耗时:%d 毫秒 \n, length, GetTickCount() - dwStart); 19 20 // 验证数据 21 TENG eng5000; 22 ceng-Read(eng5000, ceng-size, ceng-size * 5000); 23 printf(\n验证数据 \n); 24 printf(第5000个Eng的TagID:%d, EngVal:%lf \n, eng5000.TagID, eng5000.EngVal); 25 26 27 scanf_s(按任意键结束); 28 return 0; 29 }