澳门至尊网站-首页

您的位置:澳门至尊网站 > 软件综合 > 内部存款和储蓄器映射大文件并利用马尔斯hal解

内部存款和储蓄器映射大文件并利用马尔斯hal解

2019-10-22 08:54

内部存款和储蓄器映射数据管理类主要函数及变量如下:

转载 结构体对齐详解

 1        string _filepath;
 2        /// <summary>
 3         /// 引用内存映射文件
 4         /// </summary>
 5         private MemoryMappedFile _memoryFile = null;
 6         /// <summary>
 7         /// 用于访问内存映射文件的存取对象
 8         /// </summary>
 9         private MemoryMappedViewAccessor _accessor = null;
10         public ScientificData _ScientificData = new ScientificData();
11         long _lenByte = 0;
12         public DatFileInfo(string filepath)
13         {
14             _filepath = filepath;
15             _memoryFile = MemoryMappedFile.CreateFromFile(_filepath);
16             _accessor = _memoryFile.CreateViewAccessor();
17             // _stream = _memoryFile.CreateViewStream();
18             FileInfo finfo = new FileInfo(filepath);
19             _lenByte = finfo.Length;//文件字节大小
20         }
21         public void SaveRawData(string savepath)
22         {
23             
24             int currentByteNum = 0;//当前字节位置
25             uint ACountint = 0;
26             uint RCountint = 0;
27             ScientificData scientificData = new ScientificData();
28             byte[] data = new byte[1036 * 1036];
29             while (currentByteNum<= (_lenByte- 1036 * 1036))
30             {
31                 _accessor.Read<uint>(currentByteNum, out RCountint);
32                 _accessor.Read<uint>(currentByteNum+4, out ACountint);
33                 if (RCountint < 1400 && ACountint < 1401 && _accessor.ReadByte(currentByteNum+8)==0x0a && _accessor.ReadByte(currentByteNum + 9) == 0x0b)//初步判断条件,节省解析结构体时间
34                 {
35                     _accessor.ReadArray(currentByteNum, data, 0, data.Length);//读取结构体数据到字节数组
36                     scientificData = ByteToStructure<ScientificData>(data);//字节数组解析到结构体
37                     if((scientificData.aux_3a1 == 0x3A) && (scientificData.aux_3a3 == 0x3A))//进一步判断
38                     {
39                         ushort[,] sdata = scientificData.GetImageData();//得到所需的数据
40                         saveRawData(savepath + ((int)((ACountint - 1)/15+1)).ToString()+ "_" + (ACountint-1).ToString() + "_"+ACountint + "_"+scientificData.aux_num + ".raw" , sdata);
41                         currentByteNum += 1036 * 1036;
42                     }
43                     else
44                         currentByteNum++;
45                 }
46                 else
47                     currentByteNum++;
48 
49 
50             }
51         }
52         /// <summary>
53         /// 由byte数组转换为结构体
54         /// </summary>
55         public static T ByteToStructure<T>(byte[] dataBuffer)
56         {
57             object structure = null;
58             int size = Marshal.SizeOf(typeof(T));
59             IntPtr allocIntPtr = Marshal.AllocHGlobal(size);
60             try
61             {
62                 Marshal.Copy(dataBuffer, 0, allocIntPtr, size);
63                 structure = Marshal.PtrToStructure(allocIntPtr, typeof(T));
64             }
65             finally
66             {
67                 Marshal.FreeHGlobal(allocIntPtr);
68             }
69             return (T)structure;
70         }
71         private void saveRawData(string savepath,ushort[,] data)
72         {
73             int len = data.Length*2;
74             byte[] bdata = new byte[len];
75             Buffer.BlockCopy(data,0,bdata,0,len);
76             File.WriteAllBytes(savepath, bdata);
77         }
78         /// <summary>
79         /// 由结构体转换为byte数组
80         /// </summary>
81         public static byte[] StructureToByte<T>(T structure)
82         {
83             int size = Marshal.SizeOf(typeof(T));
84             byte[] buffer = new byte[size];
85             IntPtr bufferIntPtr = Marshal.AllocHGlobal(size);
86             try
87             {
88                 Marshal.StructureToPtr(structure, bufferIntPtr, true);
89                 Marshal.Copy(bufferIntPtr, buffer, 0, size);
90             }
91             finally
92             {
93                 Marshal.FreeHGlobal(bufferIntPtr);
94             }
95             return buffer;
96         }

结构体数据成员对齐的含义

重重实际上的微管理器系统对基本项目数据在内部存款和储蓄器中贮存的岗位有限定,它们会供给那么些数量的伊始地址的值是有个别数k的倍数,那就是所谓的内部存款和储蓄器对齐,而以此k则被称呼该数据类型的对齐模数(alignment modulus)。这种强制的供给一来简化了Computer与内部存款和储蓄器之间传输种类的设计,二来能够荣升读取数据的进度。

比如那样生气勃勃种管理器,它每一回读写内存的时候都从有个别8倍数的地址初叶,叁回读出或写入8个字节的数量,假使软件能担保double类型的数量都从8倍数地方起头,那么读或写叁个double类型数据就只要求贰回内部存款和储蓄器操作。不然,我们就恐怕供给
四回内部存款和储蓄器操作才干做到那几个动作,因为数量可能刚刚横跨在三个符合对齐供给的8字节内部存款和储蓄器块上。

没有错数据结构体定义如下:

结构体对齐富含多少个地点的意思

  • 结构中华全国体育总会省长度;
  • 布局体内各数据成员的内存对齐,即该数量成员相对结构体的起第3地点;
  //一幅1036*1036字节数据定义
    public struct ScientificData
     {
        /参数信息
     [MarshalAs(UnmanagedType.ByValArray, SizeConst = 4)]
       public byte[] RelativePacketCount;
      [MarshalAs(UnmanagedType.ByValArray, SizeConst = 4)]
       public Byte[] AbsolutePacketCount;
     ........
      public byte aux_3a;//填充3A H
       .........
      [MarshalAs(UnmanagedType.ByValArray, SizeConst = 1036)]
        public OneImageRow[] ImageData;//图像数据行
/// <summary>
/// 获取raw图数据
/// </summary>
/// <returns>图像数据</returns>
public ushort[,] GetImageData()
{
ushort[,] rawdata = new ushort[1036, 512];
for (int i = 0; i < 1036; i++)
{
var onerow = ImageData[i];
for (int j = 0; j < 512; j++)
{
rawdata[i, j] = (ushort)(((onerow.imagedata[j * 2] << 8) | onerow.imagedata[j * 2 + 1])) ;
}
}
return rawdata;
}
}

结构体大小的谋算办法和步子

  1. 将组织体内全体数据成员的尺寸值相加,记为sum_a;
  1. 将各数据成员为了内部存款和储蓄器对齐,按各自对齐模数而填充的字节数累计到和sum_a上,记为sum_b。对齐模数是#pragma pack 钦点的数值以致该多少成员自己长度中数值极小者。该数据绝对先河地点应该是对齐方式的整数倍;
  2. 将和sum_b向结构人体模型数对齐,该模数是 #pragma pack指定的数值未指定#pragma pack时,系统默认的对齐模数(32位系统为4字节,64位为8字节)结构体内部最大的基本数据类型成员 长度中数值极小者。结构体的尺寸应该是该模数的子弹头倍。

图像数据结构体如下:

结构体大小计算举个例子

在测算从前,我们首先必要明白的是各样数据成员的对齐模数,对齐模数和数码成员自己的尺寸以致pragma pack编写翻译参数有关,其值是两岸中型Mini小的数。假使程序未有鲜明提出,就需求了然编写翻译器暗中同意的对齐模数值。下表是Windows XP/DEV-C++和Linux/GCC中挑凉州数据类型的长短和私下认可对齐模数。

char short int long float double long long long double
Win-32长度 1 2 4 4 4 8 8 8
模数 1 2 4 4 4 8 8 8
Linux-32长度 1 2 4 4 4 8 8 12
模数 1 2 4 4 4 4 4 4
Linux-64长度 1 2 4 8 4 8 8 16
模数 1 2 4 8 4 8 8 16

 

例子1:

struct my_struct 
{ 
    char a; 
    long double b; 
};

此例子Windows和Linux计算办法有个别许不均等。

在Windows中总计步骤如下:

  1. 持有数据成员自个儿长度和:1B + 8B = 9B --> sum_a = 9B
  1. 数码成员a放在相对偏移0处,从前无需填充字节;数据成员b为了内部存储器对齐,依据“结构体大小的简政放权格局和手续”中第二条标准,其对齐模数是8,在此以前需填充7个字节,sum_a + 7 = 16B --> sum_b = 16 B
  2. 遵纪守法定义,结构体对齐模数是结构体内部最大额成员长度和pragma pack中相当小者,前者为8前面一个为4,所以结构体对齐模数是4。sum_b是4的4倍,不需重新对齐。

综上3步,可见结构体的尺寸是16B,各数据成员在内存中的布满如图1-1所示。

在Linux中总括步骤如下:

  1. 有着数据成员本人长度和:1B + 12B = 13B --> sum_a = 13B
  1. 多少成员a放在相对偏移0处,从前无需填充字节;数据成员b为了内存对齐,根据“结构体大小的精打细算方法和步骤”中第二条准绳,其对齐模数是4,早前需填充3个字节,sum_a + 3 = 16B --> sum_b = 16 B
  2. 信守定义,结构体对齐模数是结构体内部最大数据成员长度和pragma pack中极小者,后面一个为12后人为4,所以结构体对齐模数是4。sum_b是4的4倍,不需再度对齐。

综上3步,可以预知结构体的长度是16B,各数据成员在内部存储器中的布满如图1-2所示。

图片 1

自己是图片.jpg

 

例子2:

#pragma pack(2) 
struct my_struct 
{ 
    char a; 
    long double b; 
}; 
#pragma pack()

事例1和例子2区别之处在于例子第22中学央银行使了 #pragma pack(2) 编写翻译参数,它强制钦点对齐模数是2。此例子Windows和Linux总结办法有些许不雷同。

在Windows中总结步骤如下:

  1. 持有数据成员本身长度和:1B + 8B = 13B --> sum_a = 9B
  1. 数量成员a放在相对偏移0处,以前不需求填充字节;数据成员b为了内部存款和储蓄器对齐,依据“结构体大小的企图格局和手续”中第二条标准,其对齐模数是2,以前需填充1个字节,sum_a + 1 = 10B --> sum_b = 10 B
  2. 依据定义,结构体对齐模数是结构体内部最大数量成员长度和pragma pack中十分小者,前面三个为8前者为2,所以结构体对齐模数是2。sum_b是2的5倍,不需另行对齐。

综上3步,可见结构体的长度是10B,各数据成员在内部存款和储蓄器中的分布如图2-1所示。

在Linux中总括步骤如下:

  1. 不无数据成员本人长度和:1B + 12B = 13B --> sum_a = 13B
  1. 多少成员a放在绝对偏移0处,在此之前无需填充字节;数据成员b为了内部存款和储蓄器对齐,依照“结构体大小的计量格局和步骤”中第二条标准,其对齐模数是2,此前需填充1个字节,sum_a + 1 = 14B --> sum_b = 14 B
  2. 依据定义,结构体对齐模数是结构体内部最大数据成员长度和pragma pack中很小者,后面一个为8后面一个为2,所以结构体对齐模数是2。sum_b是2的7倍,不需再一次对齐。

综上3步,可以见到结构体的尺寸是14B,各数据成员在内部存款和储蓄器中的分布如图2-2所示。

图片 2

自己是图片.jpg

    public struct OneImageRow
    {
        [MarshalAs(UnmanagedType.ByValArray, SizeConst = 4)]
        public byte[] RelativePacketCount;
        [MarshalAs(UnmanagedType.ByValArray, SizeConst = 4)]
        public byte[] AbsolutePacketCount;
        [MarshalAs(UnmanagedType.ByValArray, SizeConst = 2)]
        public byte[] linehead;//行头
        [MarshalAs(UnmanagedType.ByValArray, SizeConst = 2)]
        public byte[] linenum;//行号
        [MarshalAs(UnmanagedType.ByValArray, SizeConst = 1024)]
        public byte[] imagedata;//图像数据512×2=1024字节

        public static string ByteToHex(byte[] bt)
        {
            var hex = BitConverter.ToString(bt, 0).ToUpper();
            return hex;
        }
    }

例子3:

struct my_struct 
{ 
    char a; 
    double b; 
    char c; 
}; 

前两例中,数据成员在Linux和Windows下都风度翩翩律,例3中double的对齐模数在Linux中是4,在Windows下是8,针对这种模数不平等的情景加以深入分析。

在Windows中总结步骤如下:

  1. 不无数据成员本人长度和:1B + 8B + 1B = 10B --> sum_a = 10B
  1. 多少成员a放在绝对偏移0处,从前无需填充字节;数据成员b为了内部存款和储蓄器对齐,依据“结构体大小的企图方法和步骤”中第二条准绳,其对齐模数是8,以前需填充7个字节,sum_a + 7 = 17B --> sum_b = 17B
  2. 依据定义,结构体对齐模数是结构体内部最大数据成员长度和pragma pack中十分的小者,前面一个为8后面一个为8,所以结构体对齐模数是8。sum_b应该是8的莫西干发型倍,所以要在结构体后填充8*3 - 17 = 7个字节。

综上3步,可以知道结构体的长度是24B,各数据成员在内部存款和储蓄器中的布满如图3-1所示。

在Linux中总括步骤如下:

  1. 享有数据成员本身长度和:1B + 8B + 1B = 10B,sum_a = 10B
  1. 数据成员a放在相对偏移0处,此前不必要填充字节;数据成员b为了内部存款和储蓄器对齐,依照“结构体大小的预计格局和手续”中第二条标准,其对齐模数是4,早先需填充3个字节,sum_b = sum_a + 3 = 13B
  2. 安份守己定义,结构体对齐模数是结构体内部最大数据成员长度和pragma
    pack中十分的小者,前面一个为8后面一个为4,所以结构体对齐模数是4。sum_b应该是4的整好数倍,所以要在结构体后填充4*4 - 13 = 3个字节。

综上3步,可以预知结构体的尺寸是16B,各数据成员在内部存款和储蓄器中的布满如图3-2所示。

图片 3

自家是图片.jpg

 

例子4:

struct my_struct 
{ 
    char a[11]; 
    int b; 
    char c; 
}; 

此例子Windows和Linux计算办法同样,如下:

  1. 装有数据成员本人长度和:11B + 4B + 1B = 16B --> sum_a = 16B
  1. 数量成员a放在相对偏移0处,在此以前无需填充字节;数据成员b为了内部存款和储蓄器对齐,根据“结构体大小的企图方法和步骤”中第二条准则,其对齐模数是4,此前需填充3个字节,sum_a + 1 = 17B --> sum_b = 17B
  2. 规行矩步定义,结构体对齐模数是结构体内部最大数目成员长度和pragma pack中很小者,前面二个为4前面一个为4,所以结构体对齐模数是4。sum_b是4的整几倍,需在结构体后填充4*5 - 17 = 1个字节。

综上3步,可以预知结构体的长短是20B,各数据成员在内部存款和储蓄器中的分布如图4所示。

图片 4

本身是图片.jpg

例子5:

struct my_test 
{ 
    int my_test_a; 
    char my_test_b; 
}; 

struct my_struct 
{ 
    struct my_test a; 
    double my_struct_a; 
    int my_struct_b; 
    char my_struct_c; 
};

事例5和前多少个例证均分化,在这里例子中大家要总计struct my_struct的大小,而my_struct中嵌套了一个my_test结构体。这种结构体应该怎么样总计呢?原则是将my_test在my_struct中先进行,然后再总计,便是张开成如下结构体:

struct my_struct
{
    int my_test_a;
    char my_test_b;
    double my_struct_a;
    int my_struct_b;
    char my_struct_c;
}; 

此例子Windows中的计算情势如下:

  1. 全部数据成员自己长度和:4B + 1B + 8B + 4B + 1B= 18B --> sum_a = 18B
  1. 多少成员my_struct_a为了内部存款和储蓄器对齐,根据“结构体大小的估摸划办公室法和手续”中第二条原则,其对齐模数是8,以前需填充3个字节:sum_a + 3 = 21B --> sum_b = 21B
  2. 根据定义,结构体对齐模数是结构体内部最大数目成员长度和pragma pack中比较小者,前边三个为8后面一个为8,所以结构体对齐模数是8。sum_b是8的大背头倍,需在结构体后填充3*8 - 21 = 3个字节。

综上3步,可以预知结构体的尺寸是24B,各数据成员在内部存款和储蓄器中的布满如图5所示。

此例子Linux中的总结办法如下:

  1. 富有数据成员本身长度和:4B + 1B + 8B + 4B + 1B= 18B,sum_a = 18B
  2. 数据成员my_struct_a为了内部存款和储蓄器对齐,依照“结构体大小的计量办法和步子”中第二条准绳,其对齐模数是4,从前需填充3个字节,sum_b = sum_a + 3 = 21B
  3. 依照定义,结构体对齐模数是结构体内部最大数目成员长度和pragma
    pack中十分的小者,前面一个为4前者为4,所以结构体对齐模数是4。sum_b是4的整几倍,需在结构体后填充6*4 - 21 = 3个字节。

综上3步,可以知道结构体的尺寸是24B,各数据成员在内部存款和储蓄器中的遍及如图5所示。

图片 5

本人是图片.jpg

源代码附录

地点的事例均在Windows(VC++6.0)和Linux(GCC4.1.0)上测验注明。下边是测量检验程序。

#include <iostream>

#include <stdio.h>

using namespace std;

int main()
{
    cout << "sizeof(char)        = " << sizeof(char) << endl;
    cout << "sizeof(short)       = " << sizeof(short) << endl;
    cout << "sizeof(int)         = " << sizeof(int) << endl;
    cout << "sizeof(long)        = " << sizeof(long) << endl;
    cout << "sizeof(float)       = " << sizeof(float) << endl;
    cout << "sizeof(double)      = " << sizeof(double) << endl;
    cout << "sizeof(long long)   = " << sizeof(long long) << endl;
    cout << "sizeof(long double) = " << sizeof(long double) << endl << endl;    

    // 例子1
    {
        struct my_struct 
        { 
            char a; 
            long double b; 
        };
        cout << "exapmle-1: sizeof(my_struct) = " << sizeof(my_struct) << endl;

        struct my_struct data;

        printf("my_struct->a: %unmy_struct->b: %unn", &data.a, &data.b);
    }

    // 例子2
    {
        #pragma pack(2) 
        struct my_struct 
        { 
            char a; 
            long double b; 
        }; 

        #pragma pack()
        struct my_struct data;

        cout << "exapmle-2: sizeof(my_struct) = " << sizeof(my_struct) << endl;

        printf("my_struct->a: %unmy_struct->b: %unn", &data.a, &data.b);
    }

    // 例子3
    {
        struct my_struct 
        { 
            char a; 
            double b; 
            char c; 
        }; 

        struct my_struct data;

        cout << "exapmle-3: sizeof(my_struct) = " << sizeof(my_struct) << endl;

        printf("my_struct->a: %unmy_struct->b: %unmy_struct->c: %unn", &data.a, &data.b, &data.c);
    }

    // 例子4
    {
        struct my_struct 
        {  
            char a[11];  
            int b;  
            char c;  
        };

        cout << "example-4: sizeof(my_struct) = " << sizeof(struct my_struct) << endl;

        struct my_struct data;
        printf("my_struct->a: %unmy_struct->b: %unmy_struct->c: %unn", &data, &data.b, &data.c);
    }

    // 例子5 
    {
        struct my_test 
        { 
            int my_test_a; 
            char my_test_b; 
        }; 

        struct my_struct 
        { 
            struct my_test a; 
            double my_struct_a; 
            int my_struct_b; 
            char my_struct_c; 
        }; 
        cout << "example-5: sizeof(my_struct) = " << sizeof(struct my_struct) << endl;

        struct my_struct data;
        printf("my_struct->my_test_a  : %un"
            "my_struct->my_test_b  : %un"
            "my_struct->my_struct_a: %un"
            "my_struct->my_struct_b: %un"
            "my_struct->my_struct_c: %un", &data.a.my_test_a, &data.a.my_test_b, 
            &data.my_struct_a, &data.my_struct_b, &data.my_struct_c);
    }

    return 0;
}

施行结果

//Linux localhost 3.4.6-2.10-desktop #1 SMP PREEMPT Thu Jul 28 19:20:26 UTC 2012 (641c197) x86_64 x86_64 x86_64 GNU/Linux
sizeof(char)        = 1
sizeof(short)       = 2
sizeof(int)         = 4
sizeof(long)        = 8
sizeof(float)       = 4
sizeof(double)      = 8
sizeof(long long)   = 8
sizeof(long double) = 16

exapmle-1: sizeof(my_struct) = 32
my_struct->a: 2163695552
my_struct->b: 2163695568

exapmle-2: sizeof(my_struct) = 18
my_struct->a: 2163695680
my_struct->b: 2163695682

exapmle-3: sizeof(my_struct) = 24
my_struct->a: 2163695648
my_struct->b: 2163695656
my_struct->c: 2163695664

example-4: sizeof(my_struct) = 20
my_struct->a: 2163695616
my_struct->b: 2163695628
my_struct->c: 2163695632

example-5: sizeof(my_struct) = 24
my_struct->my_test_a  : 2163695584
my_struct->my_test_b  : 2163695588
my_struct->my_struct_a: 2163695592
my_struct->my_struct_b: 2163695600
my_struct->my_struct_c: 2163695604

//Linux localhost 3.4.6-2.10-desktop #1 SMP PREEMPT Thu Jul 26 09:36:26 UTC 2012 (641c197) i686 i686 i386 GNU/Linux
sizeof(char)        = 1
sizeof(short)       = 2
sizeof(int)         = 4
sizeof(long)        = 4
sizeof(float)       = 4
sizeof(double)      = 8
sizeof(long long)   = 8
sizeof(long double) = 12

exapmle-1: sizeof(my_struct) = 16
my_struct->a: 3213889904
my_struct->b: 3213889908

exapmle-2: sizeof(my_struct) = 14
my_struct->a: 3213889890
my_struct->b: 3213889892

exapmle-3: sizeof(my_struct) = 16
my_struct->a: 3213889872
my_struct->b: 3213889876
my_struct->c: 3213889884

example-4: sizeof(my_struct) = 20
my_struct->a: 3213889852
my_struct->b: 3213889864
my_struct->c: 3213889868

example-5: sizeof(my_struct) = 24
my_struct->my_test_a  : 3213889828
my_struct->my_test_b  : 3213889832
my_struct->my_struct_a: 3213889836
my_struct->my_struct_b: 3213889844
my_struct->my_struct_c: 3213889848

//CYGWIN_NT-6.1 motadou-PC 1.7.20(0.266/5/3) 2013-06-07 11:11 i686 Cygwin
sizeof(char)        = 1
sizeof(short)       = 2
sizeof(int)         = 4
sizeof(long)        = 4
sizeof(float)       = 4
sizeof(double)      = 8
sizeof(long long)   = 8
sizeof(long double) = 12

exapmle-1: sizeof(my_struct) = 16
my_struct->a: 2272336
my_struct->b: 2272340

exapmle-2: sizeof(my_struct) = 14
my_struct->a: 2272322
my_struct->b: 2272324

exapmle-3: sizeof(my_struct) = 24
my_struct->a: 2272296
my_struct->b: 2272304
my_struct->c: 2272312

example-4: sizeof(my_struct) = 20
my_struct->a: 2272276
my_struct->b: 2272288
my_struct->c: 2272292

example-5: sizeof(my_struct) = 24
my_struct->my_test_a  : 2272248
my_struct->my_test_b  : 2272252
my_struct->my_struct_a: 2272256
my_struct->my_struct_b: 2272264
my_struct->my_struct_c: 2272268

本文由澳门至尊网站发布于软件综合,转载请注明出处:内部存款和储蓄器映射大文件并利用马尔斯hal解

关键词: