Coverage Report

Created: 2021-05-04 09:02

/src/botan/src/lib/hash/sha1/sha1_x86/sha1_x86.cpp
Line
Count
Source (jump to first uncovered line)
1
/*
2
* SHA-1 using Intel SHA intrinsic
3
*
4
* Based on public domain code by Sean Gulley
5
* (https://github.com/mitls/hacl-star/tree/master/experimental/hash)
6
* Adapted to Botan by Jeffrey Walton.
7
*
8
* Further changes
9
*
10
* (C) 2017 Jack Lloyd
11
*
12
* Botan is released under the Simplified BSD License (see license.txt)
13
*/
14
15
#include <botan/internal/sha160.h>
16
#include <immintrin.h>
17
18
namespace Botan {
19
20
#if defined(BOTAN_HAS_SHA1_X86_SHA_NI)
21
BOTAN_FUNC_ISA("sha,ssse3,sse4.1")
22
void SHA_160::sha1_compress_x86(secure_vector<uint32_t>& digest,
23
                                const uint8_t input[],
24
                                size_t blocks)
25
0
   {
26
0
   const __m128i MASK = _mm_set_epi64x(0x0001020304050607, 0x08090a0b0c0d0e0f);
27
0
   const __m128i* input_mm = reinterpret_cast<const __m128i*>(input);
28
29
0
   uint32_t* state = digest.data();
30
31
   // Load initial values
32
0
   __m128i ABCD = _mm_loadu_si128(reinterpret_cast<__m128i*>(state));
33
0
   __m128i E0 = _mm_set_epi32(state[4], 0, 0, 0);
34
0
   ABCD = _mm_shuffle_epi32(ABCD, 0x1B);
35
36
0
   while (blocks)
37
0
      {
38
      // Save current hash
39
0
      const __m128i ABCD_SAVE = ABCD;
40
0
      const __m128i E0_SAVE = E0;
41
42
0
      __m128i MSG0, MSG1, MSG2, MSG3;
43
0
      __m128i E1;
44
45
      // Rounds 0-3
46
0
      MSG0 = _mm_loadu_si128(input_mm+0);
47
0
      MSG0 = _mm_shuffle_epi8(MSG0, MASK);
48
0
      E0 = _mm_add_epi32(E0, MSG0);
49
0
      E1 = ABCD;
50
0
      ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 0);
51
52
      // Rounds 4-7
53
0
      MSG1 = _mm_loadu_si128(input_mm+1);
54
0
      MSG1 = _mm_shuffle_epi8(MSG1, MASK);
55
0
      E1 = _mm_sha1nexte_epu32(E1, MSG1);
56
0
      E0 = ABCD;
57
0
      ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 0);
58
0
      MSG0 = _mm_sha1msg1_epu32(MSG0, MSG1);
59
60
      // Rounds 8-11
61
0
      MSG2 = _mm_loadu_si128(input_mm+2);
62
0
      MSG2 = _mm_shuffle_epi8(MSG2, MASK);
63
0
      E0 = _mm_sha1nexte_epu32(E0, MSG2);
64
0
      E1 = ABCD;
65
0
      ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 0);
66
0
      MSG1 = _mm_sha1msg1_epu32(MSG1, MSG2);
67
0
      MSG0 = _mm_xor_si128(MSG0, MSG2);
68
69
      // Rounds 12-15
70
0
      MSG3 = _mm_loadu_si128(input_mm+3);
71
0
      MSG3 = _mm_shuffle_epi8(MSG3, MASK);
72
0
      E1 = _mm_sha1nexte_epu32(E1, MSG3);
73
0
      E0 = ABCD;
74
0
      MSG0 = _mm_sha1msg2_epu32(MSG0, MSG3);
75
0
      ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 0);
76
0
      MSG2 = _mm_sha1msg1_epu32(MSG2, MSG3);
77
0
      MSG1 = _mm_xor_si128(MSG1, MSG3);
78
79
      // Rounds 16-19
80
0
      E0 = _mm_sha1nexte_epu32(E0, MSG0);
81
0
      E1 = ABCD;
82
0
      MSG1 = _mm_sha1msg2_epu32(MSG1, MSG0);
83
0
      ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 0);
84
0
      MSG3 = _mm_sha1msg1_epu32(MSG3, MSG0);
85
0
      MSG2 = _mm_xor_si128(MSG2, MSG0);
86
87
      // Rounds 20-23
88
0
      E1 = _mm_sha1nexte_epu32(E1, MSG1);
89
0
      E0 = ABCD;
90
0
      MSG2 = _mm_sha1msg2_epu32(MSG2, MSG1);
91
0
      ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 1);
92
0
      MSG0 = _mm_sha1msg1_epu32(MSG0, MSG1);
93
0
      MSG3 = _mm_xor_si128(MSG3, MSG1);
94
95
      // Rounds 24-27
96
0
      E0 = _mm_sha1nexte_epu32(E0, MSG2);
97
0
      E1 = ABCD;
98
0
      MSG3 = _mm_sha1msg2_epu32(MSG3, MSG2);
99
0
      ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 1);
100
0
      MSG1 = _mm_sha1msg1_epu32(MSG1, MSG2);
101
0
      MSG0 = _mm_xor_si128(MSG0, MSG2);
102
103
      // Rounds 28-31
104
0
      E1 = _mm_sha1nexte_epu32(E1, MSG3);
105
0
      E0 = ABCD;
106
0
      MSG0 = _mm_sha1msg2_epu32(MSG0, MSG3);
107
0
      ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 1);
108
0
      MSG2 = _mm_sha1msg1_epu32(MSG2, MSG3);
109
0
      MSG1 = _mm_xor_si128(MSG1, MSG3);
110
111
      // Rounds 32-35
112
0
      E0 = _mm_sha1nexte_epu32(E0, MSG0);
113
0
      E1 = ABCD;
114
0
      MSG1 = _mm_sha1msg2_epu32(MSG1, MSG0);
115
0
      ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 1);
116
0
      MSG3 = _mm_sha1msg1_epu32(MSG3, MSG0);
117
0
      MSG2 = _mm_xor_si128(MSG2, MSG0);
118
119
      // Rounds 36-39
120
0
      E1 = _mm_sha1nexte_epu32(E1, MSG1);
121
0
      E0 = ABCD;
122
0
      MSG2 = _mm_sha1msg2_epu32(MSG2, MSG1);
123
0
      ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 1);
124
0
      MSG0 = _mm_sha1msg1_epu32(MSG0, MSG1);
125
0
      MSG3 = _mm_xor_si128(MSG3, MSG1);
126
127
      // Rounds 40-43
128
0
      E0 = _mm_sha1nexte_epu32(E0, MSG2);
129
0
      E1 = ABCD;
130
0
      MSG3 = _mm_sha1msg2_epu32(MSG3, MSG2);
131
0
      ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 2);
132
0
      MSG1 = _mm_sha1msg1_epu32(MSG1, MSG2);
133
0
      MSG0 = _mm_xor_si128(MSG0, MSG2);
134
135
      // Rounds 44-47
136
0
      E1 = _mm_sha1nexte_epu32(E1, MSG3);
137
0
      E0 = ABCD;
138
0
      MSG0 = _mm_sha1msg2_epu32(MSG0, MSG3);
139
0
      ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 2);
140
0
      MSG2 = _mm_sha1msg1_epu32(MSG2, MSG3);
141
0
      MSG1 = _mm_xor_si128(MSG1, MSG3);
142
143
      // Rounds 48-51
144
0
      E0 = _mm_sha1nexte_epu32(E0, MSG0);
145
0
      E1 = ABCD;
146
0
      MSG1 = _mm_sha1msg2_epu32(MSG1, MSG0);
147
0
      ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 2);
148
0
      MSG3 = _mm_sha1msg1_epu32(MSG3, MSG0);
149
0
      MSG2 = _mm_xor_si128(MSG2, MSG0);
150
151
      // Rounds 52-55
152
0
      E1 = _mm_sha1nexte_epu32(E1, MSG1);
153
0
      E0 = ABCD;
154
0
      MSG2 = _mm_sha1msg2_epu32(MSG2, MSG1);
155
0
      ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 2);
156
0
      MSG0 = _mm_sha1msg1_epu32(MSG0, MSG1);
157
0
      MSG3 = _mm_xor_si128(MSG3, MSG1);
158
159
      // Rounds 56-59
160
0
      E0 = _mm_sha1nexte_epu32(E0, MSG2);
161
0
      E1 = ABCD;
162
0
      MSG3 = _mm_sha1msg2_epu32(MSG3, MSG2);
163
0
      ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 2);
164
0
      MSG1 = _mm_sha1msg1_epu32(MSG1, MSG2);
165
0
      MSG0 = _mm_xor_si128(MSG0, MSG2);
166
167
      // Rounds 60-63
168
0
      E1 = _mm_sha1nexte_epu32(E1, MSG3);
169
0
      E0 = ABCD;
170
0
      MSG0 = _mm_sha1msg2_epu32(MSG0, MSG3);
171
0
      ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 3);
172
0
      MSG2 = _mm_sha1msg1_epu32(MSG2, MSG3);
173
0
      MSG1 = _mm_xor_si128(MSG1, MSG3);
174
175
      // Rounds 64-67
176
0
      E0 = _mm_sha1nexte_epu32(E0, MSG0);
177
0
      E1 = ABCD;
178
0
      MSG1 = _mm_sha1msg2_epu32(MSG1, MSG0);
179
0
      ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 3);
180
0
      MSG3 = _mm_sha1msg1_epu32(MSG3, MSG0);
181
0
      MSG2 = _mm_xor_si128(MSG2, MSG0);
182
183
      // Rounds 68-71
184
0
      E1 = _mm_sha1nexte_epu32(E1, MSG1);
185
0
      E0 = ABCD;
186
0
      MSG2 = _mm_sha1msg2_epu32(MSG2, MSG1);
187
0
      ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 3);
188
0
      MSG3 = _mm_xor_si128(MSG3, MSG1);
189
190
      // Rounds 72-75
191
0
      E0 = _mm_sha1nexte_epu32(E0, MSG2);
192
0
      E1 = ABCD;
193
0
      MSG3 = _mm_sha1msg2_epu32(MSG3, MSG2);
194
0
      ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 3);
195
196
      // Rounds 76-79
197
0
      E1 = _mm_sha1nexte_epu32(E1, MSG3);
198
0
      E0 = ABCD;
199
0
      ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 3);
200
201
      // Add values back to state
202
0
      E0 = _mm_sha1nexte_epu32(E0, E0_SAVE);
203
0
      ABCD = _mm_add_epi32(ABCD, ABCD_SAVE);
204
205
0
      input_mm += 4;
206
0
      blocks--;
207
0
      }
208
209
   // Save state
210
0
   ABCD = _mm_shuffle_epi32(ABCD, 0x1B);
211
0
   _mm_storeu_si128(reinterpret_cast<__m128i*>(state), ABCD);
212
0
   state[4] = _mm_extract_epi32(E0, 3);
213
0
   }
214
#endif
215
216
}