bb0697145ec6d266da4b8be170e6a834ff37beb4
[nbds] / test / map_test2.c
1 /* 
2  * Written by Josh Dybnis and released to the public domain, as explained at
3  * http://creativecommons.org/licenses/publicdomain
4  *
5  * tests ported from high-scale-lib
6  * http://sourceforge.net/projects/high-scale-lib
7  */
8 #include <stdio.h>
9 #include <pthread.h>
10 #include <sys/time.h>
11
12 #include "CuTest.h"
13
14 #include "common.h"
15 #include "runtime.h"
16 #include "nstring.h"
17 #include "map.h"
18 #include "list.h"
19 #include "skiplist.h"
20 #include "hashtable.h"
21 #include "lwt.h"
22
23 #define ASSERT_EQUAL(x, y) CuAssertIntEquals(tc, x, y)
24
25 //#define TEST_STRING_KEYS
26
27 typedef struct worker_data {
28     int id;
29     CuTest *tc;
30     map_t *map;
31     volatile int *wait;
32 } worker_data_t;
33
34 static const map_impl_t *map_type_;
35
36 static uint64_t iterator_size (map_t *map) {
37     map_iter_t *iter = map_iter_begin(map, NULL);
38     uint64_t count = 0;
39     while (map_iter_next(iter, NULL) != DOES_NOT_EXIST) {
40         count++;
41     }
42     map_iter_free(iter);
43     return count;
44 }
45
46 // Test some basic stuff; add a few keys, remove a few keys
47 void basic_test (CuTest* tc) {
48
49 #ifdef TEST_STRING_KEYS
50     map_t *map = map_alloc(map_type_, &DATATYPE_NSTRING);
51     nstring_t *k1 = ns_alloc(3); strcpy(k1->data, "k1");
52     nstring_t *k2 = ns_alloc(3); strcpy(k1->data, "k2");
53     nstring_t *k3 = ns_alloc(3); strcpy(k1->data, "k3");
54     nstring_t *k4 = ns_alloc(3); strcpy(k1->data, "k4");
55 #else
56     map_t *map = map_alloc(map_type_, NULL);
57     void *k1 = (void *)1;
58     void *k2 = (void *)2;
59     void *k3 = (void *)3;
60     void *k4 = (void *)4;
61 #endif
62
63     ASSERT_EQUAL( 0,              map_count  (map)        );
64     ASSERT_EQUAL( DOES_NOT_EXIST, map_add    (map, k1,10) );
65     ASSERT_EQUAL( 1,              map_count  (map)        );
66     ASSERT_EQUAL( 1,              iterator_size(map)      );
67     ASSERT_EQUAL( DOES_NOT_EXIST, map_add    (map, k2,20) );
68     ASSERT_EQUAL( 2,              map_count  (map)        );
69     ASSERT_EQUAL( 2,              iterator_size(map)      );
70     ASSERT_EQUAL( 20,             map_get    (map, k2)    );
71     ASSERT_EQUAL( 10,             map_set    (map, k1,11) );
72     ASSERT_EQUAL( 20,             map_set    (map, k2,21) );
73     ASSERT_EQUAL( 2,              map_count  (map)        );
74     ASSERT_EQUAL( 2,              iterator_size(map)      );
75     ASSERT_EQUAL( 21,             map_add    (map, k2,22) );
76     ASSERT_EQUAL( 11,             map_remove (map, k1)    );
77     ASSERT_EQUAL( DOES_NOT_EXIST, map_get    (map, k1)    );
78     ASSERT_EQUAL( 1,              map_count  (map)        );
79     ASSERT_EQUAL( 1,              iterator_size(map)      );
80     ASSERT_EQUAL( DOES_NOT_EXIST, map_remove (map, k1)    );
81     ASSERT_EQUAL( 21,             map_remove (map, k2)    );
82     ASSERT_EQUAL( 0,              map_count  (map)        );
83     ASSERT_EQUAL( 0,              iterator_size(map)      );
84     ASSERT_EQUAL( DOES_NOT_EXIST, map_remove (map, k2)    );
85     ASSERT_EQUAL( DOES_NOT_EXIST, map_remove (map, k3)    );
86     ASSERT_EQUAL( 0,              map_count  (map)        );
87     ASSERT_EQUAL( 0,              iterator_size(map)      );
88     
89     ASSERT_EQUAL( DOES_NOT_EXIST, map_add    (map, k4,40) );
90     ASSERT_EQUAL( 40,             map_get    (map, k4)    );
91     ASSERT_EQUAL( 1,              map_count  (map)        );
92     ASSERT_EQUAL( 1,              iterator_size(map)      );
93     ASSERT_EQUAL( 40,             map_remove (map, k4)    );
94     ASSERT_EQUAL( DOES_NOT_EXIST, map_get    (map, k4)    );
95     ASSERT_EQUAL( 0,              map_count  (map)        );
96     ASSERT_EQUAL( 0,              iterator_size(map)      );
97
98     ASSERT_EQUAL( DOES_NOT_EXIST, map_replace(map, k4,10) );
99     ASSERT_EQUAL( DOES_NOT_EXIST, map_get    (map, k4)    );
100     ASSERT_EQUAL( DOES_NOT_EXIST, map_set    (map, k4,40) );
101     ASSERT_EQUAL( 40,             map_replace(map, k4,41) );
102     ASSERT_EQUAL( 41,             map_get    (map, k4)    );
103     ASSERT_EQUAL( 41,             map_remove (map, k4)    );
104     ASSERT_EQUAL( DOES_NOT_EXIST, map_get    (map, k4)    );
105     ASSERT_EQUAL( 0,              map_count  (map)        );
106     ASSERT_EQUAL( 0,              iterator_size(map)      );
107
108     ASSERT_EQUAL( DOES_NOT_EXIST, map_replace(map, k2,20) );
109     ASSERT_EQUAL( DOES_NOT_EXIST, map_get    (map, k2)    );
110
111     // In the end, all entries should be removed
112     ASSERT_EQUAL( DOES_NOT_EXIST, map_set    (map, k2,20) );
113     ASSERT_EQUAL( 20,             map_replace(map, k2,21) );
114     ASSERT_EQUAL( 21,             map_get    (map, k2)    );
115     ASSERT_EQUAL( 21,             map_remove (map, k2)    );
116     ASSERT_EQUAL( DOES_NOT_EXIST, map_get    (map, k2)    );
117     ASSERT_EQUAL( 0,              map_count  (map)        );
118     ASSERT_EQUAL( 0,              iterator_size(map)      );
119
120     map_free(map);
121
122     rcu_update(); // In a quiecent state.
123 #ifdef TEST_STRING_KEYS
124     nbd_free(k1); nbd_free(k2); nbd_free(k3); nbd_free(k4);
125 #endif
126 }
127
128 void *add_remove_worker (void *arg) {
129     worker_data_t *wd = (worker_data_t *)arg;
130     map_t *map = wd->map;
131     CuTest* tc = wd->tc;
132     uint64_t d = wd->id;
133     int iters = 10000;
134
135     SYNC_ADD(wd->wait, -1);
136     do { } while (*wd->wait); // wait for all workers to be ready
137
138 #ifdef TEST_STRING_KEYS
139     nstring_t *key = ns_alloc(9);
140 #else
141     void *key;
142 #endif
143
144     for (int j = 0; j < 10; ++j) {
145         for (uint64_t i = d+1; i < iters; i+=2) {
146 #ifdef TEST_STRING_KEYS
147             memset(key->data, 0, key->len);
148             snprintf(key->data, key->len, "%llu", i);
149 #else
150             key = (void *)i;
151 #endif
152             TRACE("t0", "test map_add() iteration (%llu, %llu)", j, i);
153             ASSERT_EQUAL(DOES_NOT_EXIST, map_add(map, key, d+1) );
154             rcu_update(); // In a quiecent state.
155         }
156         for (uint64_t i = d+1; i < iters; i+=2) {
157 #ifdef TEST_STRING_KEYS
158             memset(key->data, 0, key->len);
159             snprintf(key->data, key->len, "%llu", i);
160 #else
161             key = (void *)i;
162 #endif
163             TRACE("t0", "test map_remove() iteration (%llu, %llu)", j, i);
164             ASSERT_EQUAL(d+1, map_remove(map, key) );
165             rcu_update(); // In a quiecent state.
166         }
167     }
168     return NULL;
169 }
170
171 // Do some simple concurrent testing
172 void concurrent_add_remove_test (CuTest* tc) {
173
174     pthread_t thread[2];
175     worker_data_t wd[2];
176     volatile int wait = 2;
177 #ifdef TEST_STRING_KEYS
178     map_t *map = map_alloc(map_type_, &DATATYPE_NSTRING);
179 #else
180     map_t *map = map_alloc(map_type_, NULL);
181 #endif
182
183     struct timeval tv1, tv2;
184     gettimeofday(&tv1, NULL);
185
186     // In 2 threads, add & remove even & odd elements concurrently
187     int i;
188     for (i = 0; i < 2; ++i) {
189         wd[i].id = i;
190         wd[i].tc = tc;
191         wd[i].map = map;
192         wd[i].wait = &wait;
193         int rc = nbd_thread_create(thread + i, i, add_remove_worker, wd + i);
194         if (rc != 0) { perror("nbd_thread_create"); return; }
195     }
196
197     for (i = 0; i < 2; ++i) {
198         pthread_join(thread[i], NULL);
199     }
200
201     gettimeofday(&tv2, NULL);
202     int ms = (int)(1000000*(tv2.tv_sec - tv1.tv_sec) + tv2.tv_usec - tv1.tv_usec) / 1000;
203     map_print(map);
204     printf("Th:%d Time:%dms\n", 2, ms);
205     fflush(stdout);
206
207     // In the end, all members should be removed
208     ASSERT_EQUAL( 0, map_count(map) );
209     ASSERT_EQUAL( 0, iterator_size(map) );
210
211     // In a quiecent state; it is safe to free.
212     map_free(map);
213 }
214
215 void basic_iteration_test (CuTest* tc) {
216 #ifdef TEST_STRING_KEYS
217     map_t *map = map_alloc(map_type_, &DATATYPE_NSTRING);
218     nstring_t *k1 = ns_alloc(3); strcpy(k1->data, "k1");
219     nstring_t *k2 = ns_alloc(3); strcpy(k1->data, "k2");
220     nstring_t *x_k;
221     nstring_t *y_k;
222 #else
223     map_t *map = map_alloc(map_type_, NULL);
224     void *k1 = (void *)1;
225     void *k2 = (void *)2;
226     void *x_k;
227     void *y_k;
228 #endif
229
230     ASSERT_EQUAL( DOES_NOT_EXIST, map_add    (map, k1,1) );
231     ASSERT_EQUAL( DOES_NOT_EXIST, map_add    (map, k2,2) );
232
233     uint64_t x_v, y_v;
234     map_iter_t *iter = map_iter_begin(map, NULL);
235     x_v = map_iter_next(iter, &x_k);
236     y_v = map_iter_next(iter, &y_k);
237     ASSERT_EQUAL( DOES_NOT_EXIST, map_iter_next(iter, NULL) );
238     map_iter_free(iter);
239 #ifdef TEST_STRING_KEYS
240     ASSERT_EQUAL( TRUE, (ns_cmp(x_k, k1) == 0 && x_v == 1) || (ns_cmp(y_k, k1) == 0 && y_v == 1) );
241     ASSERT_EQUAL( TRUE, (ns_cmp(x_k, k2) == 0 && x_v == 2) || (ns_cmp(y_k, k2) == 0 && y_v == 2) );
242     nbd_free(k1);
243     nbd_free(k2);
244 #else
245     ASSERT_EQUAL( TRUE, (x_k == k1 && x_v == 1) || (y_k == k1 && y_v == 1) );
246     ASSERT_EQUAL( TRUE, (x_k == k2 && x_v == 2) || (y_k == k2 && y_v == 2) );
247 #endif
248
249     map_free(map);
250 }
251
252 void big_iteration_test (CuTest* tc) {
253     static const int n = 10000;
254     
255 #ifdef TEST_STRING_KEYS
256     map_t *map = map_alloc(map_type_, &DATATYPE_NSTRING);
257     nstring_t *key = ns_alloc(9);
258     nstring_t *k3 = ns_alloc(3); strcpy(k1->data, "k3");
259     nstring_t *k4 = ns_alloc(3); strcpy(k1->data, "k4");
260 #else
261     map_t *map = map_alloc(map_type_, NULL);
262     void *k3 = (void *)3;
263     void *k4 = (void *)4;
264     void *key;
265 #endif
266
267     for (size_t i = 1; i <= n; ++i) {
268 #ifdef TEST_STRING_KEYS
269         memset(key->data, 0, key->len);
270         snprintf(key->data, key->len, "k%llu", i);
271 #else
272         key = (void *)i;
273 #endif
274         ASSERT_EQUAL( DOES_NOT_EXIST, map_get(map, key)    );
275         ASSERT_EQUAL( DOES_NOT_EXIST, map_set(map, key, i) );
276         ASSERT_EQUAL( i,              map_get(map, key)    );
277         rcu_update(); // In a quiecent state.
278     }
279
280     ASSERT_EQUAL( n, map_count(map) );
281     ASSERT_EQUAL( n, iterator_size(map) );
282
283     uint64_t sum = 0;
284     uint64_t val;
285     map_iter_t *iter = map_iter_begin(map, NULL);
286     while ((val = map_iter_next(iter, NULL)) != DOES_NOT_EXIST) {
287         sum += val;
288     }
289     map_iter_free(iter);
290     ASSERT_EQUAL(n*(n+1)/2, sum);
291     ASSERT_EQUAL(3, map_remove(map, k3));
292     ASSERT_EQUAL(4, map_remove(map, k4));
293     sum = 0;
294     iter = map_iter_begin(map, NULL);
295     while ((val = map_iter_next(iter, NULL)) != DOES_NOT_EXIST) {
296         sum += val;
297     }
298     map_iter_free(iter);
299     ASSERT_EQUAL(n*(n+1)/2 - (3+4), sum);
300         
301 #ifdef TEST_STRING_KEYS
302     nbd_free(key);
303 #endif
304 }
305
306 int main (void) {
307
308     nbd_init();
309     lwt_set_trace_level("h3");
310
311     static const map_impl_t *map_types[] = { &ll_map_impl, &sl_map_impl, &ht_map_impl };
312     for (int i = 0; i < sizeof(map_types)/sizeof(*map_types); ++i) {
313         map_type_ = map_types[i];
314
315         // Create and run test suite
316         CuString *output = CuStringNew();
317         CuSuite* suite = CuSuiteNew();
318
319         SUITE_ADD_TEST(suite, basic_test);
320         SUITE_ADD_TEST(suite, concurrent_add_remove_test);
321         SUITE_ADD_TEST(suite, basic_iteration_test);
322         SUITE_ADD_TEST(suite, big_iteration_test);
323
324         CuSuiteRun(suite);
325         CuSuiteDetails(suite, output);
326         printf("%s\n", output->buffer);
327     }
328
329     return 0;
330 }