pd.if.org Git - nbds/blob - test/map_test2.c

   1 /*
   2  * Written by Josh Dybnis and released to the public domain, as explained at
   3  * http://creativecommons.org/licenses/publicdomain
   4  *
   5  * tests ported from high-scale-lib
   6  * http://sourceforge.net/projects/high-scale-lib
   7  */
   8 #include <stdio.h>
   9 #include <pthread.h>
  10 #include <sys/time.h>
  11
  12 #include "CuTest.h"
  13
  14 #include "common.h"
  15 #include "runtime.h"
  16 #include "nstring.h"
  17 #include "map.h"
  18 #include "list.h"
  19 #include "skiplist.h"
  20 #include "hashtable.h"
  21 #include "lwt.h"
  22
  23 #define ASSERT_EQUAL(x, y) CuAssertIntEquals(tc, x, y)
  24
  25 //#define TEST_STRING_KEYS
  26
  27 typedef struct worker_data {
  28     int id;
  29     CuTest *tc;
  30     map_t *map;
  31     volatile int *wait;
  32 } worker_data_t;
  33
  34 static const map_impl_t *map_type_;
  35
  36 static uint64_t iterator_size (map_t *map) {
  37     map_iter_t *iter = map_iter_begin(map, 0);
  38     uint64_t count = 0;
  39     while (map_iter_next(iter, NULL) != DOES_NOT_EXIST) {
  40         count++;
  41     }
  42     map_iter_free(iter);
  43     return count;
  44 }
  45
  46 // Test some basic stuff; add a few keys, remove a few keys
  47 void basic_test (CuTest* tc) {
  48
  49 #ifdef TEST_STRING_KEYS
  50     map_t *map = map_alloc(map_type_, &DATATYPE_NSTRING);
  51     nstring_t *k1 = ns_alloc(3); strcpy(k1->data, "k1");
  52     nstring_t *k2 = ns_alloc(3); strcpy(k1->data, "k2");
  53     nstring_t *k3 = ns_alloc(3); strcpy(k1->data, "k3");
  54     nstring_t *k4 = ns_alloc(3); strcpy(k1->data, "k4");
  55 #else
  56     map_t *map = map_alloc(map_type_, NULL);
  57     map_key_t k1 = (map_key_t)1;
  58     map_key_t k2 = (map_key_t)2;
  59     map_key_t k3 = (map_key_t)3;
  60     map_key_t k4 = (map_key_t)4;
  61 #endif
  62
  63     ASSERT_EQUAL( 0,              map_count  (map)        );
  64     ASSERT_EQUAL( DOES_NOT_EXIST, map_add    (map, k1,10) );
  65     ASSERT_EQUAL( 1,              map_count  (map)        );
  66     ASSERT_EQUAL( 1,              iterator_size(map)      );
  67     ASSERT_EQUAL( DOES_NOT_EXIST, map_add    (map, k2,20) );
  68     ASSERT_EQUAL( 2,              map_count  (map)        );
  69     ASSERT_EQUAL( 2,              iterator_size(map)      );
  70     ASSERT_EQUAL( 20,             map_get    (map, k2)    );
  71     ASSERT_EQUAL( 10,             map_set    (map, k1,11) );
  72     ASSERT_EQUAL( 20,             map_set    (map, k2,21) );
  73     ASSERT_EQUAL( 2,              map_count  (map)        );
  74     ASSERT_EQUAL( 2,              iterator_size(map)      );
  75     ASSERT_EQUAL( 21,             map_add    (map, k2,22) );
  76     ASSERT_EQUAL( 11,             map_remove (map, k1)    );
  77     ASSERT_EQUAL( DOES_NOT_EXIST, map_get    (map, k1)    );
  78     ASSERT_EQUAL( 1,              map_count  (map)        );
  79     ASSERT_EQUAL( 1,              iterator_size(map)      );
  80     ASSERT_EQUAL( DOES_NOT_EXIST, map_remove (map, k1)    );
  81     ASSERT_EQUAL( 21,             map_remove (map, k2)    );
  82     ASSERT_EQUAL( 0,              map_count  (map)        );
  83     ASSERT_EQUAL( 0,              iterator_size(map)      );
  84     ASSERT_EQUAL( DOES_NOT_EXIST, map_remove (map, k2)    );
  85     ASSERT_EQUAL( DOES_NOT_EXIST, map_remove (map, k3)    );
  86     ASSERT_EQUAL( 0,              map_count  (map)        );
  87     ASSERT_EQUAL( 0,              iterator_size(map)      );
  88
  89     ASSERT_EQUAL( DOES_NOT_EXIST, map_add    (map, k4,40) );
  90     ASSERT_EQUAL( 40,             map_get    (map, k4)    );
  91     ASSERT_EQUAL( 1,              map_count  (map)        );
  92     ASSERT_EQUAL( 1,              iterator_size(map)      );
  93     ASSERT_EQUAL( 40,             map_remove (map, k4)    );
  94     ASSERT_EQUAL( DOES_NOT_EXIST, map_get    (map, k4)    );
  95     ASSERT_EQUAL( 0,              map_count  (map)        );
  96     ASSERT_EQUAL( 0,              iterator_size(map)      );
  97
  98     ASSERT_EQUAL( DOES_NOT_EXIST, map_replace(map, k4,10) );
  99     ASSERT_EQUAL( DOES_NOT_EXIST, map_get    (map, k4)    );
 100     ASSERT_EQUAL( DOES_NOT_EXIST, map_set    (map, k4,40) );
 101     ASSERT_EQUAL( 40,             map_replace(map, k4,41) );
 102     ASSERT_EQUAL( 41,             map_get    (map, k4)    );
 103     ASSERT_EQUAL( 41,             map_remove (map, k4)    );
 104     ASSERT_EQUAL( DOES_NOT_EXIST, map_get    (map, k4)    );
 105     ASSERT_EQUAL( 0,              map_count  (map)        );
 106     ASSERT_EQUAL( 0,              iterator_size(map)      );
 107
 108     ASSERT_EQUAL( DOES_NOT_EXIST, map_replace(map, k2,20) );
 109     ASSERT_EQUAL( DOES_NOT_EXIST, map_get    (map, k2)    );
 110
 111     // In the end, all entries should be removed
 112     ASSERT_EQUAL( DOES_NOT_EXIST, map_set    (map, k2,20) );
 113     ASSERT_EQUAL( 20,             map_replace(map, k2,21) );
 114     ASSERT_EQUAL( 21,             map_get    (map, k2)    );
 115     ASSERT_EQUAL( 21,             map_remove (map, k2)    );
 116     ASSERT_EQUAL( DOES_NOT_EXIST, map_get    (map, k2)    );
 117     ASSERT_EQUAL( 0,              map_count  (map)        );
 118     ASSERT_EQUAL( 0,              iterator_size(map)      );
 119
 120     map_free(map);
 121
 122     rcu_update(); // In a quiecent state.
 123 #ifdef TEST_STRING_KEYS
 124     nbd_free(k1); nbd_free(k2); nbd_free(k3); nbd_free(k4);
 125 #endif
 126 }
 127
 128 void *add_remove_worker (void *arg) {
 129     worker_data_t *wd = (worker_data_t *)arg;
 130     map_t *map = wd->map;
 131     CuTest* tc = wd->tc;
 132     uint64_t d = wd->id;
 133     int iters = 10000;
 134
 135     SYNC_ADD(wd->wait, -1);
 136     do { } while (*wd->wait); // wait for all workers to be ready
 137
 138 #ifdef TEST_STRING_KEYS
 139     nstring_t *key = ns_alloc(9);
 140 #else
 141     map_key_t key;
 142 #endif
 143
 144     for (int j = 0; j < 10; ++j) {
 145         for (uint64_t i = d+1; i < iters; i+=2) {
 146 #ifdef TEST_STRING_KEYS
 147             memset(key->data, 0, key->len);
 148             snprintf(key->data, key->len, "%llu", i);
 149 #else
 150             key = (map_key_t)i;
 151 #endif
 152             TRACE("t0", "test map_add() iteration (%llu, %llu)", j, i);
 153             ASSERT_EQUAL(DOES_NOT_EXIST, map_add(map, key, d+1) );
 154             rcu_update(); // In a quiecent state.
 155         }
 156         for (uint64_t i = d+1; i < iters; i+=2) {
 157 #ifdef TEST_STRING_KEYS
 158             memset(key->data, 0, key->len);
 159             snprintf(key->data, key->len, "%llu", i);
 160 #else
 161             key = (map_key_t)i;
 162 #endif
 163             TRACE("t0", "test map_remove() iteration (%llu, %llu)", j, i);
 164             ASSERT_EQUAL(d+1, map_remove(map, key) );
 165             rcu_update(); // In a quiecent state.
 166         }
 167     }
 168     return NULL;
 169 }
 170
 171 // Do some simple concurrent testing
 172 void concurrent_add_remove_test (CuTest* tc) {
 173
 174     pthread_t thread[2];
 175     worker_data_t wd[2];
 176     static const int num_threads = 2;
 177     volatile int wait = num_threads;
 178 #ifdef TEST_STRING_KEYS
 179     map_t *map = map_alloc(map_type_, &DATATYPE_NSTRING);
 180 #else
 181     map_t *map = map_alloc(map_type_, NULL);
 182 #endif
 183
 184     struct timeval tv1, tv2;
 185     gettimeofday(&tv1, NULL);
 186
 187     // In 2 threads, add & remove even & odd elements concurrently
 188     int i;
 189     for (i = 0; i < num_threads; ++i) {
 190         wd[i].id = i;
 191         wd[i].tc = tc;
 192         wd[i].map = map;
 193         wd[i].wait = &wait;
 194         int rc = nbd_thread_create(thread + i, i, add_remove_worker, wd + i);
 195         if (rc != 0) { perror("nbd_thread_create"); return; }
 196     }
 197
 198     for (i = 0; i < num_threads; ++i) {
 199         pthread_join(thread[i], NULL);
 200     }
 201
 202     gettimeofday(&tv2, NULL);
 203     int ms = (int)(1000000*(tv2.tv_sec - tv1.tv_sec) + tv2.tv_usec - tv1.tv_usec) / 1000;
 204     map_print(map);
 205     printf("Th:%d Time:%dms\n", num_threads, ms);
 206     fflush(stdout);
 207
 208     // In the end, all members should be removed
 209     ASSERT_EQUAL( 0, map_count(map) );
 210     ASSERT_EQUAL( 0, iterator_size(map) );
 211
 212     // In a quiecent state; it is safe to free.
 213     map_free(map);
 214 }
 215
 216 void basic_iteration_test (CuTest* tc) {
 217 #ifdef TEST_STRING_KEYS
 218     map_t *map = map_alloc(map_type_, &DATATYPE_NSTRING);
 219     nstring_t *k1 = ns_alloc(3); strcpy(k1->data, "k1");
 220     nstring_t *k2 = ns_alloc(3); strcpy(k1->data, "k2");
 221     nstring_t *x_k;
 222     nstring_t *y_k;
 223 #else
 224     map_t *map = map_alloc(map_type_, NULL);
 225     map_key_t k1 = (map_key_t)1;
 226     map_key_t k2 = (map_key_t)2;
 227     map_key_t x_k;
 228     map_key_t y_k;
 229 #endif
 230
 231     ASSERT_EQUAL( DOES_NOT_EXIST, map_add    (map, k1,1) );
 232     ASSERT_EQUAL( DOES_NOT_EXIST, map_add    (map, k2,2) );
 233
 234     uint64_t x_v, y_v;
 235     map_iter_t *iter = map_iter_begin(map, 0);
 236     x_v = map_iter_next(iter, &x_k);
 237     y_v = map_iter_next(iter, &y_k);
 238     ASSERT_EQUAL( DOES_NOT_EXIST, map_iter_next(iter, NULL) );
 239     map_iter_free(iter);
 240 #ifdef TEST_STRING_KEYS
 241     ASSERT_EQUAL( TRUE, (ns_cmp(x_k, k1) == 0 && x_v == 1) || (ns_cmp(y_k, k1) == 0 && y_v == 1) );
 242     ASSERT_EQUAL( TRUE, (ns_cmp(x_k, k2) == 0 && x_v == 2) || (ns_cmp(y_k, k2) == 0 && y_v == 2) );
 243     nbd_free(k1);
 244     nbd_free(k2);
 245 #else
 246     ASSERT_EQUAL( TRUE, (x_k == k1 && x_v == 1) || (y_k == k1 && y_v == 1) );
 247     ASSERT_EQUAL( TRUE, (x_k == k2 && x_v == 2) || (y_k == k2 && y_v == 2) );
 248 #endif
 249
 250     map_free(map);
 251 }
 252
 253 void big_iteration_test (CuTest* tc) {
 254     static const int n = 10000;
 255
 256 #ifdef TEST_STRING_KEYS
 257     map_t *map = map_alloc(map_type_, &DATATYPE_NSTRING);
 258     nstring_t *key = ns_alloc(9);
 259     nstring_t *k3 = ns_alloc(3); strcpy(k1->data, "k3");
 260     nstring_t *k4 = ns_alloc(3); strcpy(k1->data, "k4");
 261 #else
 262     map_t *map = map_alloc(map_type_, NULL);
 263     map_key_t k3 = (map_key_t)3;
 264     map_key_t k4 = (map_key_t)4;
 265     map_key_t key;
 266 #endif
 267
 268     for (size_t i = 1; i <= n; ++i) {
 269 #ifdef TEST_STRING_KEYS
 270         memset(key->data, 0, key->len);
 271         snprintf(key->data, key->len, "k%llu", i);
 272 #else
 273         key = (map_key_t)i;
 274 #endif
 275         ASSERT_EQUAL( DOES_NOT_EXIST, map_get(map, key)    );
 276         ASSERT_EQUAL( DOES_NOT_EXIST, map_set(map, key, i) );
 277         ASSERT_EQUAL( i,              map_get(map, key)    );
 278         rcu_update(); // In a quiecent state.
 279     }
 280
 281     ASSERT_EQUAL( n, map_count(map) );
 282     ASSERT_EQUAL( n, iterator_size(map) );
 283
 284     uint64_t sum = 0;
 285     uint64_t val;
 286     map_iter_t *iter = map_iter_begin(map, 0);
 287     while ((val = map_iter_next(iter, NULL)) != DOES_NOT_EXIST) {
 288         sum += val;
 289     }
 290     map_iter_free(iter);
 291     ASSERT_EQUAL(n*(n+1)/2, sum);
 292     ASSERT_EQUAL(3, map_remove(map, k3));
 293     ASSERT_EQUAL(4, map_remove(map, k4));
 294     sum = 0;
 295     iter = map_iter_begin(map, 0);
 296     while ((val = map_iter_next(iter, NULL)) != DOES_NOT_EXIST) {
 297         sum += val;
 298     }
 299     map_iter_free(iter);
 300     ASSERT_EQUAL(n*(n+1)/2 - (3+4), sum);
 301
 302 #ifdef TEST_STRING_KEYS
 303     nbd_free(key);
 304 #endif
 305 }
 306
 307 int main (void) {
 308
 309     nbd_init();
 310     lwt_set_trace_level("h3");
 311
 312     static const map_impl_t *map_types[] = { &ll_map_impl, &sl_map_impl, &ht_map_impl };
 313     for (int i = 0; i < sizeof(map_types)/sizeof(*map_types); ++i) {
 314         map_type_ = map_types[i];
 315
 316         // Create and run test suite
 317         CuString *output = CuStringNew();
 318         CuSuite* suite = CuSuiteNew();
 319
 320         SUITE_ADD_TEST(suite, basic_test);
 321         SUITE_ADD_TEST(suite, basic_iteration_test);
 322         SUITE_ADD_TEST(suite, big_iteration_test);
 323         SUITE_ADD_TEST(suite, concurrent_add_remove_test);
 324
 325         CuSuiteRun(suite);
 326         CuSuiteDetails(suite, output);
 327         printf("%s\n", output->buffer);
 328     }
 329
 330     return 0;
 331 }