pd.if.org Git - nbds/blob - test/map_test2.c

   1 /*
   2  * Written by Josh Dybnis and released to the public domain, as explained at
   3  * http://creativecommons.org/licenses/publicdomain
   4  *
   5  * tests ported from high-scale-lib
   6  * http://sourceforge.net/projects/high-scale-lib
   7  */
   8 #include <stdio.h>
   9 #include <pthread.h>
  10 #include <sys/time.h>
  11
  12 #include "CuTest.h"
  13
  14 #include "common.h"
  15 #include "runtime.h"
  16 #include "nstring.h"
  17 #include "map.h"
  18 #include "list.h"
  19 #include "skiplist.h"
  20 #include "hashtable.h"
  21 #include "lwt.h"
  22
  23 #define ASSERT_EQUAL(x, y) CuAssertIntEquals(tc, x, y)
  24
  25 //#define TEST_STRING_KEYS
  26
  27 typedef struct worker_data {
  28     int id;
  29     CuTest *tc;
  30     map_t *map;
  31     volatile int *wait;
  32 } worker_data_t;
  33
  34 static const map_impl_t *map_type_;
  35
  36 static uint64_t iterator_size (map_t *map) {
  37     map_iter_t *iter = map_iter_begin(map, NULL);
  38     uint64_t count = 0;
  39     while (map_iter_next(iter, NULL) != DOES_NOT_EXIST) {
  40         count++;
  41     }
  42     map_iter_free(iter);
  43     return count;
  44 }
  45
  46 // Test some basic stuff; add a few keys, remove a few keys
  47 void basic_test (CuTest* tc) {
  48
  49 #ifdef TEST_STRING_KEYS
  50     map_t *map = map_alloc(map_type_, &DATATYPE_NSTRING);
  51     nstring_t *k1 = ns_alloc(3); strcpy(k1->data, "k1");
  52     nstring_t *k2 = ns_alloc(3); strcpy(k1->data, "k2");
  53     nstring_t *k3 = ns_alloc(3); strcpy(k1->data, "k3");
  54     nstring_t *k4 = ns_alloc(3); strcpy(k1->data, "k4");
  55 #else
  56     map_t *map = map_alloc(map_type_, NULL);
  57     void *k1 = (void *)1;
  58     void *k2 = (void *)2;
  59     void *k3 = (void *)3;
  60     void *k4 = (void *)4;
  61 #endif
  62
  63     ASSERT_EQUAL( 0,              map_count  (map)        );
  64     ASSERT_EQUAL( DOES_NOT_EXIST, map_add    (map, k1,10) );
  65     ASSERT_EQUAL( 1,              map_count  (map)        );
  66     ASSERT_EQUAL( 1,              iterator_size(map)      );
  67     ASSERT_EQUAL( DOES_NOT_EXIST, map_add    (map, k2,20) );
  68     ASSERT_EQUAL( 2,              map_count  (map)        );
  69     ASSERT_EQUAL( 2,              iterator_size(map)      );
  70     ASSERT_EQUAL( 20,             map_get    (map, k2)    );
  71     ASSERT_EQUAL( 10,             map_set    (map, k1,11) );
  72     ASSERT_EQUAL( 20,             map_set    (map, k2,21) );
  73     ASSERT_EQUAL( 2,              map_count  (map)        );
  74     ASSERT_EQUAL( 2,              iterator_size(map)      );
  75     ASSERT_EQUAL( 21,             map_add    (map, k2,22) );
  76     ASSERT_EQUAL( 11,             map_remove (map, k1)    );
  77     ASSERT_EQUAL( DOES_NOT_EXIST, map_get    (map, k1)    );
  78     ASSERT_EQUAL( 1,              map_count  (map)        );
  79     ASSERT_EQUAL( 1,              iterator_size(map)      );
  80     ASSERT_EQUAL( DOES_NOT_EXIST, map_remove (map, k1)    );
  81     ASSERT_EQUAL( 21,             map_remove (map, k2)    );
  82     ASSERT_EQUAL( 0,              map_count  (map)        );
  83     ASSERT_EQUAL( 0,              iterator_size(map)      );
  84     ASSERT_EQUAL( DOES_NOT_EXIST, map_remove (map, k2)    );
  85     ASSERT_EQUAL( DOES_NOT_EXIST, map_remove (map, k3)    );
  86     ASSERT_EQUAL( 0,              map_count  (map)        );
  87     ASSERT_EQUAL( 0,              iterator_size(map)      );
  88
  89     ASSERT_EQUAL( DOES_NOT_EXIST, map_add    (map, k4,40) );
  90     ASSERT_EQUAL( 40,             map_get    (map, k4)    );
  91     ASSERT_EQUAL( 1,              map_count  (map)        );
  92     ASSERT_EQUAL( 1,              iterator_size(map)      );
  93     ASSERT_EQUAL( 40,             map_remove (map, k4)    );
  94     ASSERT_EQUAL( DOES_NOT_EXIST, map_get    (map, k4)    );
  95     ASSERT_EQUAL( 0,              map_count  (map)        );
  96     ASSERT_EQUAL( 0,              iterator_size(map)      );
  97
  98     ASSERT_EQUAL( DOES_NOT_EXIST, map_replace(map, k4,10) );
  99     ASSERT_EQUAL( DOES_NOT_EXIST, map_get    (map, k4)    );
 100     ASSERT_EQUAL( DOES_NOT_EXIST, map_set    (map, k4,40) );
 101     ASSERT_EQUAL( 40,             map_replace(map, k4,41) );
 102     ASSERT_EQUAL( 41,             map_get    (map, k4)    );
 103     ASSERT_EQUAL( 41,             map_remove (map, k4)    );
 104     ASSERT_EQUAL( DOES_NOT_EXIST, map_get    (map, k4)    );
 105     ASSERT_EQUAL( 0,              map_count  (map)        );
 106     ASSERT_EQUAL( 0,              iterator_size(map)      );
 107
 108     ASSERT_EQUAL( DOES_NOT_EXIST, map_replace(map, k2,20) );
 109     ASSERT_EQUAL( DOES_NOT_EXIST, map_get    (map, k2)    );
 110
 111     // In the end, all entries should be removed
 112     ASSERT_EQUAL( DOES_NOT_EXIST, map_set    (map, k2,20) );
 113     ASSERT_EQUAL( 20,             map_replace(map, k2,21) );
 114     ASSERT_EQUAL( 21,             map_get    (map, k2)    );
 115     ASSERT_EQUAL( 21,             map_remove (map, k2)    );
 116     ASSERT_EQUAL( DOES_NOT_EXIST, map_get    (map, k2)    );
 117     ASSERT_EQUAL( 0,              map_count  (map)        );
 118     ASSERT_EQUAL( 0,              iterator_size(map)      );
 119
 120     map_free(map);
 121
 122     rcu_update(); // In a quiecent state.
 123 #ifdef TEST_STRING_KEYS
 124     nbd_free(k1); nbd_free(k2); nbd_free(k3); nbd_free(k4);
 125 #endif
 126 }
 127
 128 void *add_remove_worker (void *arg) {
 129     worker_data_t *wd = (worker_data_t *)arg;
 130     map_t *map = wd->map;
 131     CuTest* tc = wd->tc;
 132     uint64_t d = wd->id;
 133     int iters = 10000;
 134
 135     SYNC_ADD(wd->wait, -1);
 136     do { } while (*wd->wait); // wait for all workers to be ready
 137
 138 #ifdef TEST_STRING_KEYS
 139     nstring_t *key = ns_alloc(9);
 140 #else
 141     void *key;
 142 #endif
 143
 144     for (int j = 0; j < 10; ++j) {
 145         for (uint64_t i = d+1; i < iters; i+=2) {
 146 #ifdef TEST_STRING_KEYS
 147             memset(key->data, 0, key->len);
 148             snprintf(key->data, key->len, "%llu", i);
 149 #else
 150             key = (void *)i;
 151 #endif
 152             TRACE("t0", "test map_add() iteration (%llu, %llu)", j, i);
 153             ASSERT_EQUAL(DOES_NOT_EXIST, map_add(map, key, d+1) );
 154             rcu_update(); // In a quiecent state.
 155         }
 156         for (uint64_t i = d+1; i < iters; i+=2) {
 157 #ifdef TEST_STRING_KEYS
 158             memset(key->data, 0, key->len);
 159             snprintf(key->data, key->len, "%llu", i);
 160 #else
 161             key = (void *)i;
 162 #endif
 163             TRACE("t0", "test map_remove() iteration (%llu, %llu)", j, i);
 164             ASSERT_EQUAL(d+1, map_remove(map, key) );
 165             rcu_update(); // In a quiecent state.
 166         }
 167     }
 168     return NULL;
 169 }
 170
 171 // Do some simple concurrent testing
 172 void concurrent_add_remove_test (CuTest* tc) {
 173
 174     pthread_t thread[2];
 175     worker_data_t wd[2];
 176     volatile int wait = 2;
 177 #ifdef TEST_STRING_KEYS
 178     map_t *map = map_alloc(map_type_, &DATATYPE_NSTRING);
 179 #else
 180     map_t *map = map_alloc(map_type_, NULL);
 181 #endif
 182
 183     struct timeval tv1, tv2;
 184     gettimeofday(&tv1, NULL);
 185
 186     // In 2 threads, add & remove even & odd elements concurrently
 187     int i;
 188     for (i = 0; i < 2; ++i) {
 189         wd[i].id = i;
 190         wd[i].tc = tc;
 191         wd[i].map = map;
 192         wd[i].wait = &wait;
 193         int rc = nbd_thread_create(thread + i, i, add_remove_worker, wd + i);
 194         if (rc != 0) { perror("nbd_thread_create"); return; }
 195     }
 196
 197     for (i = 0; i < 2; ++i) {
 198         pthread_join(thread[i], NULL);
 199     }
 200
 201     gettimeofday(&tv2, NULL);
 202     int ms = (int)(1000000*(tv2.tv_sec - tv1.tv_sec) + tv2.tv_usec - tv1.tv_usec) / 1000;
 203     map_print(map);
 204     printf("Th:%d Time:%dms\n", 2, ms);
 205     fflush(stdout);
 206
 207     // In the end, all members should be removed
 208     ASSERT_EQUAL( 0, map_count(map) );
 209     ASSERT_EQUAL( 0, iterator_size(map) );
 210
 211     // In a quiecent state; it is safe to free.
 212     map_free(map);
 213 }
 214
 215 void basic_iteration_test (CuTest* tc) {
 216 #ifdef TEST_STRING_KEYS
 217     map_t *map = map_alloc(map_type_, &DATATYPE_NSTRING);
 218     nstring_t *k1 = ns_alloc(3); strcpy(k1->data, "k1");
 219     nstring_t *k2 = ns_alloc(3); strcpy(k1->data, "k2");
 220     nstring_t *x_k;
 221     nstring_t *y_k;
 222 #else
 223     map_t *map = map_alloc(map_type_, NULL);
 224     void *k1 = (void *)1;
 225     void *k2 = (void *)2;
 226     void *x_k;
 227     void *y_k;
 228 #endif
 229
 230     ASSERT_EQUAL( DOES_NOT_EXIST, map_add    (map, k1,1) );
 231     ASSERT_EQUAL( DOES_NOT_EXIST, map_add    (map, k2,2) );
 232
 233     uint64_t x_v, y_v;
 234     map_iter_t *iter = map_iter_begin(map, NULL);
 235     x_v = map_iter_next(iter, &x_k);
 236     y_v = map_iter_next(iter, &y_k);
 237     ASSERT_EQUAL( DOES_NOT_EXIST, map_iter_next(iter, NULL) );
 238     map_iter_free(iter);
 239 #ifdef TEST_STRING_KEYS
 240     ASSERT_EQUAL( TRUE, (ns_cmp(x_k, k1) == 0 && x_v == 1) || (ns_cmp(y_k, k1) == 0 && y_v == 1) );
 241     ASSERT_EQUAL( TRUE, (ns_cmp(x_k, k2) == 0 && x_v == 2) || (ns_cmp(y_k, k2) == 0 && y_v == 2) );
 242     nbd_free(k1);
 243     nbd_free(k2);
 244 #else
 245     ASSERT_EQUAL( TRUE, (x_k == k1 && x_v == 1) || (y_k == k1 && y_v == 1) );
 246     ASSERT_EQUAL( TRUE, (x_k == k2 && x_v == 2) || (y_k == k2 && y_v == 2) );
 247 #endif
 248
 249     map_free(map);
 250 }
 251
 252 void big_iteration_test (CuTest* tc) {
 253     static const int n = 10000;
 254
 255 #ifdef TEST_STRING_KEYS
 256     map_t *map = map_alloc(map_type_, &DATATYPE_NSTRING);
 257     nstring_t *key = ns_alloc(9);
 258     nstring_t *k3 = ns_alloc(3); strcpy(k1->data, "k3");
 259     nstring_t *k4 = ns_alloc(3); strcpy(k1->data, "k4");
 260 #else
 261     map_t *map = map_alloc(map_type_, NULL);
 262     void *k3 = (void *)3;
 263     void *k4 = (void *)4;
 264     void *key;
 265 #endif
 266
 267     for (size_t i = 1; i <= n; ++i) {
 268 #ifdef TEST_STRING_KEYS
 269         memset(key->data, 0, key->len);
 270         snprintf(key->data, key->len, "k%llu", i);
 271 #else
 272         key = (void *)i;
 273 #endif
 274         ASSERT_EQUAL( DOES_NOT_EXIST, map_get(map, key)    );
 275         ASSERT_EQUAL( DOES_NOT_EXIST, map_set(map, key, i) );
 276         ASSERT_EQUAL( i,              map_get(map, key)    );
 277         rcu_update(); // In a quiecent state.
 278     }
 279
 280     ASSERT_EQUAL( n, map_count(map) );
 281     ASSERT_EQUAL( n, iterator_size(map) );
 282
 283     uint64_t sum = 0;
 284     uint64_t val;
 285     map_iter_t *iter = map_iter_begin(map, NULL);
 286     while ((val = map_iter_next(iter, NULL)) != DOES_NOT_EXIST) {
 287         sum += val;
 288     }
 289     map_iter_free(iter);
 290     ASSERT_EQUAL(n*(n+1)/2, sum);
 291     ASSERT_EQUAL(3, map_remove(map, k3));
 292     ASSERT_EQUAL(4, map_remove(map, k4));
 293     sum = 0;
 294     iter = map_iter_begin(map, NULL);
 295     while ((val = map_iter_next(iter, NULL)) != DOES_NOT_EXIST) {
 296         sum += val;
 297     }
 298     map_iter_free(iter);
 299     ASSERT_EQUAL(n*(n+1)/2 - (3+4), sum);
 300
 301 #ifdef TEST_STRING_KEYS
 302     nbd_free(key);
 303 #endif
 304 }
 305
 306 int main (void) {
 307
 308     nbd_init();
 309     lwt_set_trace_level("h3");
 310
 311     static const map_impl_t *map_types[] = { &ll_map_impl, &sl_map_impl, &ht_map_impl };
 312     for (int i = 0; i < sizeof(map_types)/sizeof(*map_types); ++i) {
 313         map_type_ = map_types[i];
 314
 315         // Create and run test suite
 316         CuString *output = CuStringNew();
 317         CuSuite* suite = CuSuiteNew();
 318
 319         SUITE_ADD_TEST(suite, basic_test);
 320         SUITE_ADD_TEST(suite, concurrent_add_remove_test);
 321         SUITE_ADD_TEST(suite, basic_iteration_test);
 322         SUITE_ADD_TEST(suite, big_iteration_test);
 323
 324         CuSuiteRun(suite);
 325         CuSuiteDetails(suite, output);
 326         printf("%s\n", output->buffer);
 327     }
 328
 329     return 0;
 330 }