pd.if.org Git - nbds/blob - test/map_test2.c

   1 /*
   2  * Written by Josh Dybnis and released to the public domain, as explained at
   3  * http://creativecommons.org/licenses/publicdomain
   4  *
   5  * tests ported from high-scale-lib
   6  * http://sourceforge.net/projects/high-scale-lib
   7  */
   8 #include <stdio.h>
   9 #include <pthread.h>
  10 #include <sys/time.h>
  11
  12 #include "CuTest.h"
  13
  14 #include "common.h"
  15 #include "runtime.h"
  16 #include "nstring.h"
  17 #include "map.h"
  18 #include "list.h"
  19 #include "skiplist.h"
  20 #include "hashtable.h"
  21 #include "lwt.h"
  22 #include "mem.h"
  23 #include "rcu.h"
  24
  25 #define ASSERT_EQUAL(x, y) CuAssertIntEquals(tc, x, y)
  26
  27 //#define TEST_STRING_KEYS
  28
  29 typedef struct worker_data {
  30     int id;
  31     CuTest *tc;
  32     map_t *map;
  33     volatile int *wait;
  34 } worker_data_t;
  35
  36 static const map_impl_t *map_type_;
  37
  38 static size_t iterator_size (map_t *map) {
  39     map_iter_t *iter = map_iter_begin(map, 0);
  40     size_t count = 0;
  41     while (map_iter_next(iter, NULL) != DOES_NOT_EXIST) {
  42         count++;
  43     }
  44     map_iter_free(iter);
  45     return count;
  46 }
  47
  48 // Test some basic stuff; add a few keys, remove a few keys
  49 void basic_test (CuTest* tc) {
  50
  51 #ifdef TEST_STRING_KEYS
  52     map_t *map = map_alloc(map_type_, &DATATYPE_NSTRING);
  53     nstring_t *s1 = ns_alloc(3); strcpy(s1->data, "k1");
  54     nstring_t *s2 = ns_alloc(3); strcpy(s2->data, "k2");
  55     nstring_t *s3 = ns_alloc(3); strcpy(s3->data, "k3");
  56     nstring_t *s4 = ns_alloc(3); strcpy(s4->data, "k4");
  57     map_key_t k1 = (map_key_t)s1;
  58     map_key_t k2 = (map_key_t)s2;
  59     map_key_t k3 = (map_key_t)s3;
  60     map_key_t k4 = (map_key_t)s4;
  61 #else
  62     map_t *map = map_alloc(map_type_, NULL);
  63     map_key_t k1 = (map_key_t)1;
  64     map_key_t k2 = (map_key_t)2;
  65     map_key_t k3 = (map_key_t)3;
  66     map_key_t k4 = (map_key_t)4;
  67 #endif
  68
  69     ASSERT_EQUAL( 0,              map_count  (map)        );
  70     ASSERT_EQUAL( DOES_NOT_EXIST, map_add    (map, k1,10) );
  71     ASSERT_EQUAL( 1,              map_count  (map)        );
  72     ASSERT_EQUAL( 1,              iterator_size(map)      );
  73     ASSERT_EQUAL( DOES_NOT_EXIST, map_add    (map, k2,20) );
  74     ASSERT_EQUAL( 2,              map_count  (map)        );
  75     ASSERT_EQUAL( 2,              iterator_size(map)      );
  76     ASSERT_EQUAL( 20,             map_get    (map, k2)    );
  77     ASSERT_EQUAL( 10,             map_set    (map, k1,11) );
  78     ASSERT_EQUAL( 20,             map_set    (map, k2,21) );
  79     ASSERT_EQUAL( 2,              map_count  (map)        );
  80     ASSERT_EQUAL( 2,              iterator_size(map)      );
  81     ASSERT_EQUAL( 21,             map_add    (map, k2,22) );
  82     ASSERT_EQUAL( 11,             map_remove (map, k1)    );
  83     ASSERT_EQUAL( DOES_NOT_EXIST, map_get    (map, k1)    );
  84     ASSERT_EQUAL( 1,              map_count  (map)        );
  85     ASSERT_EQUAL( 1,              iterator_size(map)      );
  86     ASSERT_EQUAL( DOES_NOT_EXIST, map_remove (map, k1)    );
  87     ASSERT_EQUAL( 21,             map_remove (map, k2)    );
  88     ASSERT_EQUAL( 0,              map_count  (map)        );
  89     ASSERT_EQUAL( 0,              iterator_size(map)      );
  90     ASSERT_EQUAL( DOES_NOT_EXIST, map_remove (map, k2)    );
  91     ASSERT_EQUAL( DOES_NOT_EXIST, map_remove (map, k3)    );
  92     ASSERT_EQUAL( 0,              map_count  (map)        );
  93     ASSERT_EQUAL( 0,              iterator_size(map)      );
  94
  95     ASSERT_EQUAL( DOES_NOT_EXIST, map_add    (map, k4,40) );
  96     ASSERT_EQUAL( 40,             map_get    (map, k4)    );
  97     ASSERT_EQUAL( 1,              map_count  (map)        );
  98     ASSERT_EQUAL( 1,              iterator_size(map)      );
  99     ASSERT_EQUAL( 40,             map_remove (map, k4)    );
 100     ASSERT_EQUAL( DOES_NOT_EXIST, map_get    (map, k4)    );
 101     ASSERT_EQUAL( 0,              map_count  (map)        );
 102     ASSERT_EQUAL( 0,              iterator_size(map)      );
 103
 104     ASSERT_EQUAL( DOES_NOT_EXIST, map_replace(map, k4,10) );
 105     ASSERT_EQUAL( DOES_NOT_EXIST, map_get    (map, k4)    );
 106     ASSERT_EQUAL( DOES_NOT_EXIST, map_set    (map, k4,40) );
 107     ASSERT_EQUAL( 40,             map_replace(map, k4,41) );
 108     ASSERT_EQUAL( 41,             map_get    (map, k4)    );
 109     ASSERT_EQUAL( 41,             map_remove (map, k4)    );
 110     ASSERT_EQUAL( DOES_NOT_EXIST, map_get    (map, k4)    );
 111     ASSERT_EQUAL( 0,              map_count  (map)        );
 112     ASSERT_EQUAL( 0,              iterator_size(map)      );
 113
 114     ASSERT_EQUAL( DOES_NOT_EXIST, map_replace(map, k2,20) );
 115     ASSERT_EQUAL( DOES_NOT_EXIST, map_get    (map, k2)    );
 116
 117     // In the end, all entries should be removed
 118     ASSERT_EQUAL( DOES_NOT_EXIST, map_set    (map, k2,20) );
 119     ASSERT_EQUAL( 20,             map_replace(map, k2,21) );
 120     ASSERT_EQUAL( 21,             map_get    (map, k2)    );
 121     ASSERT_EQUAL( 21,             map_remove (map, k2)    );
 122     ASSERT_EQUAL( DOES_NOT_EXIST, map_get    (map, k2)    );
 123     ASSERT_EQUAL( 0,              map_count  (map)        );
 124     ASSERT_EQUAL( 0,              iterator_size(map)      );
 125
 126     map_free(map);
 127
 128     rcu_update(); // In a quiecent state.
 129 #ifdef TEST_STRING_KEYS
 130     nbd_free(s1); nbd_free(s2); nbd_free(s3); nbd_free(s4);
 131 #endif
 132 }
 133
 134 void *add_remove_worker (void *arg) {
 135     nbd_thread_init();
 136
 137     worker_data_t *wd = (worker_data_t *)arg;
 138     map_t *map = wd->map;
 139     CuTest* tc = wd->tc;
 140     int d = wd->id;
 141     int iters = (map_type_ == &MAP_IMPL_LL ? 10000 : 100000);
 142
 143     (void)SYNC_ADD(wd->wait, -1);
 144     do { } while (*wd->wait); // wait for all workers to be ready
 145
 146     map_key_t key;
 147 #ifdef TEST_STRING_KEYS
 148     nstring_t *s = ns_alloc(9);
 149     key = (map_key_t)s;
 150 #endif
 151
 152     for (int j = 0; j < 10; ++j) {
 153         for (int i = d+1; i < iters; i+=2) {
 154 #ifdef TEST_STRING_KEYS
 155             s->len = 1 + snprintf(s->data, 9, "%u", i);
 156 #else
 157             key = (map_key_t)i;
 158 #endif
 159             TRACE("t0", "test map_add() iteration (%llu, %llu)", j, i);
 160             ASSERT_EQUAL(DOES_NOT_EXIST, map_add(map, key, d+1) );
 161             rcu_update(); // In a quiecent state.
 162         }
 163         for (int i = d+1; i < iters; i+=2) {
 164 #ifdef TEST_STRING_KEYS
 165             s->len = 1 + snprintf(s->data, 9, "%u", i);
 166 #else
 167             key = (map_key_t)i;
 168 #endif
 169             TRACE("t0", "test map_remove() iteration (%llu, %llu)", j, i);
 170             ASSERT_EQUAL(d+1, map_remove(map, key) );
 171             rcu_update(); // In a quiecent state.
 172         }
 173     }
 174 #ifdef TEST_STRING_KEYS
 175     nbd_free(s);
 176 #endif
 177     return NULL;
 178 }
 179
 180 // Do some simple concurrent testing
 181 void concurrent_add_remove_test (CuTest* tc) {
 182
 183     pthread_t thread[2];
 184     worker_data_t wd[2];
 185     volatile int wait = 2;
 186 #ifdef TEST_STRING_KEYS
 187     map_t *map = map_alloc(map_type_, &DATATYPE_NSTRING);
 188 #else
 189     map_t *map = map_alloc(map_type_, NULL);
 190 #endif
 191
 192     struct timeval tv1, tv2;
 193     gettimeofday(&tv1, NULL);
 194
 195     // In 2 threads, add & remove even & odd elements concurrently
 196     int i;
 197     for (i = 0; i < 2; ++i) {
 198         wd[i].id = i;
 199         wd[i].tc = tc;
 200         wd[i].map = map;
 201         wd[i].wait = &wait;
 202         int rc = pthread_create(thread + i, NULL, add_remove_worker, wd + i);
 203         if (rc != 0) { perror("nbd_thread_create"); return; }
 204     }
 205
 206     for (i = 0; i < 2; ++i) {
 207         pthread_join(thread[i], NULL);
 208     }
 209
 210     gettimeofday(&tv2, NULL);
 211     int ms = (int)(1000000*(tv2.tv_sec - tv1.tv_sec) + tv2.tv_usec - tv1.tv_usec) / 1000;
 212     map_print(map, FALSE);
 213     printf("Time:%dms\n", ms);
 214     fflush(stdout);
 215
 216     // In the end, all members should be removed
 217     ASSERT_EQUAL( 0, map_count(map) );
 218     ASSERT_EQUAL( 0, iterator_size(map) );
 219
 220     // In a quiecent state; it is safe to free.
 221     map_free(map);
 222 }
 223
 224 void basic_iteration_test (CuTest* tc) {
 225 #ifdef TEST_STRING_KEYS
 226     map_t *map = map_alloc(map_type_, &DATATYPE_NSTRING);
 227     nstring_t *s1 = ns_alloc(3); strcpy(s1->data, "k1");
 228     nstring_t *s2 = ns_alloc(3); strcpy(s2->data, "k2");
 229     map_key_t k1 = (map_key_t)s1;
 230     map_key_t k2 = (map_key_t)s2;
 231     nstring_t *x_k;
 232     nstring_t *y_k;
 233 #else
 234     map_t *map = map_alloc(map_type_, NULL);
 235     map_key_t k1 = (map_key_t)1;
 236     map_key_t k2 = (map_key_t)2;
 237     map_key_t x_k;
 238     map_key_t y_k;
 239 #endif
 240
 241     ASSERT_EQUAL( DOES_NOT_EXIST, map_add    (map, k1,1) );
 242     ASSERT_EQUAL( DOES_NOT_EXIST, map_add    (map, k2,2) );
 243
 244     map_val_t x_v, y_v;
 245     map_iter_t *iter = map_iter_begin(map, 0);
 246     x_v = map_iter_next(iter, (map_key_t *)&x_k);
 247     y_v = map_iter_next(iter, (map_key_t *)&y_k);
 248     ASSERT_EQUAL( DOES_NOT_EXIST, map_iter_next(iter, NULL) );
 249     map_iter_free(iter);
 250 #ifdef TEST_STRING_KEYS
 251     ASSERT_EQUAL( TRUE, (ns_cmp(x_k, s1) == 0 && x_v == 1) || (ns_cmp(y_k, s1) == 0 && y_v == 1) );
 252     ASSERT_EQUAL( TRUE, (ns_cmp(x_k, s2) == 0 && x_v == 2) || (ns_cmp(y_k, s2) == 0 && y_v == 2) );
 253     nbd_free(s1);
 254     nbd_free(s2);
 255 #else
 256     ASSERT_EQUAL( TRUE, (x_k == k1 && x_v == 1) || (y_k == k1 && y_v == 1) );
 257     ASSERT_EQUAL( TRUE, (x_k == k2 && x_v == 2) || (y_k == k2 && y_v == 2) );
 258 #endif
 259
 260     map_free(map);
 261 }
 262
 263 void big_iteration_test (CuTest* tc) {
 264     static const int n = 10000;
 265
 266 #ifdef TEST_STRING_KEYS
 267     map_t *map = map_alloc(map_type_, &DATATYPE_NSTRING);
 268     nstring_t *s = ns_alloc(9);
 269     nstring_t *s3 = ns_alloc(3); strcpy(s3->data, "k3");
 270     nstring_t *s4 = ns_alloc(3); strcpy(s4->data, "k4");
 271     map_key_t k3 = (map_key_t)s3;
 272     map_key_t k4 = (map_key_t)s4;
 273     map_key_t key = (map_key_t)s;
 274 #else
 275     map_t *map = map_alloc(map_type_, NULL);
 276     map_key_t k3 = (map_key_t)3;
 277     map_key_t k4 = (map_key_t)4;
 278     map_key_t key;
 279 #endif
 280
 281     for (int i = 1; i <= n; ++i) {
 282 #ifdef TEST_STRING_KEYS
 283         s->len = 1 + snprintf(s->data, 9, "k%d", i);
 284 #else
 285         key = (map_key_t)i;
 286 #endif
 287         ASSERT_EQUAL( DOES_NOT_EXIST, map_get(map, key)    );
 288         ASSERT_EQUAL( DOES_NOT_EXIST, map_set(map, key, i) );
 289         ASSERT_EQUAL( i,              map_get(map, key)    );
 290         rcu_update(); // In a quiecent state.
 291     }
 292
 293     ASSERT_EQUAL( n, map_count(map) );
 294     ASSERT_EQUAL( n, iterator_size(map) );
 295
 296     uint64_t sum = 0;
 297     map_val_t val;
 298     map_iter_t *iter = map_iter_begin(map, 0);
 299     while ((val = map_iter_next(iter, NULL)) != DOES_NOT_EXIST) {
 300         sum += val;
 301     }
 302     map_iter_free(iter);
 303     ASSERT_EQUAL(n*(n+1)/2, sum);
 304     ASSERT_EQUAL(3, map_remove(map, k3));
 305     ASSERT_EQUAL(4, map_remove(map, k4));
 306     sum = 0;
 307     iter = map_iter_begin(map, 0);
 308     while ((val = map_iter_next(iter, NULL)) != DOES_NOT_EXIST) {
 309         sum += val;
 310     }
 311     map_iter_free(iter);
 312     ASSERT_EQUAL(n*(n+1)/2 - (3+4), sum);
 313
 314 #ifdef TEST_STRING_KEYS
 315     nbd_free(s);
 316 #endif
 317 }
 318
 319 int main (void) {
 320     nbd_thread_init();
 321     lwt_set_trace_level("r0m3l2t0");
 322
 323     static const map_impl_t *map_types[] = { &MAP_IMPL_LL, &MAP_IMPL_SL, &MAP_IMPL_HT };
 324     for (int i = 0; i < sizeof(map_types)/sizeof(*map_types); ++i) {
 325         map_type_ = map_types[i];
 326
 327         // Create and run test suite
 328         CuString *output = CuStringNew();
 329         CuSuite* suite = CuSuiteNew();
 330
 331         SUITE_ADD_TEST(suite, concurrent_add_remove_test);
 332 //        SUITE_ADD_TEST(suite, basic_test);
 333 //        SUITE_ADD_TEST(suite, basic_iteration_test);
 334 //        SUITE_ADD_TEST(suite, big_iteration_test);
 335
 336         CuSuiteRun(suite);
 337         CuSuiteDetails(suite, output);
 338         printf("%s\n", output->buffer);
 339     }
 340
 341     return 0;
 342 }