make man page links work got the git store
[rrq/rrqnet.git] / rrqnet.c
index 85f609ebddee6851041be21cd1415cdd2805ac68..db93fd70ec50e19bd708215d45e275622a8c06a3 100644 (file)
--- a/rrqnet.c
+++ b/rrqnet.c
@@ -24,7 +24,7 @@
 #include <string.h>
 #include <sys/ioctl.h>
 #include <sys/stat.h>
-#include <sys/timeb.h>
+#include <sys/time.h>
 #include <sys/types.h>
 #include <time.h>
 #include <unistd.h>
@@ -66,13 +66,13 @@ struct Allowed {
 struct Remote {
     struct SockAddr uaddr;
     struct Allowed *spec;      // Rule being instantiated
-    struct timeb rec_when;     // Last received packet time, in seconds
+    struct timeval rec_when;   // Last received packet time, in seconds
 };
 
 // Details of an interface at a remote.
 struct Interface  {
     unsigned char mac[6];      // MAC address used last (key for by_mac table)
-    struct timeb rec_when;     // Last packet time, in seconds
+    struct timeval rec_when;   // Last packet time, in seconds
     struct Remote *remote;
 };
 
@@ -87,23 +87,26 @@ typedef struct _PacketItem {
     unsigned char buffer[ BUFSIZE ];
 } PacketItem;
 
+typedef struct _ReaderData {
+    int fd;
+} ReaderData;
+
 // heartbeat interval, in seconds
 #define HEARTBEAT 30
-#define HEARTBEAT_MILLIS ( HEARTBEAT * 1000 )
+#define HEARTBEAT_MICROS ( HEARTBEAT * 1000000 )
 
-// Macros for timing, for struct timeb variables
-#define TIMEB_MILLIS(TM) (((int64_t) (TM)->time * 1000) + (TM)->millitm )
-#define DIFFB_MILLIS(TM1,TM2) ( TIMEB_MILLIS(TM1) - TIMEB_MILLIS(TM2) )
+// Macros for timing, for struct timeval variables
+#define TIME_MICROS(TM) (((int64_t) (TM)->tv_sec * 1000000) + (TM)->tv_usec )
+#define DIFF_MICROS(TM1,TM2) ( TIME_MICROS(TM1) - TIME_MICROS(TM2) )
 
 // RECENT(T,M) is the time logic for requiring a gap time (in
 // milliseconds) before shifting a MAC to a new remote. The limit is
 // 6000 for broadcast and 20000 for unicast.
 #define RECENT(T,M) ((M) < ((T)? 6000 : 20000 ))
 
-// VERYOLD_MILLIS is used for discarding downlink remotes whose latest
+// VERYOLD_MICROSS is used for discarding downlink remotes whose latest
 // activity is older than this.
-#define VERYOLD_MILLIS 180000
-
+#define VERYOLD_MICROS 180000000
 
 ////////// Variables
 
@@ -212,14 +215,6 @@ static pthread_mutex_t printing = PTHREAD_RECURSIVE_MUTEX_INITIALIZER_NP;
 #define VERBOSE3OUT(fmt, ...) \
     if ( verbose >= 3 ) PRINT( fprintf( stderr, fmt, ##__VA_ARGS__ ) )
 
-// A buffer for reading stdin in fragmented way, to allow outgoing
-// packets during the reading of stdin packets, if it's fragmented.
-static struct {
-    unsigned char buffer[ BUFSIZE ]; // Packet data
-    unsigned int end;               // Packet size
-    unsigned int cur;               // Amount read so far
-} input;
-
 // The actual name of this program (argv[0])
 static unsigned char *progname;
 
@@ -979,10 +974,10 @@ static struct Interface *input_check(
 {
     VERBOSE2OUT( "RECV %ld bytes from %s\n", len, inet_stoa( src ) );
     struct Remote *r = 0;
-    struct timeb now = { 0 };
-    if ( ftime( &now ) ) {
+    struct timeval now = { 0 };
+    if ( gettimeofday( &now, 0 ) ) {
        perror( "RECV time" );
-       now.time = time( 0 );
+       now.tv_sec = time( 0 );
     }
     Remote_FIND( src, r );
     if ( r == 0 ) {
@@ -1065,7 +1060,7 @@ static struct Interface *input_check(
        // primary channel, or the time since the last packet for that
        // interface is less than RECENT, with different limits for
        // broadcast and unicast.
-       int64_t dmac = DIFFB_MILLIS( &now, &x->rec_when);
+       int64_t dmac = DIFF_MICROS( &now, &x->rec_when);
        if ( x->remote->spec == 0 || RECENT( *buf & 1, dmac ) ) {
            if ( verbose >= 2 ) {
                fprintf(
@@ -1126,10 +1121,10 @@ static void route_packet(unsigned char *buf,int len,struct SockAddr *src) {
     }
     // broadcast. +x+ is source interface
     // x->rec_when is not updated 
-    struct timeb now = { 0 };
-    if ( ftime( &now ) ) {
+    struct timeval now = { 0 };
+    if ( gettimeofday( &now, 0 ) ) {
        perror( "RECV time" );
-       now.time = time( 0 );
+       now.tv_sec = time( 0 );
     }
     VERBOSE2OUT( "BC %s -> %s from %s\n",
                 inet_mtoa( buf+6 ), inet_mtoa( buf ),
@@ -1149,11 +1144,11 @@ static void route_packet(unsigned char *buf,int len,struct SockAddr *src) {
            continue;
        }
        if ( r->spec && ! is_uplink( r->spec ) &&
-            DIFFB_MILLIS( &now, &r->rec_when ) > VERYOLD_MILLIS ) {
+            DIFF_MICROS( &now, &r->rec_when ) > VERYOLD_MICROS ) {
            // remove old downlink connection
            VERBOSEOUT( "Old remote discarded %s (%ld)\n",
                        inet_stoa( &r->uaddr ),
-                       TIMEB_MILLIS( &r->rec_when ) );
+                       TIME_MICROS( &r->rec_when ) );
            // Removing a downlink might have threading implications
            delete_remote( r );
            continue;
@@ -1169,6 +1164,7 @@ static void route_packet(unsigned char *buf,int len,struct SockAddr *src) {
 static struct {
     Queue full;
     Queue free;
+    sem_t reading;
 } todolist;
 
 // The threadcontrol program for handling packets.
@@ -1201,6 +1197,10 @@ void todolist_initialize(int nbuf,int nthr) {
        perror( "FATAL" );
        exit( 1 );
     }
+    if ( sem_init( &todolist.reading, 0, 1 ) ) {
+       perror( "FATAL" );
+       exit( 1 );
+    }
     Queue_initialize( &todolist.free, nbuf, sizeof( PacketItem ) );
     for ( ; nthr > 0; nthr-- ) {
        pthread_t thread; // Temporary thread id
@@ -1214,44 +1214,29 @@ void todolist_initialize(int nbuf,int nthr) {
 // is updated for the new MAC address, However, if there is then a MAC
 // address clash in the connection table, then the associated remote
 // is removed, and the packet is dropped.
-static void doreadUDP(int fd) {
-    PacketItem *todo = (PacketItem *) Queue_getItem( &todolist.free );
-    socklen_t addrlen =
-       udp6? sizeof( todo->src.in6 ) : sizeof( todo->src.in4 );
-    memset( &todo->src, 0, sizeof( todo->src ) );
-    todo->fd = fd;
-    todo->len = recvfrom(
-       fd, todo->buffer, BUFSIZE, 0, &todo->src.in, &addrlen );
-    if ( todo->len == -1) {
-       perror( "Receiving UDP" );
-       exit( 1 );
-    }
+static void *doreadUDP(void *data) {
+    int fd = ((ReaderData *) data)->fd;
+    while ( 1 ) {
+       PacketItem *todo = (PacketItem *) Queue_getItem( &todolist.free );
+       socklen_t addrlen =
+           udp6? sizeof( todo->src.in6 ) : sizeof( todo->src.in4 );
+       memset( &todo->src, 0, sizeof( todo->src ) );
+       todo->fd = fd;
+       todo->len = recvfrom(
+           fd, todo->buffer, BUFSIZE, 0, &todo->src.in, &addrlen );
+       if ( todo->len == -1) {
+           perror( "Receiving UDP" );
+           exit( 1 );
+       }
 #ifdef GPROF
-    if ( len == 17 && memcmp( buf, "STOPSTOPSTOPSTOP", 16 ) == 0 ) {
-       exit( 0 );
-    }
-#endif
-    Queue_addItem( &todolist.full, (QueueItem*) todo );
-}
-
-// Handle packet received on the tap/stdio channel
-static void received_tap(unsigned char *buf, int len) {
-    static struct Remote *tap_remote = 0;
-    if ( tap_remote == 0 ) {
-       Remote_LOCK;
-       if ( tap_remote == 0 ) {
-           tap_remote = add_remote( 0, 0 );
+       if ( todo->len == 17 &&
+            memcmp( todo->buffer, "STOPSTOPSTOPSTOP", 16 ) == 0 ) {
+           exit( 0 );
        }
-       Remote_UNLOCK;
+#endif
+       Queue_addItem( &todolist.full, (QueueItem*) todo );
     }
-    PacketItem *todo = (PacketItem*) Queue_getItem( &todolist.free );
-    memcpy( (void*)todo->buffer, (void*)buf, len );
-    memcpy( (void*)&todo->src,
-           (void*)&tap_remote->uaddr,
-           sizeof( struct SockAddr ) );
-    todo->fd = 0;
-    todo->len = len;
-    Queue_addItem( &todolist.full, (QueueItem*) todo );
+    return 0;
 }
 
 // Read up to n bytes from the given file descriptor into the buffer
@@ -1288,11 +1273,11 @@ static void heartbeat(int fd) {
     VERBOSE3OUT( "heartbeat fd=%d\n", fd );
     struct Remote *r;
     unsigned int i = 0;
-    struct timeb now;
-    if ( ftime( &now ) ) {
+    struct timeval now;
+    if ( gettimeofday( &now, 0 ) ) {
        perror( "HEARTBEAT time" );
-       now.time = time( 0 );
-       now.millitm = 0;
+       now.tv_sec = time( 0 );
+       now.tv_usec = 0;
     }
     Remote_LOCK;
     for ( ; i < remotes.by_addr.size; i++ ) {
@@ -1303,7 +1288,7 @@ static void heartbeat(int fd) {
        r = (struct Remote *) tmp;
        VERBOSE3OUT( "heartbeat check %s\n", inet_stoa( &r->uaddr ) );
        if ( r->spec && is_uplink( r->spec ) ) {
-           if ( DIFFB_MILLIS( &now, &r->rec_when ) > HEARTBEAT_MILLIS ) {
+           if ( DIFF_MICROS( &now, &r->rec_when ) > HEARTBEAT_MICROS ) {
                VERBOSE3OUT( "heartbeat %s\n", inet_stoa( &r->uaddr ) );
                write_remote( data, 0, r );
            }
@@ -1312,17 +1297,6 @@ static void heartbeat(int fd) {
     Remote_UNLOCK;
 }
 
-// The threadcontrol program for issuing heartbeat packets.
-// Regular heartbeat
-static void *hearbeater_thread(void *data) {
-    (void) data;
-    for ( ;; ) {
-       sleep( HEARTBEAT );
-       heartbeat( udp_fd );
-    }
-    return 0;
-}
-
 // Tell how to use this program and exit with failure.
 static void usage(void) {
     fprintf( stderr, "Packet tunneling over UDP, multiple channels, " );
@@ -1356,102 +1330,60 @@ static int tun_alloc(char *dev, int flags) {
     return fd;
 }
 
-static void doreadTap() {
-    if ( stdio ) {
-       if ( input.end == 0 ) {
+// Handle packet received on the tap/stdio channel
+static void initialize_tap() {
+    // Ensure there is a Remote for this
+    static struct Remote *tap_remote = 0;
+    if ( tap_remote == 0 ) {
+       Remote_LOCK;
+       if ( tap_remote == 0 ) {
+           tap_remote = add_remote( 0, 0 );
+       }
+       Remote_UNLOCK;
+    }
+}
+
+// Thread to handle tap/stdio input
+static void *doreadTap(void *data) {
+    int fd = ((ReaderData*) data)->fd;
+    unsigned int end = 0; // Packet size
+    unsigned int cur = 0; // Amount read so far
+    size_t e;
+    PacketItem *todo = (PacketItem*) Queue_getItem( &todolist.free );
+    while ( 1 ) {
+       if ( stdio ) {
            uint16_t plength;
            int n = read_into( 0, (unsigned char *) &plength,
-                          sizeof( plength ), 0 );
+                              sizeof( plength ), 0 );
            if ( n == 0 ) {
                // Tap/stdio closed => exit silently
                exit( 0 );
            }
-           input.end = ntohs( plength );
-           input.cur = 0;
-       }
-       size_t e = input.end - input.cur;
-       unsigned char *p = input.buffer + input.cur;
-       if ( input.end > BUFSIZE ) {
-           // Oversize packets should be read and discarded
-           if ( e > BUFSIZE ) {
-               e = BUFSIZE;
-           }
-           p = input.buffer;
-       }
-       input.cur += read_into( 0, p, e, 1 );
-    } else {
-       input.end = doread( tap_fd, input.buffer, BUFSIZE );
-       input.cur = input.end;
-    }
-    if ( input.end == input.cur ) {
-       VERBOSE3OUT( "TAP/stdio input %d bytes\n", input.end );
-       if ( input.end <= BUFSIZE ) {
-           received_tap( input.buffer, input.end );
-       }
-       input.end = 0; // Ready for next packet
-    }
-    // End handling tap
-}
-
-// MAXFD is Finalized before multi-threading, and then remains constant.
-static int MAXFD;
-
-// This is the main packet handling loop
-static int packet_loop() {
-    // A packet buffer for receiving UDP
-    unsigned char buffer[ BUFSIZE ];
-    int n;
-    //time_t next_heartbeat = time(0);
-    int cycle = 0; // which channel to check first
-    while( 1 ) {
-       fd_set rd_set;
-       FD_ZERO( &rd_set );
-       if ( mcast.fd ) {
-           FD_SET( mcast.fd, &rd_set );
-       }
-       FD_SET( udp_fd, &rd_set );
-       if ( udp6 ) {
-           FD_SET( udp_fd, &rd_set );
-       }
-       if ( tap ) { // tap/stdio
-           FD_SET( tap_fd, &rd_set );
-       }
-       n = select( MAXFD, &rd_set, NULL, NULL, NULL );
-       VERBOSE3OUT( "select got %d\n", n );
-       if ( n < 0 ) {
-           if ( errno == EINTR ) {
-               continue;
+           end = ntohs( plength );
+           cur = 0;
+           while ( ( e = ( end - cur ) ) != 0 ) {
+               unsigned char *p = todo->buffer + cur;
+               if ( end > BUFSIZE ) {
+                   // Oversize packets should be read and discarded
+                   if ( e > BUFSIZE ) {
+                       e = BUFSIZE;
+                   }
+                   p = todo->buffer;
+               }
+               cur += read_into( 0, p, e, 1 );
            }
-           perror("select");
-           exit(1);
+       } else {
+           end = doread( fd, todo->buffer, BUFSIZE );
+           cur = end;
        }
-       if ( n == 0 ) {
-           continue;
-       }
-       // Process input with alternating priority across channels
-       for ( ;; cycle++ ) {
-           if ( cycle >= 3 ) {
-               cycle = 0;
-           }
-           if ( cycle == 0 && FD_ISSET( udp_fd, &rd_set ) ) {
-               // Check and process UDP socket
-               doreadUDP( udp_fd ) ;
-               cycle = 1;
-               break;
-           }
-           if ( cycle == 1 && FD_ISSET( mcast.fd, &rd_set ) ) {
-               // Check and process multicast socket
-               doreadUDP( mcast.fd ) ;
-               cycle = 2;
-               break;
-           }
-           if ( cycle == 2 && FD_ISSET( tap_fd, &rd_set ) ) {
-               // Check and process tap/stdio socket
-               doreadTap( tap_fd, buffer );
-               cycle = 0;
-               break;
-           }
+       VERBOSE3OUT( "TAP/stdio input %d bytes\n", end );
+       if ( end <= BUFSIZE ) {
+           todo->fd = 0;
+           todo->len = end;
+           Queue_addItem( &todolist.full, (QueueItem*) todo );
+           todo = (PacketItem*) Queue_getItem( &todolist.free );
        }
+       // End handling tap
     }
     return 0;
 }
@@ -1464,6 +1396,7 @@ static int packet_loop() {
 // remote = [ipv6(/maskwidth)](:port)(=key)
 // ip = ipv4 | [ipv6]
 int main(int argc, char *argv[]) {
+    pthread_t thread; // Temporary thread id
     int port, i;
     progname = (unsigned char *) argv[0];
     ///// Parse command line arguments
@@ -1559,7 +1492,6 @@ int main(int argc, char *argv[]) {
     }
     todolist_initialize( buffers_count, threads_count );
 
-    MAXFD = 0;
     // Set up the tap/stdio channel
     if ( tap ) {
        // set up the nominated tap
@@ -1570,15 +1502,13 @@ int main(int argc, char *argv[]) {
                exit(1);
            }
            VERBOSEOUT( "Using tap %s at %d\n", tap, tap_fd );
-           MAXFD = tap_fd;
            stdio = 0;
            // pretend a zero packet on the tap, for initializing.
-           received_tap( 0, 0 ); 
+           initialize_tap(); 
        } else {
            // set up for stdin/stdout local traffix
            setbuf( stdout, NULL ); // No buffering on stdout.
            tap_fd = 0; // actually stdin
-           MAXFD = 0;
            stdio = 1;
        }
     } else {
@@ -1591,9 +1521,6 @@ int main(int argc, char *argv[]) {
         VERBOSEOUT( "Using multicast %s:%d at %d\n",
                    inet_nmtoa( x, 4 ), ntohs( mcast.sock.in4.sin_port ),
                    mcast.fd );
-       if ( mcast.fd > MAXFD ) {
-           MAXFD = mcast.fd;
-       }
     }
     // Set up the unicast UPD channel (all interfaces)
     if ( udp6 == 0 ) {
@@ -1629,10 +1556,6 @@ int main(int argc, char *argv[]) {
        }
        VERBOSEOUT( "Using ipv6 UDP at %d\n", udp_fd );
     }
-    if ( udp_fd > MAXFD ) {
-       MAXFD = udp_fd;
-    }
-    MAXFD++ ;
     // If not using stdio for local traffic, then stdin and stdout are
     // closed here, so as to avoid that any other traffic channel gets
     // 0 or 1 as its file descriptor. Note: stderr (2) is left open.
@@ -1640,13 +1563,27 @@ int main(int argc, char *argv[]) {
        close( 0 );
        close( 1 );
     }
-    VERBOSE2OUT( "Socket loop tap=%d mcast=%d udp=%d max=%d\n",
-                tap_fd, mcast.fd, udp_fd, MAXFD );
-
-    // Start heartbeater thread
-    pthread_t thread; // Temporary thread id -- not used
-    pthread_create( &thread, 0, hearbeater_thread, 0 );
+    VERBOSE2OUT( "Socket loop tap=%d mcast=%d udp=%d\n",
+                tap_fd, mcast.fd, udp_fd );
 
     // Handle packets
-    return packet_loop();
+    ReaderData udp_reader = { .fd = udp_fd };
+    pthread_create( &thread, 0, doreadUDP, &udp_reader );
+
+    if ( mcast.group.imr_multiaddr.s_addr ) {
+       ReaderData mcast_reader = { .fd = mcast.fd };
+       pthread_create( &thread, 0, doreadUDP, &mcast_reader );
+    }
+
+    if ( tap_fd || stdio ) {
+       ReaderData tap_reader = { .fd = tap_fd };
+       pthread_create( &thread, 0, doreadTap, &tap_reader );
+    }
+
+    // Start heartbeating to uplinks
+    for ( ;; ) {
+       sleep( HEARTBEAT );
+       heartbeat( udp_fd );
+    }
+    return 0;
 }