Import darkstat 3.0.712 3.0.712
authorEmil Mikulic <emikulic@gmail.com>
Fri, 24 Apr 2009 11:34:12 +0000 (21:34 +1000)
committerEmil Mikulic <emikulic@gmail.com>
Fri, 24 Apr 2009 11:39:22 +0000 (21:39 +1000)
57 files changed:
.gitignore [new file with mode: 0644]
AUTHORS [new file with mode: 0644]
COPYING.GPL [new file with mode: 0644]
INSTALL [new file with mode: 0644]
LICENSE [new file with mode: 0644]
Makefile.in [new file with mode: 0644]
NEWS [new file with mode: 0644]
README [new file with mode: 0644]
THANKS [new file with mode: 0644]
acct.c [new file with mode: 0644]
acct.h [new file with mode: 0644]
cap.c [new file with mode: 0644]
cap.h [new file with mode: 0644]
configure.ac [new file with mode: 0644]
contrib/LisezMoi.MacOS [new file with mode: 0644]
contrib/ReadMe.MacOS [new file with mode: 0644]
contrib/cx.ath.darkstat [new file with mode: 0644]
conv.c [new file with mode: 0644]
conv.h [new file with mode: 0644]
darkstat.8 [new file with mode: 0644]
darkstat.c [new file with mode: 0644]
darkstat.h [new file with mode: 0644]
daylog.c [new file with mode: 0644]
daylog.h [new file with mode: 0644]
db.c [new file with mode: 0644]
db.h [new file with mode: 0644]
decode.c [new file with mode: 0644]
decode.h [new file with mode: 0644]
dns.c [new file with mode: 0644]
dns.h [new file with mode: 0644]
err.c [new file with mode: 0644]
err.h [new file with mode: 0644]
export-format.txt [new file with mode: 0644]
graph_db.c [new file with mode: 0644]
graph_db.h [new file with mode: 0644]
hosts_db.c [new file with mode: 0644]
hosts_db.h [new file with mode: 0644]
hosts_sort.c [new file with mode: 0644]
html.h [new file with mode: 0644]
http.c [new file with mode: 0644]
http.h [new file with mode: 0644]
install-sh [new file with mode: 0755]
localip.c [new file with mode: 0644]
localip.h [new file with mode: 0644]
ncache.c [new file with mode: 0644]
ncache.h [new file with mode: 0644]
now.h [new file with mode: 0644]
pidfile.c [new file with mode: 0644]
pidfile.h [new file with mode: 0644]
queue.h [new file with mode: 0644]
release.sh [new file with mode: 0755]
static/c-ify.c [new file with mode: 0644]
static/graph.js [new file with mode: 0644]
static/style.css [new file with mode: 0644]
str.c [new file with mode: 0644]
str.h [new file with mode: 0644]
tree.h [new file with mode: 0644]

diff --git a/.gitignore b/.gitignore
new file mode 100644 (file)
index 0000000..edc9d04
--- /dev/null
@@ -0,0 +1,14 @@
+*.o
+Makefile
+a.out
+autom4te.cache
+c-ify
+config.h
+config.h.in
+config.log
+config.status
+configure
+configure.lineno
+darkstat
+graphjs.h
+stylecss.h
diff --git a/AUTHORS b/AUTHORS
new file mode 100644 (file)
index 0000000..1e3153c
--- /dev/null
+++ b/AUTHORS
@@ -0,0 +1,33 @@
+AUTHORS
+-------
+
+- Emil Mikulic <emikulic@gmail.com> [ http://dmr.ath.cx/ ]
+  Primary maintainer.
+
+  (please read the manpage before sending me an e-mail about how your
+  graphs are all blank)
+
+Big thanks to everyone who contributed code:
+
+- Ben Stewart [ http://tucuxi.org/ ]
+  Web interface design, import/export code and export format design.
+
+- Chris Kuethe
+  Security, cool patches, OpenBSD port maintainer.
+
+- Bartosz Kuzma
+  DLT_PPP and DLT_PPP_SERIAL decoding, pkgsrc maintainer.
+
+- Claudio Leite
+  DLT_PPP_ETHER decoding.
+
+- Can Erkin Acar
+  BIOCSETWF patch.
+
+- Ingo Bressler
+  DLT_LINUX_SLL decoding.
+
+- Dennis Jansen
+  Motivation for keeping memory use down, cool patches.
+
+My apologies if I missed anyone - please mail any corrections to me (Emil)
diff --git a/COPYING.GPL b/COPYING.GPL
new file mode 100644 (file)
index 0000000..d60c31a
--- /dev/null
@@ -0,0 +1,340 @@
+                   GNU GENERAL PUBLIC LICENSE
+                      Version 2, June 1991
+
+ Copyright (C) 1989, 1991 Free Software Foundation, Inc.
+     59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
+ Everyone is permitted to copy and distribute verbatim copies
+ of this license document, but changing it is not allowed.
+
+                           Preamble
+
+  The licenses for most software are designed to take away your
+freedom to share and change it.  By contrast, the GNU General Public
+License is intended to guarantee your freedom to share and change free
+software--to make sure the software is free for all its users.  This
+General Public License applies to most of the Free Software
+Foundation's software and to any other program whose authors commit to
+using it.  (Some other Free Software Foundation software is covered by
+the GNU Library General Public License instead.)  You can apply it to
+your programs, too.
+
+  When we speak of free software, we are referring to freedom, not
+price.  Our General Public Licenses are designed to make sure that you
+have the freedom to distribute copies of free software (and charge for
+this service if you wish), that you receive source code or can get it
+if you want it, that you can change the software or use pieces of it
+in new free programs; and that you know you can do these things.
+
+  To protect your rights, we need to make restrictions that forbid
+anyone to deny you these rights or to ask you to surrender the rights.
+These restrictions translate to certain responsibilities for you if you
+distribute copies of the software, or if you modify it.
+
+  For example, if you distribute copies of such a program, whether
+gratis or for a fee, you must give the recipients all the rights that
+you have.  You must make sure that they, too, receive or can get the
+source code.  And you must show them these terms so they know their
+rights.
+
+  We protect your rights with two steps: (1) copyright the software, and
+(2) offer you this license which gives you legal permission to copy,
+distribute and/or modify the software.
+
+  Also, for each author's protection and ours, we want to make certain
+that everyone understands that there is no warranty for this free
+software.  If the software is modified by someone else and passed on, we
+want its recipients to know that what they have is not the original, so
+that any problems introduced by others will not reflect on the original
+authors' reputations.
+
+  Finally, any free program is threatened constantly by software
+patents.  We wish to avoid the danger that redistributors of a free
+program will individually obtain patent licenses, in effect making the
+program proprietary.  To prevent this, we have made it clear that any
+patent must be licensed for everyone's free use or not licensed at all.
+
+  The precise terms and conditions for copying, distribution and
+modification follow.
+\f
+                   GNU GENERAL PUBLIC LICENSE
+   TERMS AND CONDITIONS FOR COPYING, DISTRIBUTION AND MODIFICATION
+
+  0. This License applies to any program or other work which contains
+a notice placed by the copyright holder saying it may be distributed
+under the terms of this General Public License.  The "Program", below,
+refers to any such program or work, and a "work based on the Program"
+means either the Program or any derivative work under copyright law:
+that is to say, a work containing the Program or a portion of it,
+either verbatim or with modifications and/or translated into another
+language.  (Hereinafter, translation is included without limitation in
+the term "modification".)  Each licensee is addressed as "you".
+
+Activities other than copying, distribution and modification are not
+covered by this License; they are outside its scope.  The act of
+running the Program is not restricted, and the output from the Program
+is covered only if its contents constitute a work based on the
+Program (independent of having been made by running the Program).
+Whether that is true depends on what the Program does.
+
+  1. You may copy and distribute verbatim copies of the Program's
+source code as you receive it, in any medium, provided that you
+conspicuously and appropriately publish on each copy an appropriate
+copyright notice and disclaimer of warranty; keep intact all the
+notices that refer to this License and to the absence of any warranty;
+and give any other recipients of the Program a copy of this License
+along with the Program.
+
+You may charge a fee for the physical act of transferring a copy, and
+you may at your option offer warranty protection in exchange for a fee.
+
+  2. You may modify your copy or copies of the Program or any portion
+of it, thus forming a work based on the Program, and copy and
+distribute such modifications or work under the terms of Section 1
+above, provided that you also meet all of these conditions:
+
+    a) You must cause the modified files to carry prominent notices
+    stating that you changed the files and the date of any change.
+
+    b) You must cause any work that you distribute or publish, that in
+    whole or in part contains or is derived from the Program or any
+    part thereof, to be licensed as a whole at no charge to all third
+    parties under the terms of this License.
+
+    c) If the modified program normally reads commands interactively
+    when run, you must cause it, when started running for such
+    interactive use in the most ordinary way, to print or display an
+    announcement including an appropriate copyright notice and a
+    notice that there is no warranty (or else, saying that you provide
+    a warranty) and that users may redistribute the program under
+    these conditions, and telling the user how to view a copy of this
+    License.  (Exception: if the Program itself is interactive but
+    does not normally print such an announcement, your work based on
+    the Program is not required to print an announcement.)
+\f
+These requirements apply to the modified work as a whole.  If
+identifiable sections of that work are not derived from the Program,
+and can be reasonably considered independent and separate works in
+themselves, then this License, and its terms, do not apply to those
+sections when you distribute them as separate works.  But when you
+distribute the same sections as part of a whole which is a work based
+on the Program, the distribution of the whole must be on the terms of
+this License, whose permissions for other licensees extend to the
+entire whole, and thus to each and every part regardless of who wrote it.
+
+Thus, it is not the intent of this section to claim rights or contest
+your rights to work written entirely by you; rather, the intent is to
+exercise the right to control the distribution of derivative or
+collective works based on the Program.
+
+In addition, mere aggregation of another work not based on the Program
+with the Program (or with a work based on the Program) on a volume of
+a storage or distribution medium does not bring the other work under
+the scope of this License.
+
+  3. You may copy and distribute the Program (or a work based on it,
+under Section 2) in object code or executable form under the terms of
+Sections 1 and 2 above provided that you also do one of the following:
+
+    a) Accompany it with the complete corresponding machine-readable
+    source code, which must be distributed under the terms of Sections
+    1 and 2 above on a medium customarily used for software interchange; or,
+
+    b) Accompany it with a written offer, valid for at least three
+    years, to give any third party, for a charge no more than your
+    cost of physically performing source distribution, a complete
+    machine-readable copy of the corresponding source code, to be
+    distributed under the terms of Sections 1 and 2 above on a medium
+    customarily used for software interchange; or,
+
+    c) Accompany it with the information you received as to the offer
+    to distribute corresponding source code.  (This alternative is
+    allowed only for noncommercial distribution and only if you
+    received the program in object code or executable form with such
+    an offer, in accord with Subsection b above.)
+
+The source code for a work means the preferred form of the work for
+making modifications to it.  For an executable work, complete source
+code means all the source code for all modules it contains, plus any
+associated interface definition files, plus the scripts used to
+control compilation and installation of the executable.  However, as a
+special exception, the source code distributed need not include
+anything that is normally distributed (in either source or binary
+form) with the major components (compiler, kernel, and so on) of the
+operating system on which the executable runs, unless that component
+itself accompanies the executable.
+
+If distribution of executable or object code is made by offering
+access to copy from a designated place, then offering equivalent
+access to copy the source code from the same place counts as
+distribution of the source code, even though third parties are not
+compelled to copy the source along with the object code.
+\f
+  4. You may not copy, modify, sublicense, or distribute the Program
+except as expressly provided under this License.  Any attempt
+otherwise to copy, modify, sublicense or distribute the Program is
+void, and will automatically terminate your rights under this License.
+However, parties who have received copies, or rights, from you under
+this License will not have their licenses terminated so long as such
+parties remain in full compliance.
+
+  5. You are not required to accept this License, since you have not
+signed it.  However, nothing else grants you permission to modify or
+distribute the Program or its derivative works.  These actions are
+prohibited by law if you do not accept this License.  Therefore, by
+modifying or distributing the Program (or any work based on the
+Program), you indicate your acceptance of this License to do so, and
+all its terms and conditions for copying, distributing or modifying
+the Program or works based on it.
+
+  6. Each time you redistribute the Program (or any work based on the
+Program), the recipient automatically receives a license from the
+original licensor to copy, distribute or modify the Program subject to
+these terms and conditions.  You may not impose any further
+restrictions on the recipients' exercise of the rights granted herein.
+You are not responsible for enforcing compliance by third parties to
+this License.
+
+  7. If, as a consequence of a court judgment or allegation of patent
+infringement or for any other reason (not limited to patent issues),
+conditions are imposed on you (whether by court order, agreement or
+otherwise) that contradict the conditions of this License, they do not
+excuse you from the conditions of this License.  If you cannot
+distribute so as to satisfy simultaneously your obligations under this
+License and any other pertinent obligations, then as a consequence you
+may not distribute the Program at all.  For example, if a patent
+license would not permit royalty-free redistribution of the Program by
+all those who receive copies directly or indirectly through you, then
+the only way you could satisfy both it and this License would be to
+refrain entirely from distribution of the Program.
+
+If any portion of this section is held invalid or unenforceable under
+any particular circumstance, the balance of the section is intended to
+apply and the section as a whole is intended to apply in other
+circumstances.
+
+It is not the purpose of this section to induce you to infringe any
+patents or other property right claims or to contest validity of any
+such claims; this section has the sole purpose of protecting the
+integrity of the free software distribution system, which is
+implemented by public license practices.  Many people have made
+generous contributions to the wide range of software distributed
+through that system in reliance on consistent application of that
+system; it is up to the author/donor to decide if he or she is willing
+to distribute software through any other system and a licensee cannot
+impose that choice.
+
+This section is intended to make thoroughly clear what is believed to
+be a consequence of the rest of this License.
+\f
+  8. If the distribution and/or use of the Program is restricted in
+certain countries either by patents or by copyrighted interfaces, the
+original copyright holder who places the Program under this License
+may add an explicit geographical distribution limitation excluding
+those countries, so that distribution is permitted only in or among
+countries not thus excluded.  In such case, this License incorporates
+the limitation as if written in the body of this License.
+
+  9. The Free Software Foundation may publish revised and/or new versions
+of the General Public License from time to time.  Such new versions will
+be similar in spirit to the present version, but may differ in detail to
+address new problems or concerns.
+
+Each version is given a distinguishing version number.  If the Program
+specifies a version number of this License which applies to it and "any
+later version", you have the option of following the terms and conditions
+either of that version or of any later version published by the Free
+Software Foundation.  If the Program does not specify a version number of
+this License, you may choose any version ever published by the Free Software
+Foundation.
+
+  10. If you wish to incorporate parts of the Program into other free
+programs whose distribution conditions are different, write to the author
+to ask for permission.  For software which is copyrighted by the Free
+Software Foundation, write to the Free Software Foundation; we sometimes
+make exceptions for this.  Our decision will be guided by the two goals
+of preserving the free status of all derivatives of our free software and
+of promoting the sharing and reuse of software generally.
+
+                           NO WARRANTY
+
+  11. BECAUSE THE PROGRAM IS LICENSED FREE OF CHARGE, THERE IS NO WARRANTY
+FOR THE PROGRAM, TO THE EXTENT PERMITTED BY APPLICABLE LAW.  EXCEPT WHEN
+OTHERWISE STATED IN WRITING THE COPYRIGHT HOLDERS AND/OR OTHER PARTIES
+PROVIDE THE PROGRAM "AS IS" WITHOUT WARRANTY OF ANY KIND, EITHER EXPRESSED
+OR IMPLIED, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF
+MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE.  THE ENTIRE RISK AS
+TO THE QUALITY AND PERFORMANCE OF THE PROGRAM IS WITH YOU.  SHOULD THE
+PROGRAM PROVE DEFECTIVE, YOU ASSUME THE COST OF ALL NECESSARY SERVICING,
+REPAIR OR CORRECTION.
+
+  12. IN NO EVENT UNLESS REQUIRED BY APPLICABLE LAW OR AGREED TO IN WRITING
+WILL ANY COPYRIGHT HOLDER, OR ANY OTHER PARTY WHO MAY MODIFY AND/OR
+REDISTRIBUTE THE PROGRAM AS PERMITTED ABOVE, BE LIABLE TO YOU FOR DAMAGES,
+INCLUDING ANY GENERAL, SPECIAL, INCIDENTAL OR CONSEQUENTIAL DAMAGES ARISING
+OUT OF THE USE OR INABILITY TO USE THE PROGRAM (INCLUDING BUT NOT LIMITED
+TO LOSS OF DATA OR DATA BEING RENDERED INACCURATE OR LOSSES SUSTAINED BY
+YOU OR THIRD PARTIES OR A FAILURE OF THE PROGRAM TO OPERATE WITH ANY OTHER
+PROGRAMS), EVEN IF SUCH HOLDER OR OTHER PARTY HAS BEEN ADVISED OF THE
+POSSIBILITY OF SUCH DAMAGES.
+
+                    END OF TERMS AND CONDITIONS
+\f
+           How to Apply These Terms to Your New Programs
+
+  If you develop a new program, and you want it to be of the greatest
+possible use to the public, the best way to achieve this is to make it
+free software which everyone can redistribute and change under these terms.
+
+  To do so, attach the following notices to the program.  It is safest
+to attach them to the start of each source file to most effectively
+convey the exclusion of warranty; and each file should have at least
+the "copyright" line and a pointer to where the full notice is found.
+
+    <one line to give the program's name and a brief idea of what it does.>
+    Copyright (C) <year>  <name of author>
+
+    This program is free software; you can redistribute it and/or modify
+    it under the terms of the GNU General Public License as published by
+    the Free Software Foundation; either version 2 of the License, or
+    (at your option) any later version.
+
+    This program is distributed in the hope that it will be useful,
+    but WITHOUT ANY WARRANTY; without even the implied warranty of
+    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+    GNU General Public License for more details.
+
+    You should have received a copy of the GNU General Public License
+    along with this program; if not, write to the Free Software
+    Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
+
+
+Also add information on how to contact you by electronic and paper mail.
+
+If the program is interactive, make it output a short notice like this
+when it starts in an interactive mode:
+
+    Gnomovision version 69, Copyright (C) year  name of author
+    Gnomovision comes with ABSOLUTELY NO WARRANTY; for details type `show w'.
+    This is free software, and you are welcome to redistribute it
+    under certain conditions; type `show c' for details.
+
+The hypothetical commands `show w' and `show c' should show the appropriate
+parts of the General Public License.  Of course, the commands you use may
+be called something other than `show w' and `show c'; they could even be
+mouse-clicks or menu items--whatever suits your program.
+
+You should also get your employer (if you work as a programmer) or your
+school, if any, to sign a "copyright disclaimer" for the program, if
+necessary.  Here is a sample; alter the names:
+
+  Yoyodyne, Inc., hereby disclaims all copyright interest in the program
+  `Gnomovision' (which makes passes at compilers) written by James Hacker.
+
+  <signature of Ty Coon>, 1 April 1989
+  Ty Coon, President of Vice
+
+This General Public License does not permit incorporating your program into
+proprietary programs.  If your program is a subroutine library, you may
+consider it more useful to permit linking proprietary applications with the
+library.  If this is what you want to do, use the GNU Library General
+Public License instead of this License.
diff --git a/INSTALL b/INSTALL
new file mode 100644 (file)
index 0000000..7180e08
--- /dev/null
+++ b/INSTALL
@@ -0,0 +1,47 @@
+Installation instructions
+-------------------------
+
+$ ./configure
+$ make
+$ make install
+
+
+Quickstart
+----------
+
+$ darkstat -i eth0
+
+
+Slightly slower start
+---------------------
+
+$ man darkstat
+
+
+Packaging
+---------
+
+The install target respects DESTDIR.  If you are packaging darkstat or
+installing into a chroot, you can:
+
+$ make install DESTDIR=/chroot/whatever
+
+
+Portability
+-----------
+
+Builds out of the box on:
+
+ - FreeBSD 7.0
+
+Reported to also work on:
+
+ - Solaris (with Sun C 5.8, and libpcap installed)
+ - Fedora Core (with libpcap-devel installed)
+ - OpenBSD
+ - NetBSD
+ - Mac OS X
+ - AIX
+ - Ubuntu (you need build-essentials, zlib1g-dev, libpcap-dev)
+ - Mandrake
+ - OpenSUSE
diff --git a/LICENSE b/LICENSE
new file mode 100644 (file)
index 0000000..f7d77fc
--- /dev/null
+++ b/LICENSE
@@ -0,0 +1,13 @@
+Parts of the darkstat source code are covered by a BSD license (actually
+closer to the ISC license template favored by the OpenBSD project).
+These are usually the more generalized, reusable parts of the code.
+
+Other parts of the darkstat code are covered by the GPL.  These other
+parts are usually not generic code, but are specific to darkstat and its
+purpose.
+
+All of the source code is clearly annotated to show which license covers
+which parts.
+
+Due to the viral nature of the GPL, once linked, the entire darkstat
+binary is infected with the GPL.
diff --git a/Makefile.in b/Makefile.in
new file mode 100644 (file)
index 0000000..4993aad
--- /dev/null
@@ -0,0 +1,114 @@
+# darkstat 3
+# copyright (c) 2001-2007 Emil Mikulic.
+#
+# You may use, modify and redistribute this file under the terms of the
+# GNU General Public License version 2. (see COPYING.GPL)
+
+CC = @CC@
+CFLAGS = @CFLAGS@
+CPP = @CPP@
+CPPFLAGS = @CPPFLAGS@
+INSTALL = @INSTALL@
+LDFLAGS = @LDFLAGS@
+LIBS = @LIBS@
+
+HOSTCC ?= $(CC)
+HOSTCFLAGS ?= $(CFLAGS)
+
+prefix = @prefix@
+exec_prefix = @exec_prefix@
+sbindir = @sbindir@
+datarootdir = @datarootdir@
+mandir = @mandir@
+
+# Optimizations FIXME: dead code.  push into autoconf?
+#CPPFLAGS += -D__OPTIMIZE__ -DNDEBUG
+
+SRCS = \
+acct.c         \
+cap.c          \
+conv.c         \
+darkstat.c     \
+daylog.c       \
+db.c           \
+decode.c       \
+dns.c          \
+err.c          \
+graph_db.c     \
+hosts_db.c     \
+hosts_sort.c   \
+http.c         \
+localip.c      \
+ncache.c       \
+pidfile.c      \
+str.c
+
+OBJS = $(SRCS:%.c=%.o)
+
+all: darkstat
+
+darkstat: $(OBJS)
+       @echo Linking $@
+       $(CC) $(CFLAGS) $(OBJS) $(LDFLAGS) $(LIBS) -o $@
+
+.c.o:
+       $(CC) $(CPPFLAGS) $(CFLAGS) -c $< -o $@
+
+clean:
+       rm -f darkstat $(OBJS) c-ify graphjs.h stylecss.h
+
+depend: stylecss.h graphjs.h config.status
+       cp Makefile.in Makefile.in.old
+       sed '/^# Automatically generated dependencies$$/,$$d' \
+               <Makefile.in.old >Makefile.in
+       echo "# Automatically generated dependencies" >>Makefile.in
+       $(CPP) $(CPPFLAGS) -MM $(SRCS) >>Makefile.in
+       ./config.status
+       rm -f Makefile.in.old
+
+show-dep:
+       @echo $(CPP) $(CPPFLAGS) -MM $(SRCS)
+
+# Statics: (FIXME?)
+graphjs.h: static/graph.js c-ify
+       ./c-ify graph_js <static/graph.js >$@
+
+stylecss.h: static/style.css c-ify
+       ./c-ify style_css <static/style.css >$@
+
+c-ify: static/c-ify.c
+       $(HOSTCC) $(HOSTCFLAGS) static/c-ify.c -o $@
+
+install: darkstat
+       $(INSTALL) -d $(DESTDIR)$(sbindir)
+       $(INSTALL) -m 555 darkstat $(DESTDIR)$(sbindir)
+       $(INSTALL) -d $(DESTDIR)$(mandir)/man8
+       $(INSTALL) -m 444 darkstat.8 $(DESTDIR)$(mandir)/man8
+
+# Automatically generated dependencies
+acct.o: acct.c darkstat.h config.h acct.h decode.h conv.h daylog.h \
+  graph_db.h err.h hosts_db.h str.h localip.h now.h
+cap.o: cap.c darkstat.h config.h cap.h conv.h decode.h hosts_db.h str.h \
+  localip.h err.h
+conv.o: conv.c darkstat.h config.h conv.h err.h
+darkstat.o: darkstat.c darkstat.h config.h acct.h decode.h cap.h conv.h \
+  daylog.h graph_db.h db.h dns.h http.h hosts_db.h str.h localip.h \
+  ncache.h pidfile.h err.h now.h
+daylog.o: daylog.c darkstat.h config.h err.h daylog.h graph_db.h str.h \
+  now.h
+db.o: db.c darkstat.h config.h err.h hosts_db.h str.h graph_db.h db.h
+decode.o: decode.c darkstat.h config.h acct.h decode.h cap.h err.h
+dns.o: dns.c darkstat.h config.h conv.h decode.h dns.h err.h hosts_db.h \
+  str.h queue.h tree.h
+err.o: err.c darkstat.h config.h err.h pidfile.h
+graph_db.o: graph_db.c cap.h conv.h darkstat.h config.h db.h acct.h \
+  decode.h err.h str.h html.h graph_db.h now.h
+hosts_db.o: hosts_db.c darkstat.h config.h conv.h decode.h dns.h err.h \
+  hosts_db.h str.h db.h html.h ncache.h now.h
+hosts_sort.o: hosts_sort.c darkstat.h config.h hosts_db.h str.h err.h
+http.o: http.c darkstat.h config.h http.h conv.h hosts_db.h str.h \
+  graph_db.h err.h queue.h now.h stylecss.h graphjs.h
+localip.o: localip.c darkstat.h config.h conv.h decode.h err.h localip.h
+ncache.o: ncache.c darkstat.h config.h conv.h err.h ncache.h tree.h
+pidfile.o: pidfile.c darkstat.h config.h err.h str.h pidfile.h
+str.o: str.c darkstat.h config.h conv.h err.h str.h
diff --git a/NEWS b/NEWS
new file mode 100644 (file)
index 0000000..0ec2855
--- /dev/null
+++ b/NEWS
@@ -0,0 +1,19 @@
+darkstat v3.0.540 and earlier defaulted to running in the foreground
+and had a "-d" commandline argument to get darkstat to daemonize,
+detach from the controlling terminal, and run in the background.
+
+Since r540, the default has been inverted.  darkstat will daemonize by
+default.
+
+Since r626, this behaviour can be suppressed with the "--debug"
+commandline argument, to force darkstat to stay in the foreground for
+debugging purposes.
+
+The "-d" argument is no longer recognized, and will prevent darkstat
+from starting, so make sure you adjust any startup scripts you may have.
+
+After 3.0.708, --debug was split into --verbose and --no-daemon.
+
+Since v3.0.694, darkstat is able to save its internal database into a
+file and reload it on startup.  The file format is, by design,
+incompatible with the format from darkstat v2.
diff --git a/README b/README
new file mode 100644 (file)
index 0000000..651c0f9
--- /dev/null
+++ b/README
@@ -0,0 +1,16 @@
+darkstat is a network statistics gatherer.
+
+It sniffs packets on a specified interface, accumulates statistics, and
+serves them up over HTTP.
+
+Web: http://dmr.ath.cx/net/darkstat/
+
+See the "AUTHORS" file for credits, and who to e-mail when things break.
+See the "THANKS" file for more credits.
+See the "LICENSE" file for an explanation of the source code licensing.
+See the "INSTALL" file for installation instructions.
+See the "darkstat.8" manual page for usage instructions.
+
+If your system doesn't have enough copies of the full text of the GNU
+General Public License already, we have provided another one in the
+"COPYING.GPL" file.
diff --git a/THANKS b/THANKS
new file mode 100644 (file)
index 0000000..90b71fc
--- /dev/null
+++ b/THANKS
@@ -0,0 +1,16 @@
+Thanks to everyone who contributed code, ideas, and helped with testing
+or general moral support.
+
+Cyro W. Corte Real Filho for some early help with building on Linux.
+Jean-Edouard Babin for testing on NetBSD and OS X.
+Leif Terrens for initial OpenBSD testing.
+Moritz Grimm for chasing a weird crash.
+Andreas Reimann for building darkstat on AIX.
+Colin Phipps for his help in fixing darkstat's use of BPF.
+Cheng-Lung Sung and Martin Wilke for committing updates to the FreeBSD port.
+Cristian Rodriguez for SUSE packages and helpful suggestions.
+Piotr Kalina for bugspotting.
+Carlo Florendo for testing and portability on Trustix Secure Linux.
+Damian Lozinski for initial implementation of average KB/s on graphs.
+Rene Mayorga for Debian packages and testing.
+Damien Clauzel for contributing launchd config and Mac OS X instructions.
diff --git a/acct.c b/acct.c
new file mode 100644 (file)
index 0000000..7c70011
--- /dev/null
+++ b/acct.c
@@ -0,0 +1,202 @@
+/* darkstat 3
+ * copyright (c) 2001-2008 Emil Mikulic.
+ *
+ * acct.c: traffic accounting
+ *
+ * Permission to use, copy, modify, and distribute this file for any
+ * purpose with or without fee is hereby granted, provided that the above
+ * copyright notice and this permission notice appear in all copies.
+ *
+ * THE SOFTWARE IS PROVIDED "AS IS" AND THE AUTHOR DISCLAIMS ALL WARRANTIES
+ * WITH REGARD TO THIS SOFTWARE INCLUDING ALL IMPLIED WARRANTIES OF
+ * MERCHANTABILITY AND FITNESS. IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR
+ * ANY SPECIAL, DIRECT, INDIRECT, OR CONSEQUENTIAL DAMAGES OR ANY DAMAGES
+ * WHATSOEVER RESULTING FROM LOSS OF USE, DATA OR PROFITS, WHETHER IN AN
+ * ACTION OF CONTRACT, NEGLIGENCE OR OTHER TORTIOUS ACTION, ARISING OUT OF
+ * OR IN CONNECTION WITH THE USE OR PERFORMANCE OF THIS SOFTWARE.
+ */
+
+#include "darkstat.h"
+#include "acct.h"
+#include "conv.h"
+#include "daylog.h"
+#include "err.h"
+#include "hosts_db.h"
+#include "localip.h"
+#include "now.h"
+
+#include <arpa/inet.h> /* for inet_aton() */
+#define __FAVOR_BSD
+#include <netinet/tcp.h>
+#include <stdlib.h> /* for free */
+#include <string.h> /* for memcpy */
+
+uint64_t total_packets = 0, total_bytes = 0;
+
+static int using_localnet = 0;
+static in_addr_t localnet, localmask;
+
+/* Parse the net/mask specification into two IPs or die trying. */
+void
+acct_init_localnet(const char *spec)
+{
+   char **tokens;
+   int num_tokens;
+   struct in_addr addr;
+
+   tokens = split('/', spec, &num_tokens);
+   if (num_tokens != 2)
+      errx(1, "expecting network/netmask, got \"%s\"", spec);
+
+   if (inet_aton(tokens[0], &addr) != 1)
+      errx(1, "invalid network address \"%s\"", tokens[0]);
+   localnet = addr.s_addr;
+
+   if (inet_aton(tokens[1], &addr) != 1)
+      errx(1, "invalid network mask \"%s\"", tokens[1]);
+   localmask = addr.s_addr;
+   /* FIXME: improve so we can accept masks like /24 for 255.255.255.0 */
+
+   using_localnet = 1;
+   free(tokens[0]);
+   free(tokens[1]);
+   free(tokens);
+
+   verbosef("local network address: %s", ip_to_str(localnet));
+   verbosef("   local network mask: %s", ip_to_str(localmask));
+
+   if ((localnet & localmask) != localnet)
+      errx(1, "this is an invalid combination of address and mask!\n"
+      "it cannot match any address!");
+}
+
+/* Account for the given packet summary. */
+void
+acct_for(const pktsummary *sm)
+{
+   struct bucket *hs = NULL, *hd = NULL;
+   struct bucket *ps, *pd;
+   int dir_in, dir_out;
+
+#if 0 /* WANT_CHATTY? */
+   printf("%15s > ", ip_to_str(sm->src_ip));
+   printf("%15s ", ip_to_str(sm->dest_ip));
+   printf("len %4d proto %2d", sm->len, sm->proto);
+
+   if (sm->proto == IPPROTO_TCP || sm->proto == IPPROTO_UDP)
+      printf(" port %5d : %5d", sm->src_port, sm->dest_port);
+   if (sm->proto == IPPROTO_TCP)
+      printf(" %s%s%s%s%s%s",
+         (sm->tcp_flags & TH_FIN)?"F":"",
+         (sm->tcp_flags & TH_SYN)?"S":"",
+         (sm->tcp_flags & TH_RST)?"R":"",
+         (sm->tcp_flags & TH_PUSH)?"P":"",
+         (sm->tcp_flags & TH_ACK)?"A":"",
+         (sm->tcp_flags & TH_URG)?"U":""
+      );
+   printf("\n");
+#endif
+
+   /* Totals. */
+   total_packets++;
+   total_bytes += sm->len;
+
+   /* Hosts. */
+   hs = host_get(sm->src_ip);
+   hs->out   += sm->len;
+   hs->total += sm->len;
+   memcpy(hs->u.host.mac_addr, sm->src_mac, sizeof(sm->src_mac));
+   hs->u.host.last_seen = now;
+
+   hd = host_get(sm->dest_ip); /* this can invalidate hs! */
+   hd->in    += sm->len;
+   hd->total += sm->len;
+   memcpy(hd->u.host.mac_addr, sm->dst_mac, sizeof(sm->dst_mac));
+   hd->u.host.last_seen = now;
+
+   /* Graphs. */
+   dir_in = dir_out = 0;
+
+   if (using_localnet) {
+      if ((sm->src_ip & localmask) == localnet)
+         dir_out = 1;
+      if ((sm->dest_ip & localmask) == localnet)
+         dir_in = 1;
+      if (dir_in == 1 && dir_out == 1)
+         /* Traffic staying within the network isn't counted. */
+         dir_in = dir_out = 0;
+   } else {
+      if (sm->src_ip == localip)
+         dir_out = 1;
+      if (sm->dest_ip == localip)
+         dir_in = 1;
+   }
+
+   if (dir_out) {
+      daylog_acct((uint64_t)sm->len, GRAPH_OUT);
+      graph_acct((uint64_t)sm->len, GRAPH_OUT);
+   }
+   if (dir_in) {
+      daylog_acct((uint64_t)sm->len, GRAPH_IN);
+      graph_acct((uint64_t)sm->len, GRAPH_IN);
+   }
+
+   /* Protocols. */
+   hs = host_find(sm->src_ip);
+   if (hs != NULL) {
+      ps = host_get_ip_proto(hs, sm->proto);
+      ps->out   += sm->len;
+      ps->total += sm->len;
+   }
+
+   pd = host_get_ip_proto(hd, sm->proto);
+   pd->in    += sm->len;
+   pd->total += sm->len;
+
+   /* Ports. */
+   switch (sm->proto)
+   {
+   case IPPROTO_TCP:
+      if ((sm->src_port <= highest_port) && (hs != NULL))
+      {
+         ps = host_get_port_tcp(hs, sm->src_port);
+         ps->out   += sm->len;
+         ps->total += sm->len;
+      }
+
+      if (sm->dest_port <= highest_port)
+      {
+         pd = host_get_port_tcp(hd, sm->dest_port);
+         pd->in    += sm->len;
+         pd->total += sm->len;
+         if (sm->tcp_flags == TH_SYN)
+            pd->u.port_tcp.syn++;
+      }
+      break;
+
+   case IPPROTO_UDP:
+      if ((sm->src_port <= highest_port) && (hs != NULL))
+      {
+         ps = host_get_port_udp(hs, sm->src_port);
+         ps->out   += sm->len;
+         ps->total += sm->len;
+      }
+
+      if (sm->dest_port <= highest_port)
+      {
+         pd = host_get_port_udp(hd, sm->dest_port);
+         pd->in    += sm->len;
+         pd->total += sm->len;
+      }
+      break;
+
+   case IPPROTO_ICMP:
+      /* known protocol, don't complain about it */
+      break;
+
+   default:
+      verbosef("unknown IP proto (%04x)", sm->proto);
+   }
+}
+
+/* vim:set ts=3 sw=3 tw=78 expandtab: */
diff --git a/acct.h b/acct.h
new file mode 100644 (file)
index 0000000..336ac85
--- /dev/null
+++ b/acct.h
@@ -0,0 +1,16 @@
+/* darkstat 3
+ * copyright (c) 2001-2008 Emil Mikulic.
+ *
+ * acct.h: traffic accounting
+ */
+
+#include "decode.h"
+
+extern uint64_t total_packets, total_bytes;
+
+void acct_init_localnet(const char *spec);
+void acct_for(const pktsummary *sm);
+
+extern unsigned int highest_port;
+
+/* vim:set ts=3 sw=3 tw=78 expandtab: */
diff --git a/cap.c b/cap.c
new file mode 100644 (file)
index 0000000..1fc8def
--- /dev/null
+++ b/cap.c
@@ -0,0 +1,332 @@
+/* darkstat 3
+ * copyright (c) 2001-2008 Emil Mikulic.
+ *
+ * cap.c: interface to libpcap.
+ *
+ * You may use, modify and redistribute this file under the terms of the
+ * GNU General Public License version 2. (see COPYING.GPL)
+ */
+
+#include "darkstat.h"
+#include "cap.h"
+#include "conv.h"
+#include "decode.h"
+#include "hosts_db.h"
+#include "localip.h"
+
+#include <sys/ioctl.h>
+#include <sys/types.h>
+#include <sys/socket.h>
+#include <sys/wait.h>
+#ifdef HAVE_SYS_FILIO_H
+# include <sys/filio.h> /* Solaris' FIONBIO hides here */
+#endif
+#include <assert.h>
+#include "err.h"
+#include <stdio.h>
+#include <stdlib.h>
+#include <string.h>
+#include <unistd.h>
+
+extern int want_pppoe, want_macs;
+
+/* The cap process life-cycle:
+ *
+ * Init           - cap_init()
+ * Fill fd_set    - cap_fd_set()
+ * Poll           - cap_poll()
+ * Stop           - cap_stop()
+ */
+
+/* Globals - only useful within this module. */
+static pcap_t *pcap = NULL;
+static int pcap_fd = -1;
+static const linkhdr_t *linkhdr = NULL;
+
+#define CAP_TIMEOUT 500 /* granularity of capture buffer, in milliseconds */
+
+/* ---------------------------------------------------------------------------
+ * Init pcap.  Exits on failure.
+ */
+void
+cap_init(const char *device, const char *filter, int promisc)
+{
+   char errbuf[PCAP_ERRBUF_SIZE], *tmp_device;
+   int linktype, caplen;
+
+   /* pcap doesn't like device being const */
+   tmp_device = xstrdup(device);
+
+   /* Open packet capture descriptor. */
+   errbuf[0] = '\0'; /* zero length string */
+   pcap = pcap_open_live(
+      tmp_device,
+      1,          /* snaplen, irrelevant at this point */
+      0,          /* promisc, also irrelevant */
+      CAP_TIMEOUT,
+      errbuf);
+
+   if (pcap == NULL)
+      errx(1, "pcap_open_live(): %s", errbuf);
+
+   /* Work out the linktype and what caplen it needs. */
+   linktype = pcap_datalink(pcap);
+   verbosef("linktype is %d", linktype);
+   if ((linktype == DLT_EN10MB) && want_macs)
+      show_mac_addrs = 1;
+   linkhdr = getlinkhdr(linktype);
+   if (linkhdr == NULL)
+      errx(1, "unknown linktype %d", linktype);
+   if (linkhdr->handler == NULL)
+      errx(1, "no handler for linktype %d", linktype);
+   caplen = getcaplen(linkhdr);
+   if (want_pppoe) {
+      caplen += PPPOE_HDR_LEN;
+      if (linktype != DLT_EN10MB)
+         errx(1, "can't do PPPoE decoding on a non-Ethernet linktype");
+   }
+   verbosef("caplen is %d", caplen);
+
+   /* Close and re-open pcap to use the new caplen. */
+   pcap_close(pcap);
+   errbuf[0] = '\0'; /* zero length string */
+   pcap = pcap_open_live(
+      tmp_device,
+      caplen,      /* snaplen */
+      promisc,
+      CAP_TIMEOUT,
+      errbuf);
+
+   if (pcap == NULL)
+      errx(1, "pcap_open_live(): %s", errbuf);
+
+   if (errbuf[0] != '\0') /* not zero length anymore -> warning */
+      warnx("pcap_open_live() warning: %s", errbuf);
+
+   free(tmp_device);
+
+   if (promisc)
+      verbosef("capturing in promiscuous mode");
+   else
+      verbosef("capturing in non-promiscuous mode");
+
+   /* Set filter expression, if any. */
+   if (filter != NULL)
+   {
+      struct bpf_program prog;
+      char *tmp_filter = xstrdup(filter);
+      if (pcap_compile(
+            pcap,
+            &prog,
+            tmp_filter,
+            1,          /* optimize */
+            0)          /* netmask */
+            == -1)
+         errx(1, "pcap_compile(): %s", pcap_geterr(pcap));
+
+      if (pcap_setfilter(pcap, &prog) == -1)
+         errx(1, "pcap_setfilter(): %s", pcap_geterr(pcap));
+
+      pcap_freecode(&prog);
+      free(tmp_filter);
+   }
+
+   pcap_fd = pcap_fileno(pcap);
+
+   /* set non-blocking */
+{ int one = 1;
+   if (ioctl(pcap_fd, FIONBIO, &one) == -1)
+      err(1, "ioctl(pcap_fd, FIONBIO)"); }
+
+#ifdef BIOCSETWF
+{
+   /* Deny all writes to the socket */
+   struct bpf_insn bpf_wfilter[] = { BPF_STMT(BPF_RET+BPF_K, 0) };
+   int wf_len = sizeof(bpf_wfilter) / sizeof(struct bpf_insn);
+   struct bpf_program pr;
+
+   pr.bf_len = wf_len;
+   pr.bf_insns = bpf_wfilter;
+
+   if (ioctl(pcap_fd, BIOCSETWF, &pr) == -1)
+      err(1, "ioctl(pcap_fd, BIOCSETFW)");
+   verbosef("filtered out BPF writes");
+}
+#endif
+
+#ifdef BIOCLOCK
+   /* set "locked" flag (no reset) */
+   if (ioctl(pcap_fd, BIOCLOCK) == -1)
+      err(1, "ioctl(pcap_fd, BIOCLOCK)");
+   verbosef("locked down BPF for security");
+#endif
+}
+
+/*
+ * Set pcap_fd in the given fd_set.
+ */
+void
+cap_fd_set(
+#ifdef linux
+   fd_set *read_set _unused_,
+   int *max_fd _unused_,
+   struct timeval *timeout,
+#else
+   fd_set *read_set,
+   int *max_fd,
+   struct timeval *timeout _unused_,
+#endif
+   int *need_timeout)
+{
+   assert(*need_timeout == 0); /* we're first to get a shot at this */
+#ifdef linux
+   /*
+    * Linux's BPF is immediate, so don't select() as it will lead to horrible
+    * performance.  Instead, use a timeout for buffering.
+    */
+   *need_timeout = 1;
+   timeout->tv_sec = 0;
+   timeout->tv_usec = CAP_TIMEOUT * 1000; /* msec->usec */
+#else
+   /* We have a BSD-like BPF, we can select() on it. */
+   FD_SET(pcap_fd, read_set);
+   *max_fd = max(*max_fd, pcap_fd);
+#endif
+}
+
+unsigned int pkts_recv = 0, pkts_drop = 0;
+
+static void
+cap_stats_update(void)
+{
+   struct pcap_stat ps;
+
+   if (!want_verbose) return;
+
+   if (pcap_stats(pcap, &ps) != 0) {
+      warnx("pcap_stats(): %s", pcap_geterr(pcap));
+      return;
+   }
+
+   pkts_recv = ps.ps_recv;
+   pkts_drop = ps.ps_drop;
+}
+
+
+/*
+ * Process any packets currently in the capture buffer.
+ */
+void
+cap_poll(fd_set *read_set
+#ifdef linux
+   _unused_
+#endif
+)
+{
+   int total, ret;
+
+#ifndef linux /* We don't use select() on Linux. */
+   if (!FD_ISSET(pcap_fd, read_set)) {
+      verbosef("cap_poll premature");
+      return;
+   }
+#endif
+
+   /*
+    * Once per capture poll, check our IP address.  It's used in accounting
+    * for traffic graphs.
+    */
+   localip_update(); /* FIXME: this might even be too often */
+
+   total = 0;
+   for (;;) {
+      ret = pcap_dispatch(
+            pcap,
+            -1,               /* count, -1 = entire buffer */
+            linkhdr->handler, /* callback func from decode.c */
+            NULL);            /* user */
+
+      if (ret < 0)
+         errx(1, "pcap_dispatch(): %s", pcap_geterr(pcap));
+
+      /* Despite count = -1, Linux will only dispatch one packet at a time. */
+      total += ret;
+
+#ifdef linux
+      /* keep looping until we've dispatched all the outstanding packets */
+      if (ret == 0) break;
+#else
+      /* we get them all on the first shot */
+      break;
+#endif
+   }
+   /*FIXME*/if (want_verbose) fprintf(stderr, "%-20d\r", total);
+   cap_stats_update();
+}
+
+void
+cap_stop(void)
+{
+   pcap_close(pcap);
+}
+
+/* Run through entire capfile. */
+void
+cap_from_file(const char *capfile, const char *filter)
+{
+   char errbuf[PCAP_ERRBUF_SIZE];
+   int linktype, ret;
+
+   /* Open packet capture descriptor. */
+   errbuf[0] = '\0'; /* zero length string */
+   pcap = pcap_open_offline(capfile, errbuf);
+
+   if (pcap == NULL)
+      errx(1, "pcap_open_offline(): %s", errbuf);
+
+   if (errbuf[0] != '\0') /* not zero length anymore -> warning */
+      warnx("pcap_open_offline() warning: %s", errbuf);
+
+   /* Work out the linktype. */
+   linktype = pcap_datalink(pcap);
+   linkhdr = getlinkhdr(linktype);
+   if (linkhdr == NULL)
+      errx(1, "unknown linktype %d", linktype);
+   if (linkhdr->handler == NULL)
+      errx(1, "no handler for linktype %d", linktype);
+   if (linktype == DLT_EN10MB) /* FIXME: impossible with capfile? */
+      show_mac_addrs = 1;
+
+   /* Set filter expression, if any. */ /* FIXME: factor! */
+   if (filter != NULL)
+   {
+      struct bpf_program prog;
+      char *tmp_filter = xstrdup(filter);
+      if (pcap_compile(
+            pcap,
+            &prog,
+            tmp_filter,
+            1,          /* optimize */
+            0)          /* netmask */
+            == -1)
+         errx(1, "pcap_compile(): %s", pcap_geterr(pcap));
+
+      if (pcap_setfilter(pcap, &prog) == -1)
+         errx(1, "pcap_setfilter(): %s", pcap_geterr(pcap));
+
+      pcap_freecode(&prog);
+      free(tmp_filter);
+   }
+
+   /* Process file. */
+   ret = pcap_dispatch(
+         pcap,
+         -1,               /* count, -1 = entire buffer */
+         linkhdr->handler, /* callback func from decode.c */
+         NULL);            /* user */
+
+   if (ret < 0)
+      errx(1, "pcap_dispatch(): %s", pcap_geterr(pcap));
+}
+
+/* vim:set ts=3 sw=3 tw=78 expandtab: */
diff --git a/cap.h b/cap.h
new file mode 100644 (file)
index 0000000..7353484
--- /dev/null
+++ b/cap.h
@@ -0,0 +1,21 @@
+/* darkstat 3
+ * copyright (c) 2001-2008 Emil Mikulic.
+ *
+ * cap.h: interface to libpcap.
+ */
+
+#include <sys/types.h> /* OpenBSD needs this before select */
+#include <sys/time.h> /* FreeBSD 4 needs this for struct timeval */
+#include <sys/select.h>
+
+extern unsigned int pkts_recv, pkts_drop;
+
+void cap_init(const char *device, const char *filter, int promisc);
+void cap_fd_set(fd_set *read_set, int *max_fd,
+   struct timeval *timeout, int *need_timeout);
+void cap_poll(fd_set *read_set);
+void cap_stop(void);
+
+void cap_from_file(const char *capfile, const char *filter);
+
+/* vim:set ts=3 sw=3 tw=78 expandtab: */
diff --git a/configure.ac b/configure.ac
new file mode 100644 (file)
index 0000000..44f3e7c
--- /dev/null
@@ -0,0 +1,180 @@
+AC_INIT(darkstat, 3.0.0-git)
+AC_CONFIG_SRCDIR([darkstat.c])
+AC_CONFIG_HEADER([config.h])
+
+RULE="------------------------------------------------------------"
+
+# Let user specify CHROOT_DIR, or else autodetect it, or else die.
+AC_ARG_WITH(chroot-dir, AS_HELP_STRING([--with-chroot-dir],
+ [specify the chroot directory (default: /var/empty)]),
+ [_chd="$withval"],
+ [# Find an "empty" directory to serve as the chroot.
+  _chd="/var/empty"
+  AC_MSG_CHECKING([for $_chd])
+  if test -d $_chd ; then
+   AC_MSG_RESULT(found it)
+  else
+   AC_MSG_RESULT(not there - what a shitty Unix)
+   _chd="/var/lib/empty"
+   AC_MSG_CHECKING([for $_chd])
+   if test -d $_chd ; then
+    AC_MSG_RESULT(found it)
+   else
+    AC_MSG_RESULT(not there either)
+    AC_MSG_ERROR([please specify --with-chroot-dir])
+   fi
+  fi])
+AC_DEFINE_UNQUOTED(CHROOT_DIR, "$_chd", [Default chroot directory.])
+
+# Allow configure-time override of PRIVDROP_USER.
+AC_ARG_WITH(privdrop-user, AS_HELP_STRING([--with-privdrop-user],
+ [specify which user to drop privileges to (default: nobody)]),
+ [_pdu="$withval"],
+ [_pdu="nobody"])
+AC_DEFINE_UNQUOTED(PRIVDROP_USER, "$_pdu", [User to privdrop to.])
+
+# Checks for programs.
+AC_PROG_INSTALL
+AC_PROG_CC
+
+# Augment CFLAGS for fun.
+echo "int main(void){return 1;}" > conftest.$ac_ext
+
+AC_MSG_CHECKING(if your C compiler wants a hit off the pipe)
+save_cflags="$CFLAGS"
+CFLAGS="-pipe $CFLAGS"
+if (eval $ac_link) 2>/dev/null; then
+ AC_MSG_RESULT(sure does)
+else
+ AC_MSG_RESULT(no)
+ CFLAGS="$save_cflags"
+fi
+
+AC_ARG_WITH(mad-warnings, AS_HELP_STRING([--with-mad-warnings],
+ [turn on lots of compile-time warnings, this needs GCC and is only
+ really useful for development]),
+ [if test "$withval" = yes ; then
+   AC_MSG_CHECKING(if your C compiler throws mad warnings)
+   save_cflags="$CFLAGS"
+   CFLAGS="$CFLAGS -Wall -Wredundant-decls -Wnested-externs \
+-Wstrict-prototypes -Wmissing-prototypes -Wpointer-arith \
+-Winline -Wcast-qual -W -Wbad-function-cast -Wcast-align \
+-Wchar-subscripts -Wshadow -Wwrite-strings \
+-Wuninitialized -Winline"
+   if (eval $ac_link) 2>/dev/null; then
+    AC_MSG_RESULT(sure does)
+   else
+    AC_MSG_RESULT(no)
+    CFLAGS="$save_cflags"
+   fi
+  fi])
+
+rm -f conftest.$ac_objext conftest.$ac_ext
+
+
+
+# Check for zlib.
+AC_CHECK_LIB(z, deflate,, [
+ cat <<END
+$RULE
+
+I can't link to zlib.  You really can't have a modern
+operating system without zlib.
+
+If you are using a package-based operating system (like
+something with RPMs), see if there is a zlib-devel package
+that you can install, to provide the zlib headers and
+libraries.
+
+$RULE
+END
+ AC_MSG_ERROR([can't find usable zlib])])
+
+
+
+# Check for Solaris.
+# Must do at least socket and nsl before checking for libpcap.
+AC_CHECK_LIB(nsl, gethostbyname)
+AC_CHECK_LIB(socket, socket)
+AC_CHECK_LIB(resolv, inet_aton)
+
+
+
+# Check for libpcap
+AC_ARG_WITH(pcap, AS_HELP_STRING([--with-pcap=DIR],
+ [prefix to libpcap installation]),
+ [if test "$withval" = yes ; then
+   AC_MSG_ERROR([must specify a path, as in --with-pcap=DIR])
+  fi
+  if test "$withval" != no ; then
+   PCAP_HOME="$withval"
+  fi])
+
+if test -n "$PCAP_HOME" ; then
+ LDFLAGS="$LDFLAGS -L$PCAP_HOME/lib"
+ CPPFLAGS2="$CPPFLAGS -I$PCAP_HOME/include/pcap"
+ CPPFLAGS="$CPPFLAGS -I$PCAP_HOME/include"
+else
+ CPPFLAGS2="$CPPFLAGS -I/usr/include/pcap"
+fi
+
+AC_CHECK_LIB(pcap, pcap_loop,, PCAP_BROKEN="yes")
+
+if test -z "$PCAP_BROKEN" ; then
+  AC_CHECK_HEADERS(pcap.h,,
+  [# Couldn't find headers, try include/pcap
+   CPPFLAGS="$CPPFLAGS2"
+   AC_MSG_NOTICE([checking in include/pcap])
+   unset ac_cv_header_pcap_h
+   AC_CHECK_HEADERS(pcap.h,
+    AC_MSG_RESULT([I hate you.]),
+    PCAP_BROKEN="yes")])
+fi
+
+if test -n "$PCAP_BROKEN" ; then
+ cat <<END_MSG
+$RULE
+
+darkstat absolutely requires libpcap to be installed.  If
+it's installed into a prefix that isn't being picked up by
+configure, for example /usr/local, re-run configure and add
+--with-pcap=/usr/local
+
+If you are using a package-based operating system (like
+something with RPMs), see if there is a pcap-devel or
+libpcap-devel package that you can install, to provide the
+pcap headers and libraries.
+
+Failing all of the above, go to http://www.tcpdump.org/ and
+download the source distribution of libpcap and build it
+yourself.
+
+$RULE
+END_MSG
+ AC_MSG_ERROR([can't find usable libpcap])
+fi
+
+
+
+# A real OS will have setproctitle()
+AC_CHECK_LIB(c, setproctitle,
+ AC_DEFINE(HAVE_SETPROCTITLE, 1,
+  [Define to 1 if you have setproctitle().]))
+
+# A real OS will have safe string functions
+AC_CHECK_LIB(c, strlcpy,
+ AC_DEFINE(HAVE_STRLCPY, 1,
+  [Define to 1 if you have strlcpy().]))
+
+AC_CHECK_LIB(c, strlcat,
+ AC_DEFINE(HAVE_STRLCAT, 1,
+  [Define to 1 if you have strlcat().]))
+
+# Some OSes (Solaris) need sys/sockio.h for SIOCGIFADDR
+AC_CHECK_HEADERS(sys/sockio.h)
+
+# Some OSes (Solaris) need sys/filio.h for FIONBIO
+AC_CHECK_HEADERS(sys/filio.h)
+
+AC_CONFIG_FILES(Makefile)
+AC_OUTPUT
diff --git a/contrib/LisezMoi.MacOS b/contrib/LisezMoi.MacOS
new file mode 100644 (file)
index 0000000..a68c355
--- /dev/null
@@ -0,0 +1,67 @@
++---------------------+
+| Darkstat pour MacOS |
++---------------------+
+
+Darkstat fonctionne parfaitement sur MacOS, sous forme de service utilisant le gestionnaire standard d'Apple, launchd, ou en tant que simple processus. Dans tous les cas, les conditions habituelles d'accès aux interfaces réseaux et aux ports s'appliquent de la même façon que pour les autres plate-formes UNIX.
+
+Pour utiliser darkstat en tant que service système, nous devons donner à launchd les informations décrivant le nouveau service qu'on souhaite lui adjoindre.
+
+Un fichier de configuration (cx.ath.darkstat) a déjà été préparé, il suffit de le placer dans le répertoire approprié et de l'activer. La configuration a été conçue pour écouter sur l'interface réseau « en0 » (ethernet) et faire tourner darkstat avec une politesse de 1.
+
+
+
++-----------------+
+| Mise en service |
++-----------------+
+
+Procédure pour installer la configuration du service :
+
+       1)      Éditez le fichier « cx.ath.darkstat » pour y définir le chemin d'accès complet à darkstat :
+               si vous utiliser la distribution macports, mettez « /opt/local/sbin/darkstat »
+               si vous utiliser la distribution fink, mettez « /sw/sbin/darkstat »
+               si vous utiliser une installation manuelle, à vous de savoir.
+
+       2)      Copiez le fichier de configuration :
+               sudo cp cx.ath.darkstat /Library/LaunchDaemons/
+               sudo chown root:wheel /Library/LaunchDaemons/cx.ath.darkstat
+               sudo chmod 644 /Library/LaunchDaemons/cx.ath.darkstat
+
+       3)      Activez darkstat :
+               sudo launchctl load /Library/LaunchDaemons/cx.ath.darkstat
+
+Désormais, darkstat est sous contrôle de launchd et sera lancé au démarrage de la machine.
+
+
+
++---------------------+
+| Désactiver darkstat |
++---------------------+
+
+Pour désactiver darkstat jusqu'au prochain démarrage, utilisez la commande : sudo launchctl unload /Library/LaunchDaemons/cx.ath.darkstat
+
+Pour désactiver darkstat de façon permanente, vous pouvez effectuer au choix l'un des deux opérations suivantes :
+
+       1)      utilisez la commande : sudo launchctl unload -w /Library/LaunchDaemons/cx.ath.darkstat
+               L'option « -w » va modifier le fichier de configuration pour ajouter une clé interdisant l'activation du service.
+
+               Pour réactiver le service par la suite, il faut employer la commande : sudo launchctl load -w /Library/LaunchDaemons/cx.ath.darkstat
+               L'option « -w » va modifier le fichier de configuration pour retirer une clé interdisant l'activation du service.
+
+       2)      supprimer simplement le fichier /Library/LaunchDaemons/cx.ath.darkstat
+
+
+
++---------------------+
+| Plus d'informations |
++---------------------+
+
+Pour en savoir plus :
+       - darkstat : man 1 darkstat
+       - launchctl, l'outil de contrôle de launchd : man 1 launchctl
+       - la configuration d'un service launchd : man 5 launchd.plist
+       - définition de la politesse : man 1 nice
+
+
+--
+Damien Clauzel, Damien@Clauzel.nom.fr
+1/07/2008
diff --git a/contrib/ReadMe.MacOS b/contrib/ReadMe.MacOS
new file mode 100644 (file)
index 0000000..4373413
--- /dev/null
@@ -0,0 +1,67 @@
++--------------------+
+| Darkstat for MacOS |
++--------------------+
+
+Darkstat run smoothly on MacOS, as a service using the Apple standard manager, launchd, or as a simple process. In any cases, the usual requirements are used for accessing network interfaces and ports than for other UNIX platforms.
+
+In order to use darkstat as a system service, we have to tell launchd the necessary informations about the new service we want it to manage.
+
+A configuration file (cx.ath.darkstat) has already been prepared, you just have to put it into the appropriate directory and to activate it. The configuration has been set-up for listening on the "en0" (ethernet) network interface, and to run darkstat with a nice of 1.
+
+
+
++------------+
+| Activation |
++------------+
+
+Procedure for installing the service's configuration:
+
+       1)      Edit the file "cx.ath.darkstat" for specifying the full access path to darkstat:
+               if you are using the macports distribution, use "/opt/local/sbin/darkstat"
+               if you are using the fink distribution, use "/sw/sbin/darkstat"
+               if you are using a manual installation, it is up to you.
+
+       2)      Copy the configuration file:
+               sudo cp cx.ath.darkstat /Library/LaunchDaemons/
+               sudo chown root:wheel /Library/LaunchDaemons/cx.ath.darkstat
+               sudo chmod 644 /Library/LaunchDaemons/cx.ath.darkstat
+
+       3)      Activate darkstat:
+               sudo launchctl load /Library/LaunchDaemons/cx.ath.darkstat
+
+From now, darkstat is under the control of launchd and will be started at boot time.
+
+
+
++------------------------+
+| Desactivating darkstat |
++------------------------+
+
+For deactivating darkstat until the next boot, you can use the command: sudo launchctl unload /Library/LaunchDaemons/cx.ath.darkstat
+
+For permanently deactivating darkstat, you can use one of the two following solutions:
+
+       1)      using the command: sudo launchctl unload -w /Library/LaunchDaemons/cx.ath.darkstat
+               The "-w" option will modify the configuration file, adding a key forbidding the activation of the service.
+
+               In order to reactivate the service, you will have to use the command: sudo launchctl load -w /Library/LaunchDaemons/cx.ath.darkstat
+               The "-w" option will modify the configuration file, removing a key forbidding the activation of the service.
+
+       2)      simply remove the file /Library/LaunchDaemons/cx.ath.darkstat
+
+
+
++------------------+
+| More information |
++------------------+
+
+Suggested further readings:
+       - darkstat: man 1 darkstat
+       - launchctl, the control tool for launchd: man 1 launchctl
+       - launchd service configuration: man 5 launchd.plist
+       - using nice: man 1 nice
+
+
+--
+Damien Clauzel, Damien@Clauzel.nom.fr
+1/07/2008
diff --git a/contrib/cx.ath.darkstat b/contrib/cx.ath.darkstat
new file mode 100644 (file)
index 0000000..7f7f93f
--- /dev/null
@@ -0,0 +1,32 @@
+<?xml version="1.0" encoding="UTF-8"?>
+<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
+<plist version="1.0">
+<dict>
+       <key>UserName</key>
+       <string>root</string>
+       <key>GroupName</key>
+       <string>wheel</string>
+       <key>KeepAlive</key>
+       <true/>
+       <key>Label</key>
+       <string>cx.ath.darkstat</string>
+       <key>Nice</key>
+       <integer>1</integer>
+       <key>ProgramArguments</key>
+       <array>
+<!--
+Indiquez le chemin d'accès complet à darkstat; par exemple :
+Specify the full path to darkstat; for example :
+               <string>/opt/local/sbin/darkstat</string>
+               <string>/sw/sbin/darkstat</string>
+-->
+               <string>--no-daemon</string>
+               <string>-i</string>
+               <string>en0</string>
+               <string>-b</string>
+               <string>127.0.0.1</string>
+       </array>
+       <key>RunAtLoad</key>
+       <true/>
+</dict>
+</plist>
diff --git a/conv.c b/conv.c
new file mode 100644 (file)
index 0000000..a3c2476
--- /dev/null
+++ b/conv.c
@@ -0,0 +1,458 @@
+/* darkstat 3
+ * copyright (c) 2001-2007 Emil Mikulic.
+ *
+ * conv.c: convenience functions.
+ *
+ * Permission to use, copy, modify, and distribute this file for any
+ * purpose with or without fee is hereby granted, provided that the above
+ * copyright notice and this permission notice appear in all copies.
+ *
+ * THE SOFTWARE IS PROVIDED "AS IS" AND THE AUTHOR DISCLAIMS ALL WARRANTIES
+ * WITH REGARD TO THIS SOFTWARE INCLUDING ALL IMPLIED WARRANTIES OF
+ * MERCHANTABILITY AND FITNESS. IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR
+ * ANY SPECIAL, DIRECT, INDIRECT, OR CONSEQUENTIAL DAMAGES OR ANY DAMAGES
+ * WHATSOEVER RESULTING FROM LOSS OF USE, DATA OR PROFITS, WHETHER IN AN
+ * ACTION OF CONTRACT, NEGLIGENCE OR OTHER TORTIOUS ACTION, ARISING OUT OF
+ * OR IN CONNECTION WITH THE USE OR PERFORMANCE OF THIS SOFTWARE.
+ */
+
+#include "darkstat.h"
+#include "conv.h"
+
+#include <sys/wait.h>
+#include <assert.h>
+#include <ctype.h>
+#include "err.h"
+#include <errno.h>
+#include <fcntl.h>
+#include <pwd.h>
+#include <stdio.h>
+#include <stdlib.h>
+#include <string.h>
+#include <time.h>
+#include <unistd.h>
+
+#define PATH_DEVNULL "/dev/null"
+
+/* malloc() that exits on failure. */
+void *
+xmalloc(const size_t size)
+{
+   void *ptr = malloc(size);
+
+   if (ptr == NULL)
+      errx(1, "malloc(): out of memory");
+   return (ptr);
+}
+
+/* calloc() that exits on failure. */
+void *
+xcalloc(const size_t num, const size_t size)
+{
+   void *ptr = calloc(num, size);
+
+   if (ptr == NULL)
+      errx(1, "calloc(): out of memory");
+   return (ptr);
+}
+
+/* realloc() that exits on failure. */
+void *
+xrealloc(void *original, const size_t size)
+{
+    void *ptr = realloc(original, size);
+
+    if (ptr == NULL)
+      errx(1, "realloc(): out of memory");
+    return (ptr);
+}
+
+/* strdup() that exits on failure. */
+char *
+xstrdup(const char *s)
+{
+   char *tmp = strdup(s);
+
+   if (tmp == NULL)
+      errx(1, "strdup(): out of memory");
+   return (tmp);
+}
+
+/* ---------------------------------------------------------------------------
+ * Split string out of src with range [left:right-1]
+ */
+char *
+split_string(const char *src, const size_t left, const size_t right)
+{
+    char *dest;
+    assert(left <= right);
+    assert(left < strlen(src));   /* [left means must be smaller */
+    assert(right <= strlen(src)); /* right) means can be equal or smaller */
+
+    dest = xmalloc(right - left + 1);
+    memcpy(dest, src+left, right-left);
+    dest[right-left] = '\0';
+    return (dest);
+}
+
+/* ---------------------------------------------------------------------------
+ * Uppercasify all characters in a string of given length.
+ */
+void
+strntoupper(char *str, const size_t length)
+{
+    size_t i;
+
+    for (i=0; i<length; i++)
+        str[i] = toupper(str[i]);
+}
+
+/* ---------------------------------------------------------------------------
+ * Returns non-zero if haystack starts with needle.
+ */
+int
+str_starts_with(const char *haystack, const char *needle)
+{
+   int i = 0;
+
+   while (needle[i] != '\0') {
+      if ((haystack[i] == '\0') || (haystack[i] != needle[i]))
+         return (0);
+      i++;
+   }
+   return (1);
+}
+
+/* split - splits a string by a delimiter character into an array of
+ * string chunks.
+ *
+ * The chunks and the array are dynamically allocated using xmalloc() so
+ * it will errx() if it runs out of memory.
+ *
+ *    int num_chunks;
+ *    char **chunks = split('.', "..one...two....", &num_chunks);
+ *
+ *    num_chunks = 2, chunks = { "one", "two", NULL }
+ */
+char **
+split(const char delimiter, const char *str, int *num_chunks)
+{
+   int num = 0;
+   char **chunks = NULL;
+   size_t left, right = 0;
+
+   #define PUSH(c) do { num++;  chunks = (char**) xrealloc(chunks, \
+      sizeof(*chunks) * num);  chunks[num-1] = c; } while(0)
+
+   for(;;) {
+      /* find first non-delimiter */
+      for (left = right; str[left] == delimiter; left++)
+            ;
+
+      if (str[left] == '\0')
+         break; /* ran out of string */
+
+      /* find first delimiter or end of string */
+      for (right=left+1;
+         str[right] != delimiter && str[right] != '\0';
+         right++)
+            ;
+
+      /* split chunk out */
+      PUSH( split_string(str, left, right) );
+
+      if (str[right] == '\0')
+         break; /* ran out of string */
+      else
+         right++;
+   }
+
+   /* return */
+   PUSH(NULL);
+   if (num_chunks != NULL)
+      *num_chunks = num-1; /* NULL doesn't count */
+   return (chunks);
+   #undef PUSH
+}
+
+/* Given an HTTP query string and a key to search for, return the value
+ * associated with it, or NULL if there is no such key or qs is NULL.
+ * The returned string needs to be freed.
+ *
+ * e.g.:
+ * qs = "sort=in&start=20";
+ * qs_get(sq, "sort") returns "in"
+ * qs_get(sq, "end") returns NULL
+ */
+char *
+qs_get(const char *qs, const char *key)
+{
+   size_t pos, qslen, keylen;
+
+   if (qs == NULL) return NULL;
+
+   qslen = strlen(qs);
+   keylen = strlen(key);
+   pos = 0;
+   while (pos < qslen) {
+      if (!(pos + keylen + 1 < qslen))
+         /* not enough room for "key" + "=" */
+         return NULL;
+      else {
+         if (str_starts_with(qs+pos, key) && qs[pos+keylen] == '=') {
+            /* found key= */
+            size_t start, end;
+
+            start = pos + keylen + 1;
+            for (end=start; end<qslen && qs[end] != '&'; end++)
+               ;
+            return split_string(qs, start, end);
+         } else {
+            /* didn't find key, skip to next & */
+            do { pos++; } while ((pos < qslen) && (qs[pos] != '&'));
+            pos++; /* skip the ampersand */
+         }
+      }
+   }
+   return NULL; /* not found */
+}
+
+static int lifeline[2] = { -1, -1 };
+static int fd_null = -1;
+
+void
+daemonize_start(void)
+{
+   pid_t f, w;
+
+   if (pipe(lifeline) == -1)
+      err(1, "pipe(lifeline)");
+
+   fd_null = open(PATH_DEVNULL, O_RDWR, 0);
+   if (fd_null == -1)
+      err(1, "open(" PATH_DEVNULL ")");
+
+   f = fork();
+   if (f == -1)
+      err(1, "fork");
+   else if (f != 0) {
+      /* parent: wait for child */
+      char tmp[1];
+      int status;
+
+      verbosef("parent waiting");
+      if (close(lifeline[1]) == -1)
+         warn("close lifeline in parent");
+      read(lifeline[0], tmp, sizeof(tmp));
+      verbosef("parent done reading, calling waitpid");
+      w = waitpid(f, &status, WNOHANG);
+      verbosef("waitpid ret %d, status is %d", w, status);
+      if (w == -1)
+         err(1, "waitpid");
+      else if (w == 0)
+         /* child is running happily */
+         exit(EXIT_SUCCESS);
+      else
+         /* child init failed, pass on its exit status */
+         exit(WEXITSTATUS(status));
+   }
+   /* else we are the child: continue initializing */
+}
+
+void
+daemonize_finish(void)
+{
+   if (fd_null == -1)
+      return; /* didn't daemonize_start(), i.e. we're not daemonizing */
+
+   if (setsid() == -1)
+      err(1, "setsid");
+   if (close(lifeline[0]) == -1)
+      warn("close read end of lifeline in child");
+   if (close(lifeline[1]) == -1)
+      warn("couldn't cut the lifeline");
+
+   /* close all our std fds */
+   if (dup2(fd_null, STDIN_FILENO) == -1)
+      warn("dup2(stdin)");
+   if (dup2(fd_null, STDOUT_FILENO) == -1)
+      warn("dup2(stdout)");
+   if (dup2(fd_null, STDERR_FILENO) == -1)
+      warn("dup2(stderr)");
+   if (fd_null > 2)
+      close(fd_null);
+}
+
+/*
+ * For security, chroot (optionally) and drop privileges.
+ * Pass a NULL chroot_dir to disable chroot() behaviour.
+ */
+void
+privdrop(const char *chroot_dir, const char *privdrop_user)
+{
+   struct passwd *pw;
+
+   errno = 0;
+   pw = getpwnam(privdrop_user);
+
+   if (pw == NULL) {
+      if (errno == 0)
+         errx(1, "getpwnam(\"%s\") failed: no such user", privdrop_user);
+      else
+         err(1, "getpwnam(\"%s\") failed", privdrop_user);
+   }
+   if (chroot_dir != NULL) {
+      tzset(); /* read /etc/localtime before we chroot */
+      if (chdir(chroot_dir) == -1)
+         err(1, "chdir(\"%s\") failed", chroot_dir);
+      if (chroot(chroot_dir) == -1)
+         err(1, "chroot(\"%s\") failed", chroot_dir);
+      verbosef("chrooted into: %s", chroot_dir);
+   }
+   if (setgid(pw->pw_gid) == -1)
+      err(1, "setgid");
+   if (setuid(pw->pw_uid) == -1)
+      err(1, "setuid");
+   verbosef("set uid/gid to %d/%d", (int)pw->pw_uid, (int)pw->pw_gid);
+}
+
+/* Make the specified file descriptor non-blocking. */
+void
+fd_set_nonblock(const int fd)
+{
+   int flags;
+
+   if ((flags = fcntl(fd, F_GETFL, 0)) == -1)
+      err(1, "fcntl(fd %d) to get flags", fd);
+   flags |= O_NONBLOCK;
+   if (fcntl(fd, F_SETFL, flags) == -1)
+      err(1, "fcntl(fd %d) to set O_NONBLOCK", fd);
+   assert( (fcntl(fd, F_GETFL, 0) & O_NONBLOCK ) == O_NONBLOCK );
+}
+
+/* Make the specified file descriptor blocking. */
+void
+fd_set_block(const int fd)
+{
+   int flags;
+
+   if ((flags = fcntl(fd, F_GETFL, 0)) == -1)
+      err(1, "fcntl(fd %d) to get flags", fd);
+   flags &= ~O_NONBLOCK;
+   if (fcntl(fd, F_SETFL, flags) == -1)
+      err(1, "fcntl(fd %d) to unset O_NONBLOCK", fd);
+   assert( (fcntl(fd, F_GETFL, 0) & O_NONBLOCK ) == 0 );
+}
+
+/* strlcpy() and strlcat() are derived from:
+ *
+ * $OpenBSD: strlcpy.c,v 1.4
+ * $FreeBSD: src/lib/libc/string/strlcpy.c,v 1.8
+ *
+ * $OpenBSD: strlcat.c,v 1.2
+ * $FreeBSD: src/lib/libc/string/strlcat.c,v 1.10
+ *
+ * under the following license:
+ *
+ * Copyright (c) 1998 Todd C. Miller <Todd.Miller@courtesan.com>
+ * All rights reserved.
+ *
+ * Redistribution and use in source and binary forms, with or without
+ * modification, are permitted provided that the following conditions
+ * are met:
+ * 1. Redistributions of source code must retain the above copyright
+ *    notice, this list of conditions and the following disclaimer.
+ * 2. Redistributions in binary form must reproduce the above copyright
+ *    notice, this list of conditions and the following disclaimer in the
+ *    documentation and/or other materials provided with the distribution.
+ * 3. The name of the author may not be used to endorse or promote products
+ *    derived from this software without specific prior written permission.
+ *
+ * THIS SOFTWARE IS PROVIDED ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES,
+ * INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY
+ * AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL
+ * THE AUTHOR BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
+ * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
+ * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS;
+ * OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY,
+ * WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR
+ * OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF
+ * ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
+ */
+
+#ifndef HAVE_STRLCPY
+/*
+ * Copy src to string dst of size siz.  At most siz-1 characters
+ * will be copied.  Always NUL terminates (unless siz == 0).
+ * Returns strlen(src); if retval >= siz, truncation occurred.
+ */
+size_t strlcpy(dst, src, siz)
+        char *dst;
+        const char *src;
+        size_t siz;
+{
+        char *d = dst;
+        const char *s = src;
+        size_t n = siz;
+
+        /* Copy as many bytes as will fit */
+        if (n != 0 && --n != 0) {
+                do {
+                        if ((*d++ = *s++) == 0)
+                                break;
+                } while (--n != 0);
+        }
+
+        /* Not enough room in dst, add NUL and traverse rest of src */
+        if (n == 0) {
+                if (siz != 0)
+                        *d = '\0';              /* NUL-terminate dst */
+                while (*s++)
+                        ;
+        }
+
+        return(s - src - 1);    /* count does not include NUL */
+}
+#endif
+
+#ifndef HAVE_STRLCAT
+/*
+ * Appends src to string dst of size siz (unlike strncat, siz is the
+ * full size of dst, not space left).  At most siz-1 characters
+ * will be copied.  Always NUL terminates (unless siz <= strlen(dst)).
+ * Returns strlen(src) + MIN(siz, strlen(initial dst)).
+ * If retval >= siz, truncation occurred.
+ */
+size_t
+strlcat(dst, src, siz)
+        char *dst;
+        const char *src;
+        size_t siz;
+{
+        char *d = dst;
+        const char *s = src;
+        size_t n = siz;
+        size_t dlen;
+
+        /* Find the end of dst and adjust bytes left but don't go past end */
+        while (n-- != 0 && *d != '\0')
+                d++;
+        dlen = d - dst;
+        n = siz - dlen;
+
+        if (n == 0)
+                return(dlen + strlen(s));
+        while (*s != '\0') {
+                if (n != 1) {
+                        *d++ = *s;
+                        n--;
+                }
+                s++;
+        }
+        *d = '\0';
+
+        return(dlen + (s - src));       /* count does not include NUL */
+}
+#endif
+
+/* vim:set ts=3 sw=3 tw=78 expandtab: */
diff --git a/conv.h b/conv.h
new file mode 100644 (file)
index 0000000..867975e
--- /dev/null
+++ b/conv.h
@@ -0,0 +1,33 @@
+/* darkstat 3
+ * copyright (c) 2001-2007 Emil Mikulic.
+ *
+ * conv.h: convenience functions.
+ */
+
+#include <sys/types.h>
+
+void *xmalloc(const size_t size);
+void *xcalloc(const size_t num, const size_t size);
+void *xrealloc(void *original, const size_t size);
+char *xstrdup(const char *s);
+char *split_string(const char *src, const size_t left, const size_t right);
+void  strntoupper(char *str, const size_t length);
+int   str_starts_with(const char *haystack, const char *needle);
+char**split(const char delimiter, const char *str, int *num_chunks);
+char *qs_get(const char *qs, const char *key);
+
+void  daemonize_start(void);
+void  daemonize_finish(void);
+void  privdrop(const char *chroot_dir, const char *privdrop_user);
+void  fd_set_nonblock(const int fd);
+void  fd_set_block(const int fd);
+
+#ifndef HAVE_STRLCPY
+size_t strlcpy(char *dst, const char *src, size_t siz);
+#endif
+
+#ifndef HAVE_STRLCAT
+size_t strlcat(char *dst, const char *src, size_t siz);
+#endif
+
+/* vim:set ts=3 sw=3 tw=78 expandtab: */
diff --git a/darkstat.8 b/darkstat.8
new file mode 100644 (file)
index 0000000..c7bb03e
--- /dev/null
@@ -0,0 +1,382 @@
+.\"
+.\" darkstat 3
+.\" Copyright 2001-2008, Emil Mikulic.
+.\"
+.\" You may use, modify and redistribute this file under the terms of the
+.\" GNU General Public License version 2. (see COPYING.GPL)
+.\"
+.TH darkstat 8 "September 2008" "darkstat 3"
+.SH NAME
+darkstat \- network statistics gatherer
+.\"
+.SH SYNOPSIS
+.B darkstat
+[
+.BI \-i " interface"
+] [
+.BI \-r " file"
+] [
+.BI \-\-pppoe
+] [
+.BI \-\-verbose
+] [
+.BI \-\-no\-daemon
+] [
+.BI \-\-no\-promisc
+] [
+.BI \-\-no\-dns
+] [
+.BI \-\-no\-macs
+] [
+.BI \-p " port"
+] [
+.BI \-b " bindaddr"
+] [
+.BI \-f " filter"
+] [
+.BI \-l " network/netmask"
+] [
+.BI \-\-chroot " dir"
+] [
+.BI \-\-user " username"
+] [
+.BI \-\-daylog " filename"
+] [
+.BI \-\-import " filename"
+] [
+.BI \-\-export " filename"
+] [
+.BI \-\-pidfile " filename"
+] [
+.BI \-\-hosts\-max " count"
+] [
+.BI \-\-hosts\-keep " count"
+] [
+.BI \-\-ports\-max " count"
+] [
+.BI \-\-ports\-keep " count"
+] [
+.BI \-\-highest\-port " port"
+]
+.\"
+.SH DESCRIPTION
+.I darkstat
+is a packet sniffer that runs as a background process on
+a cable/DSL router, gathers all sorts of statistics about network usage,
+and serves them over HTTP.
+
+All settings are passed on the commandline.
+.\"
+.SH OPTIONS
+.\"
+.TP
+.BI \-i " interface"
+Capture traffic on the specified network interface.
+This is the only mandatory commandline argument.
+.\"
+.TP
+.BI \-r " file"
+Instead of capturing live traffic, read it from a
+.BR pcap (3)
+capture file.
+This is only useful for development and benchmarking.
+The
+.BI \-r
+and
+.BI \-i
+arguments are mutually exclusive.
+.\"
+.TP
+.BI \-\-pppoe
+Don't use this.
+.RS
+
+Instead, capture on the tunnel interface that your PPPoE software
+provides, for example \fBtun0\fR on \fIFreeBSD\fR, \fBpppoe0\fR on
+\fIOpenBSD\fR or \fINetBSD\fR.
+
+If you really must, you can capture on an Ethernet interface and pass
+this argument to have \fIdarkstat\fR decode PPPoE frames and ignore
+everything else.
+Make sure you also specify your local address with the \fB\-l\fR
+argument.
+.RE
+.\"
+.TP
+.BI \-\-verbose
+Print debugging messages to the terminal.
+.\"
+.TP
+.BI \-\-no\-daemon
+Do not detach from the controlling terminal;
+stay in the foreground.
+.\"
+.TP
+.BI \-\-no\-promisc
+Do not use promiscuous mode to capture.
+Note that an interface may already be in promiscuous mode.
+If this is a problem, use an appropriate
+.BR bpf (4)
+filter.
+.\"
+.TP
+.BI \-\-no\-dns
+Do not resolve IPs to host names.
+This can significantly reduce memory footprint on small systems
+as an extra process is created for DNS resolving.
+.\"
+.TP
+.BI \-\-no\-macs
+Do not display MAC addresses in hosts table.
+.\"
+.TP
+.BI \-p " port"
+Bind the web interface to the specified port.
+The default is 667.
+.\"
+.TP
+.BI \-b " bindaddr"
+Bind the web interface to the specified address.
+The default is to listen on all interfaces.
+.\"
+.TP
+.BI \-f " filter"
+Use the specified filter expression when capturing traffic.
+The filter syntax is beyond the scope of this manual page;
+please refer to the
+.BR tcpdump (1)
+documentation.
+.\"
+.TP
+.BI \-l " network/netmask"
+Define a "local network" according to the network and netmask addresses.
+All traffic entering or leaving this network will be graphed, as opposed
+to the default behaviour of only graphing traffic to and from the local
+host.
+.RS
+
+The rule is that if \fBip_addr & netmask == network\fR,
+then that address is considered local.
+See the usage example below.
+.RE
+.\"
+.TP
+.BI \-\-chroot " dir"
+Force \fIdarkstat\fR to \fBchroot()\fR into the specified directory.
+Without this argument, a default directory will be used, which is
+determined at build time.
+Usually \fI/var/empty\fR or \fI/var/lib/empty\fR.
+.RS
+
+For security reasons, this directory should be empty, and the user that
+\fIdarkstat\fR is running as should not have write access to it.
+
+However, if you wish to use \fB\-\-daylog\fR or \fB\-\-export\fR,
+\fIdarkstat\fR will need write access to the chroot.
+If you are uncomfortable with the security implications, don't
+use any functionality that requires write access.
+.RE
+.\"
+.TP
+.BI \-\-user " username"
+Force \fIdarkstat\fR to drop privileges to the \fBuid\fR and \fBgid\fR of
+the specified user.
+Without this argument, a default value will be used, which is set at
+build time.
+Usually \fBnobody\fR.
+.RS
+
+For security reasons, this should not be \fBroot\fR.
+.RE
+.\"
+.TP
+.BI \-\-daylog " filename"
+.RS
+Log daily traffic statistics into the named file, relative to the
+chroot directory.
+If you wish to use \fB\-\-daylog\fR, you must first specify a
+\fB\-\-chroot\fR directory, and it must be writeable by the
+\fIdarkstat\fR user.
+A writeable chroot has security implications; if you are uncomfortable
+with this, do not use the \fB\-\-daylog\fR functionality.
+
+If the daylog argument is not specified, no logging is performed.
+
+The daylog format is:
+
+localtime|time_t|bytes_in|bytes_out|pkts_in|pkts_outs
+
+Lines starting with a # are comments stating when logging started and
+stopped.
+.RE
+.\"
+.TP
+.BI \-\-import " filename"
+Upon starting, import a \fIdarkstat\fR database from the named file,
+relative to the chroot directory.
+If you wish to use \fB\-\-import\fR, you must first specify a
+\fB\-\-chroot\fR directory.
+If the import is unsuccessful, \fIdarkstat\fR will start with an empty
+database.
+.\"
+.TP
+.BI \-\-export " filename"
+On shutdown, and upon receiving SIGUSR1, export the in-memory database
+to the named file, relative to the chroot directory.
+If you wish to use \fB\-\-export\fR, you must first specify a
+\fB\-\-chroot\fR directory, and it must be writeable by the
+\fIdarkstat\fR user.
+A writeable chroot has security implications - if you are uncomfortable
+with this, do not use the \fB\-\-export\fR functionality.
+.\"
+.TP
+.BI \-\-pidfile " filename"
+.RS
+Creates a file containing the process ID of \fIdarkstat\fR.
+This file will be unlinked upon clean shutdown.
+As with all pidfiles, if \fIdarkstat\fR dies uncleanly, a stale pidfile
+can be left over.
+
+For example, start \fIdarkstat\fR with:
+.IP
+darkstat \-i fxp0 \-\-chroot /var/run/darkstat \-\-pidfile darkstat.pid
+.PP
+And stop with:
+.IP
+kill `cat /var/run/darkstat/darkstat.pid`
+.PP
+By default,
+.BR kill (1)
+will send SIGTERM, which will cause \fIdarkstat\fR to shut down cleanly.
+.RE
+.\"
+.TP
+.BI \-\-hosts\-max " count"
+The maximum number of hosts that will be kept in the hosts table.
+This is used to limit how much accounting data will be kept in memory.
+.\"
+.TP
+.BI \-\-hosts\-keep " count"
+When the hosts table hits
+.BI \-\-hosts\-max
+and traffic is seen from a new host, we clean out the hosts table,
+keeping only the top
+.BI \-\-hosts\-keep
+number of hosts, sorted by total traffic.
+.\"
+.TP
+.BI \-\-ports\-max " count"
+The maximum number of ports that will be tracked for each host.
+This is used to limit how much accounting data will be kept in memory.
+.\"
+.TP
+.BI \-\-ports\-keep " count"
+When a ports table fills up, this many ports are kept and the rest are
+discarded.
+.\"
+.TP
+.BI \-\-highest\-port " port"
+Ports that are numerically higher than this will not appear in the
+per-host ports tables, although their traffic will still be accounted
+for.
+This can be used to hide ephemeral ports.
+By default, all ports are tracked.
+.\"
+.\" --------------------------------------------------------------------
+.SH USAGE EXAMPLES
+To gather statistics on the
+.I fxp0
+interface:
+.IP
+darkstat \-i fxp0
+.PP
+.\"
+We want to account for traffic on the Internet-facing interface,
+but only serve web pages to our private local network where we have the
+IP address 192.168.0.1:
+.IP
+darkstat \-i fxp0 \-b 192.168.0.1
+.PP
+.\"
+We want to serve web pages on the standard HTTP port:
+.IP
+darkstat \-i fxp0 \-p 80
+.PP
+.\"
+We are on Optus (cable) and don't want to account for the constant ARP
+traffic we are receiving:
+.IP
+darkstat \-i fxp0 \-f "not arp"
+.PP
+.\"
+We only want to account for SSH traffic:
+.IP
+darkstat \-i fxp0 \-f "port 22"
+.PP
+.\"
+We don't want to account for network internal traffic:
+.IP
+darkstat \-i fxp0 \-f "not (src net 192.168.0 and dst net 192.168.0)"
+.PP
+.\"
+(For a full reference on filter syntax, refer to the
+.BR tcpdump (1)
+manpage)
+.PP
+.\"
+We have a network consisting of a gateway server (192.168.1.1) and a few
+workstations (192.168.1.2, 192.168.1.3, etc.) and we want to graph all
+traffic entering and leaving the local network, not just the gateway
+server (which is running \fIdarkstat\fR):
+.IP
+darkstat \-i fxp0 \-l 192.168.1.0/255.255.255.0
+.\"
+.SH SIGNALS
+To shut
+.I darkstat
+down cleanly, send a SIGTERM or SIGINT signal to the
+.I darkstat
+parent process.
+.PP
+Sending the SIGUSR1 signal will cause \fIdarkstat\fR to empty out its
+in-memory database.
+If an \fB\-\-export\fR file was set, it will first save the database to
+file.
+.PP
+.\"
+.SH FREQUENTLY ASKED QUESTIONS
+.SS How many bytes does each bar on the graph represent?
+Hover your mouse cursor over a bar and you should get a tooltip
+saying exactly how many bytes in and out the bar represents.
+.\"
+.SS Why aren't there labels / tics / a scale on the graphs?
+Because implementing them is hard.
+And doing so \fIcorrectly\fR, and in a way that works across all
+browsers, looks pretty much impossible.
+
+I might attempt it some day.
+In the meantime, patches would be gladly accepted.
+.\"
+.SS Why are the graphs blank?  All the bars are zero.
+The graphs only show traffic in/out of the local host, which is
+determined by getting the IP address of the interface you're sniffing
+on.
+
+You can use the \fB\-l\fR argument to override the local address for
+accounting purposes.
+You can also use it to do accounting for a whole subnet by specifying
+an appropriate netmask.
+.\"
+.SH SEE ALSO
+.BR tcpdump (1)
+.\"
+.SH HISTORY
+.I darkstat
+was written in 2001, largely as a result of a certain Australian
+cable Internet provider introducing a 3GB monthly traffic limit.
+.\"
+.SH AUTHORS
+Emil Mikulic and others. (see the AUTHORS and THANKS files)
+.\"
+.SH WEBSITE
+http://dmr.ath.cx/net/darkstat/
diff --git a/darkstat.c b/darkstat.c
new file mode 100644 (file)
index 0000000..b654da9
--- /dev/null
@@ -0,0 +1,430 @@
+/* darkstat 3
+ * copyright (c) 2001-2008 Emil Mikulic.
+ *
+ * darkstat.c: signals, cmdline parsing, program body.
+ *
+ * You may use, modify and redistribute this file under the terms of the
+ * GNU General Public License version 2. (see COPYING.GPL)
+ */
+
+#include "darkstat.h"
+#include "acct.h"
+#include "cap.h"
+#include "conv.h"
+#include "daylog.h"
+#include "db.h"
+#include "dns.h"
+#include "http.h"
+#include "hosts_db.h"
+#include "localip.h"
+#include "ncache.h"
+#include "pidfile.h"
+
+#include "err.h"
+#include <arpa/inet.h>
+#include <assert.h>
+#include <errno.h>
+#include <signal.h>
+#include <stdio.h>
+#include <stdlib.h>
+#include <string.h>
+#include <unistd.h>
+#include <pcap.h>
+
+#include "now.h"
+time_t now;
+
+#ifndef INADDR_NONE
+# define INADDR_NONE (-1) /* Solaris */
+#endif
+
+/* --- Signal handling --- */
+static volatile int running = 1;
+static void sig_shutdown(int signum _unused_) { running = 0; }
+
+static volatile int reset_pending = 0;
+static void sig_reset(int signum _unused_) { reset_pending = 1; }
+
+/* --- Commandline parsing --- */
+static unsigned long
+parsenum(const char *str, unsigned long max /* 0 for no max */)
+{
+   unsigned long n;
+   char *end;
+
+   errno = 0;
+   n = strtoul(str, &end, 10);
+   if (*end != '\0')
+      errx(1, "\"%s\" is not a valid number", str);
+   if (errno == ERANGE)
+      errx(1, "\"%s\" is out of range", str);
+   if ((max != 0) && (n > max))
+      errx(1, "\"%s\" is out of range (max %lu)", str, max);
+   return n;
+}
+
+const char *interface = NULL;
+static void cb_interface(const char *arg) { interface = arg; }
+
+const char *capfile = NULL;
+static void cb_capfile(const char *arg) { capfile = arg; }
+
+int want_pppoe = 0;
+static void cb_pppoe(const char *arg _unused_) { want_pppoe = 1; }
+
+static void cb_verbose(const char *arg _unused_) { want_verbose = 1; }
+
+int want_daemonize = 1;
+static void cb_no_daemon(const char *arg _unused_) { want_daemonize = 0; }
+
+int want_promisc = 1;
+static void cb_no_promisc(const char *arg _unused_) { want_promisc = 0; }
+
+int want_dns = 1;
+static void cb_no_dns(const char *arg _unused_) { want_dns = 0; }
+
+int want_macs = 1;
+static void cb_no_macs(const char *arg _unused_) { want_macs = 0; }
+
+unsigned short bindport = 667;
+static void cb_port(const char *arg) { bindport = parsenum(arg, 65536); }
+
+in_addr_t bindaddr = INADDR_ANY;
+static void cb_bindaddr(const char *arg)
+{
+   bindaddr = inet_addr(arg);
+   if (bindaddr == (in_addr_t)INADDR_NONE)
+      errx(1, "malformed address \"%s\"", arg);
+}
+
+const char *filter = NULL;
+static void cb_filter(const char *arg) { filter = arg; }
+
+static void cb_local(const char *arg) { acct_init_localnet(arg); }
+
+const char *chroot_dir = NULL;
+static void cb_chroot(const char *arg) { chroot_dir = arg; }
+
+const char *privdrop_user = NULL;
+static void cb_user(const char *arg) { privdrop_user = arg; }
+
+const char *daylog_fn = NULL;
+static void cb_daylog(const char *arg)
+{
+   if (chroot_dir == NULL)
+      errx(1, "the daylog file is relative to the chroot.\n"
+      "You must specify a --chroot dir before you can use --daylog.");
+   else
+      daylog_fn = arg;
+}
+
+const char *import_fn = NULL;
+static void cb_import(const char *arg)
+{
+   if (chroot_dir == NULL)
+      errx(1, "the import file is relative to the chroot.\n"
+      "You must specify a --chroot dir before you can use --import.");
+   else
+      import_fn = arg;
+}
+
+const char *export_fn = NULL;
+static void cb_export(const char *arg)
+{
+   if ((chroot_dir == NULL) && (capfile == NULL))
+      errx(1, "the export file is relative to the chroot.\n"
+      "You must specify a --chroot dir before you can use --export.");
+   else
+      export_fn = arg;
+}
+
+static const char *pid_fn = NULL;
+static void cb_pidfile(const char *arg)
+{
+   if (chroot_dir == NULL)
+      errx(1, "the pidfile is relative to the chroot.\n"
+      "You must specify a --chroot dir before you can use --pidfile.");
+   else
+      pid_fn = arg;
+}
+
+unsigned int hosts_max = 1000;
+static void cb_hosts_max(const char *arg)
+{ hosts_max = parsenum(arg, 0); }
+
+unsigned int hosts_keep = 500;
+static void cb_hosts_keep(const char *arg)
+{ hosts_keep = parsenum(arg, 0); }
+
+unsigned int ports_max = 200;
+static void cb_ports_max(const char *arg)
+{ ports_max = parsenum(arg, 65536); }
+
+unsigned int ports_keep = 30;
+static void cb_ports_keep(const char *arg)
+{ ports_keep = parsenum(arg, 65536); }
+
+unsigned int highest_port = 65535;
+static void cb_highest_port(const char *arg)
+{ highest_port = parsenum(arg, 65535); }
+
+/* --- */
+
+struct cmdline_arg {
+   const char *name, *arg_name; /* NULL arg_name means unary */
+   void (*callback)(const char *arg);
+   int num_seen;
+};
+
+static struct cmdline_arg cmdline_args[] = {
+   {"-i",             "interface",       cb_interface,    0},
+   {"-r",             "file",            cb_capfile,      0},
+   {"--pppoe",        NULL,              cb_pppoe,        0},
+   {"--verbose",      NULL,              cb_verbose,      0},
+   {"--no-daemon",    NULL,              cb_no_daemon,    0},
+   {"--no-promisc",   NULL,              cb_no_promisc,   0},
+   {"--no-dns",       NULL,              cb_no_dns,       0},
+   {"--no-macs",      NULL,              cb_no_macs,      0},
+   {"-p",             "port",            cb_port,         0},
+   {"-b",             "bindaddr",        cb_bindaddr,     0},
+   {"-f",             "filter",          cb_filter,       0},
+   {"-l",             "network/netmask", cb_local,        0},
+   {"--chroot",       "dir",             cb_chroot,       0},
+   {"--user",         "username",        cb_user,         0},
+   {"--daylog",       "filename",        cb_daylog,       0},
+   {"--import",       "filename",        cb_import,       0},
+   {"--export",       "filename",        cb_export,       0},
+   {"--pidfile",      "filename",        cb_pidfile,      0},
+   {"--hosts-max",    "count",           cb_hosts_max,    0},
+   {"--hosts-keep",   "count",           cb_hosts_keep,   0},
+   {"--ports-max",    "count",           cb_ports_max,    0},
+   {"--ports-keep",   "count",           cb_ports_keep,   0},
+   {"--highest-port", "port",            cb_highest_port, 0},
+   {NULL,             NULL,              NULL,            0}
+};
+
+static void
+pad(const int width)
+{
+   int i;
+   for (i=0; i<width; i++) printf(" ");
+}
+
+/*
+ * We autogenerate the usage statement from the cmdline_args data structure.
+ */
+static void
+usage(void)
+{
+   int width, first;
+   struct cmdline_arg *arg;
+
+   printf(PACKAGE_STRING " (built with libpcap %d.%d)\n\n",
+      PCAP_VERSION_MAJOR, PCAP_VERSION_MINOR);
+
+   width = printf("usage: darkstat ");
+   first = 1;
+
+   for (arg = cmdline_args; arg->name != NULL; arg++) {
+      if (first) first = 0; else pad(width);
+      printf("[ %s", arg->name);
+      if (arg->arg_name != NULL) printf(" %s", arg->arg_name);
+      printf(" ]\n");
+   }
+   printf("\n"
+"Please refer to the darkstat(1) manual page for further\n"
+"documentation and usage examples.\n");
+}
+
+static void
+parse_sub_cmdline(const int argc, char * const *argv)
+{
+   struct cmdline_arg *arg;
+
+   if (argc == 0) return;
+   for (arg = cmdline_args; arg->name != NULL; arg++)
+      if (strcmp(argv[0], arg->name) == 0) {
+         if ((arg->arg_name != NULL) && (argc == 1)) {
+            printf("\nerror: argument \"%s\" requires parameter \"%s\"\n",
+               arg->name, arg->arg_name);
+            usage();
+            exit(EXIT_FAILURE);
+         }
+         if (arg->num_seen > 0) {
+            printf("\nerror: already specified argument \"%s\"\n",
+               arg->name);
+            usage();
+            exit(EXIT_FAILURE);
+         }
+
+         arg->num_seen++;
+         if (arg->arg_name == NULL) {
+            arg->callback(NULL);
+            parse_sub_cmdline(argc-1, argv+1);
+         } else {
+            arg->callback(argv[1]);
+            parse_sub_cmdline(argc-2, argv+2);
+         }
+         return;
+      }
+
+   printf("\nerror: illegal argument: \"%s\"\n", argv[0]);
+   usage();
+   exit(EXIT_FAILURE);
+}
+
+static void
+parse_cmdline(const int argc, char * const *argv)
+{
+   if (argc < 1) {
+      /* Not enough args. */
+      usage();
+      exit(EXIT_FAILURE);
+   }
+
+   parse_sub_cmdline(argc, argv);
+
+   /* some default values */
+   if (chroot_dir == NULL) chroot_dir = CHROOT_DIR;
+   if (privdrop_user == NULL) privdrop_user = PRIVDROP_USER;
+
+   /* sanity check args */
+   if ((interface == NULL) && (capfile == NULL))
+      errx(1, "must specify either interface (-i) or capture file (-r)");
+
+   if ((interface != NULL) && (capfile != NULL))
+      errx(1, "can't specify both interface (-i) and capture file (-r)");
+
+   if ((hosts_max != 0) && (hosts_keep >= hosts_max))
+      errx(1, "must keep fewer hosts than --hosts-max (%u)", hosts_max);
+   verbosef("max %u hosts, cutting down to %u when exceeded",
+      hosts_max, hosts_keep);
+
+   if ((ports_max != 0) && (ports_keep >= ports_max))
+      errx(1, "must keep fewer ports than --ports-max (%u)", ports_max);
+   verbosef("max %u ports per host, cutting down to %u when exceeded",
+      ports_max, ports_keep);
+}
+
+static void
+run_from_capfile(void)
+{
+   graph_init();
+   hosts_db_init();
+   cap_from_file(capfile, filter);
+   cap_stop();
+   if (export_fn != NULL) db_export(export_fn);
+   hosts_db_free();
+   graph_free();
+   verbosef("Total packets: %qu, bytes: %qu", total_packets, total_bytes);
+}
+
+/* --- Program body --- */
+int
+main(int argc, char **argv)
+{
+   test_64order();
+   parse_cmdline(argc-1, argv+1);
+
+   if (capfile) {
+      /*
+       * This is very different from a regular run against a network
+       * interface.
+       */
+      run_from_capfile();
+      return 0;
+   }
+
+   /* must verbosef() before first fork to init lock */
+   verbosef("starting up");
+   if (pid_fn) pidfile_create(chroot_dir, pid_fn, privdrop_user);
+
+   if (want_daemonize) {
+      verbosef("daemonizing to run in the background!");
+      daemonize_start();
+      verbosef("I am the main process");
+   }
+   if (pid_fn) pidfile_write_close();
+
+   /* do this first as it forks - minimize memory use */
+   if (want_dns) dns_init(privdrop_user);
+   cap_init(interface, filter, want_promisc); /* needs root */
+   http_init(bindaddr, bindport, /*maxconn=*/ -1); /* low ports need root */
+   ncache_init(); /* must do before chroot() */
+
+   privdrop(chroot_dir, privdrop_user);
+
+   /* Don't need root privs for these: */
+   now = time(NULL);
+   if (daylog_fn != NULL) daylog_init(daylog_fn);
+   graph_init();
+   hosts_db_init();
+   if (import_fn != NULL) db_import(import_fn);
+   localip_init(interface);
+
+   if (signal(SIGTERM, sig_shutdown) == SIG_ERR)
+      errx(1, "signal(SIGTERM) failed");
+   if (signal(SIGINT, sig_shutdown) == SIG_ERR)
+      errx(1, "signal(SIGINT) failed");
+   if (signal(SIGUSR1, sig_reset) == SIG_ERR)
+      errx(1, "signal(SIGUSR1) failed");
+
+   verbosef("entering main loop");
+   daemonize_finish();
+
+   while (running) {
+      int select_ret, max_fd = -1, use_timeout = 0;
+      struct timeval timeout;
+      fd_set rs, ws;
+
+      now = time(NULL);
+
+      if (reset_pending) {
+         if (export_fn != NULL) db_export(export_fn); /* FIXME: USR2? */
+         hosts_db_reset();
+         graph_reset();
+         reset_pending = 0;
+      }
+
+      FD_ZERO(&rs);
+      FD_ZERO(&ws);
+
+      cap_fd_set(&rs, &max_fd, &timeout, &use_timeout);
+      http_fd_set(&rs, &ws, &max_fd, &timeout, &use_timeout);
+
+      select_ret = select(max_fd+1, &rs, &ws, NULL,
+         (use_timeout) ? &timeout : NULL);
+
+      if ((select_ret == 0) && (!use_timeout))
+            errx(1, "select() erroneously timed out");
+
+      if (select_ret == -1) {
+         if (errno == EINTR)
+            continue;
+         else
+            err(1, "select()");
+      }
+      else {
+         graph_rotate();
+         cap_poll(&rs);
+         dns_poll();
+         http_poll(&rs, &ws);
+      }
+   }
+
+   verbosef("shutting down");
+   verbosef("pcap stats: %u packets received, %u packets dropped",
+      pkts_recv, pkts_drop);
+   cap_stop();
+   dns_stop();
+   if (export_fn != NULL) db_export(export_fn);
+   hosts_db_free();
+   graph_free();
+   if (daylog_fn != NULL) daylog_free();
+   ncache_free();
+   if (pid_fn) pidfile_unlink();
+   verbosef("shut down");
+   return (EXIT_SUCCESS);
+}
+
+/* vim:set ts=3 sw=3 tw=78 expandtab: */
diff --git a/darkstat.h b/darkstat.h
new file mode 100644 (file)
index 0000000..0b909b3
--- /dev/null
@@ -0,0 +1,39 @@
+/* darkstat 3
+ * copyright (c) 2001-2008 Emil Mikulic.
+ *
+ * darkstat.h: general macros
+ */
+
+/*
+ * We only care about the following from config.h:
+ * - PACKAGE_NAME
+ * - PACKAGE_VERSION
+ * - PACKAGE_STRING
+ */
+#include "config.h"
+
+#ifdef __GNUC__
+# define _unused_ __attribute__((__unused__))
+# define _noreturn_ __attribute__((__noreturn__))
+#else
+# define _unused_
+# define _noreturn_
+#endif
+
+#if __GNUC__ == 2
+# define inline __inline__
+#else
+# ifdef __TenDRA__
+#  define inline __inline
+# endif
+#endif
+
+#ifndef max
+# define max(a,b) ((a) > (b) ? (a) : (b))
+#endif
+
+#ifndef min
+# define min(a,b) ((a) < (b) ? (a) : (b))
+#endif
+
+/* vim:set ts=3 sw=3 tw=78 expandtab: */
diff --git a/daylog.c b/daylog.c
new file mode 100644 (file)
index 0000000..c9799b4
--- /dev/null
+++ b/daylog.c
@@ -0,0 +1,163 @@
+/* darkstat 3
+ * copyright (c) 2007 Emil Mikulic.
+ *
+ * daylog.c: daily usage log
+ *
+ * You may use, modify and redistribute this file under the terms of the
+ * GNU General Public License version 2. (see COPYING.GPL)
+ */
+
+#define _GNU_SOURCE 1 /* for O_NOFOLLOW on Linux */
+
+#include <sys/types.h>
+#include <assert.h>
+#include <fcntl.h>
+#include <stdlib.h>
+#include <string.h>
+#include <unistd.h>
+
+#include "darkstat.h"
+#include "err.h"
+#include "daylog.h"
+#include "str.h"
+#include "now.h"
+
+static const char *daylog_fn = NULL;
+static time_t today_time, tomorrow_time;
+static uint64_t bytes_in, bytes_out, pkts_in, pkts_out;
+
+#define DAYLOG_DATE_LEN 26 /* strlen("1900-01-01 00:00:00 +1234") + 1 */
+static char datebuf[DAYLOG_DATE_LEN];
+
+static char *
+fmt_date(const time_t when)
+{
+    time_t tmp = when;
+    if (strftime(datebuf, DAYLOG_DATE_LEN,
+        "%Y-%m-%d %H:%M:%S %z", localtime(&tmp) ) == 0)
+            errx(1, "strftime() failed in fmt_date()");
+    return (datebuf);
+}
+
+/* Given some time today, find the first second of tomorrow. */
+static time_t
+tomorrow(const time_t today)
+{
+   time_t tmp = today;
+   struct tm tm, *lt;
+
+   lt = localtime(&tmp);
+   memcpy(&tm, lt, sizeof(tm));
+   tm.tm_sec = 0;
+   tm.tm_min = 0;
+   tm.tm_hour = 0;
+   tm.tm_mday = lt->tm_mday + 1; /* tomorrow */
+   return mktime(&tm);
+}
+
+static int
+daylog_open(void)
+{
+   return open(daylog_fn, O_WRONLY | O_APPEND | O_CREAT | O_NOFOLLOW, 0600);
+}
+
+static void
+daylog_emit(void)
+{
+   int fd = daylog_open();
+
+   if (fd != -1) {
+      struct str *buf = str_make();
+      char *s;
+      size_t len;
+      str_appendf(buf, "%s|%u|%qu|%qu|%qu|%qu\n",
+         fmt_date(today_time), (unsigned int)today_time,
+         bytes_in, bytes_out, pkts_in, pkts_out);
+      str_extract(buf, &len, &s);
+
+      (void)write(fd, s, len); /* ignore write errors */
+      close(fd);
+      free(s);
+   }
+}
+
+void
+daylog_init(const char *filename)
+{
+   int fd;
+   struct str *buf;
+   char *s;
+   size_t len;
+
+   daylog_fn = filename;
+   today_time = time(NULL);
+   tomorrow_time = tomorrow(today_time);
+   verbosef("today is %u, tomorrow is %u",
+      (unsigned int)today_time, (unsigned int)tomorrow_time);
+   bytes_in = bytes_out = pkts_in = pkts_out = 0;
+
+   fd = daylog_open();
+   if (fd == -1)
+      err(1, "couldn't open(\"%s\") for append", filename);
+
+   buf = str_make();
+   str_appendf(buf, "# logging started at %s (%u)\n",
+      fmt_date(today_time), (unsigned int)today_time);
+   str_extract(buf, &len, &s);
+   (void)write(fd, s, len); /* ignore write errors */
+   close(fd);
+   free(s);
+}
+
+void daylog_free(void)
+{
+   int fd;
+   struct str *buf;
+   char *s;
+   size_t len;
+
+   today_time = time(NULL);
+
+   /* Emit what's currently accumulated. */
+   daylog_emit();
+
+   fd = daylog_open();
+   if (fd == -1) return;
+
+   buf = str_make();
+   str_appendf(buf, "# logging stopped at %s (%u)\n",
+      fmt_date(today_time), (unsigned int)today_time);
+   str_extract(buf, &len, &s);
+   (void)write(fd, s, len); /* ignore write errors */
+   close(fd);
+   free(s);
+}
+
+void
+daylog_acct(uint64_t amount, enum graph_dir dir)
+{
+   if (daylog_fn == NULL) return; /* disabled */
+
+   /* Check if we need to rotate. */
+   if (now >= tomorrow_time) {
+      daylog_emit();
+
+      today_time = now;
+      tomorrow_time = tomorrow(today_time);
+      bytes_in = bytes_out = pkts_in = pkts_out = 0;
+      verbosef("rotated daylog, tomorrow = %u",
+         (unsigned int)tomorrow_time);
+   }
+
+   /* Accounting. */
+   if (dir == GRAPH_IN) {
+      bytes_in += amount;
+      pkts_in++;
+   } else {
+      assert(dir == GRAPH_OUT);
+      bytes_out += amount;
+      pkts_out++;
+   }
+}
+
+/* vim:set ts=3 sw=3 tw=78 et: */
diff --git a/daylog.h b/daylog.h
new file mode 100644 (file)
index 0000000..5f67a49
--- /dev/null
+++ b/daylog.h
@@ -0,0 +1,13 @@
+/* darkstat 3
+ * copyright (c) 2007 Emil Mikulic.
+ *
+ * daylog.h: daily usage log
+ */
+
+#include "graph_db.h" /* for graph_dir */
+
+void daylog_init(const char *filename);
+void daylog_free(void);
+void daylog_acct(uint64_t amount, enum graph_dir dir);
+
+/* vim:set ts=3 sw=3 tw=78 et: */
diff --git a/db.c b/db.c
new file mode 100644 (file)
index 0000000..6d0e129
--- /dev/null
+++ b/db.c
@@ -0,0 +1,339 @@
+/* darkstat 3
+ *
+ * db.c: load and save in-memory database from/to file
+ * copyright (c) 2007 Ben Stewart, Emil Mikulic.
+ *
+ * You may use, modify and redistribute this file under the terms of the
+ * GNU General Public License version 2. (see COPYING.GPL)
+ */
+
+#define _GNU_SOURCE 1 /* for O_NOFOLLOW in Linux */
+
+#include <sys/types.h>
+
+#include "darkstat.h"
+#include "err.h"
+#include "hosts_db.h"
+#include "graph_db.h"
+#include "db.h"
+
+#include <netinet/in.h> /* for ntohs() and friends */
+#include <assert.h>
+#include <fcntl.h>
+#include <string.h>
+#include <unistd.h>
+
+static const unsigned char export_file_header[] = {0xDA, 0x31, 0x41, 0x59};
+static const unsigned char export_tag_hosts_ver1[] = {0xDA, 'H', 'S', 0x01};
+static const unsigned char export_tag_graph_ver1[] = {0xDA, 'G', 'R', 0x01};
+
+#ifndef swap64
+static inline uint64_t
+swap64(uint64_t _x)
+{
+   /* this is __bswap64 from:
+    * $FreeBSD: src/sys/i386/include/endian.h,v 1.41$
+    */
+   return ((_x >> 56) | ((_x >> 40) & 0xff00) | ((_x >> 24) & 0xff0000) |
+          ((_x >> 8) & 0xff000000) | ((_x << 8) & ((uint64_t)0xff << 32)) |
+          ((_x << 24) & ((uint64_t)0xff << 40)) |
+          ((_x << 40) & ((uint64_t)0xff << 48)) | ((_x << 56)));
+}
+#endif
+
+uint64_t
+hton64(const uint64_t ho)
+{
+   if (ntohs(0x1234) == 0x1234) return ho;
+   else return swap64(ho);
+}
+
+uint64_t
+ntoh64(const uint64_t no)
+{
+   return hton64(no);
+}
+
+void
+test_64order(void)
+{
+   static const char str[] = { 0x79,0x74,0x69,0x63,0x6b,0x72,0x65,0x6a };
+   uint64_t no, ho;
+
+   assert(sizeof(no) == 8);
+   memcpy(&no, str, 8);
+   ho = ntoh64(no);
+   assert(ho == 8751735851613054314ULL);
+   assert(hton64(ntoh64(no)) == no);
+}
+
+/* ---------------------------------------------------------------------------
+ * Read-from-file helpers.  They all return 0 on failure, and 1 on success.
+ */
+
+unsigned int
+xtell(const int fd)
+{
+   off_t ofs = lseek(fd, 0, SEEK_CUR);
+   if (ofs == -1)
+      err(1, "lseek(0, SEEK_CUR) failed");
+   return (unsigned int)ofs;
+}
+
+/* Read <len> bytes from <fd>, warn() and return 0 on failure,
+ * or return 1 for success.
+ */
+int
+readn(const int fd, void *dest, const size_t len)
+{
+   ssize_t numread;
+
+   numread = read(fd, dest, len);
+   if (numread == (ssize_t)len) return 1;
+
+   if (numread == -1)
+      warn("at pos %u: couldn't read %d bytes", xtell(fd), (int)len);
+   else
+      warnx("at pos %u: tried to read %d bytes, got %d",
+         xtell(fd), (int)len, (int)numread);
+   return 0;
+}
+
+/* Read a byte. */
+int
+read8(const int fd, uint8_t *dest)
+{
+   assert(sizeof(*dest) == 1);
+   return readn(fd, dest, sizeof(*dest));
+}
+
+/* Read a byte and compare it to the expected data.
+ * Returns 0 on failure or mismatch, 1 on success.
+ */
+int
+expect8(const int fd, uint8_t expecting)
+{
+   uint8_t tmp;
+
+   assert(sizeof(tmp) == 1);
+   if (!readn(fd, &tmp, sizeof(tmp))) return 0;
+   if (tmp == expecting) return 1;
+
+   warnx("at pos %u: expecting 0x%02x, got 0x%02x",
+      xtell(fd)-1, expecting, tmp);
+   return 0;
+}
+
+/* Read a network order uint16_t from a file
+ * and store it in host order in memory.
+ */
+int
+read16(const int fd, uint16_t *dest)
+{
+   uint16_t tmp;
+
+   assert(sizeof(tmp) == 2);
+   if (!read(fd, &tmp, sizeof(tmp))) return 0;
+   *dest = ntohs(tmp);
+   return 1;
+}
+
+/* Read a network order uint32_t from a file
+ * and store it in host order in memory.
+ */
+int
+read32(const int fd, uint32_t *dest)
+{
+   uint32_t tmp;
+
+   assert(sizeof(tmp) == 4);
+   if (!read(fd, &tmp, sizeof(tmp))) return 0;
+   *dest = ntohl(tmp);
+   return 1;
+}
+
+/* Read an in_addr_t from a file.  Addresses are always stored in network
+ * order, both in the file and in the host's memory (FIXME: is that right?)
+ */
+int
+readaddr(const int fd, in_addr_t *dest)
+{
+   assert(sizeof(*dest) == 4);
+   return readn(fd, dest, sizeof(*dest));
+}
+
+/* Read a network order uint64_t from a file
+ * and store it in host order in memory.
+ */
+int
+read64(const int fd, uint64_t *dest)
+{
+   uint64_t tmp;
+
+   assert(sizeof(tmp) == 8);
+   if (!read(fd, &tmp, sizeof(tmp))) return 0;
+   *dest = ntoh64(tmp);
+   return 1;
+}
+
+/* ---------------------------------------------------------------------------
+ * Write-to-file helpers.  They all return 0 on failure, and 1 on success.
+ */
+
+/* Write <len> bytes to <fd>, warn() and return 0 on failure,
+ * or return 1 for success.
+ */
+int
+writen(const int fd, const void *dest, const size_t len)
+{
+   ssize_t numwr;
+
+   numwr = write(fd, dest, len);
+   if (numwr == (ssize_t)len) return 1;
+
+   if (numwr == -1)
+      warn("couldn't write %d bytes", (int)len);
+   else
+      warnx("tried to write %d bytes but wrote %d",
+         (int)len, (int)numwr);
+   return 0;
+}
+
+int
+write8(const int fd, const uint8_t i)
+{
+   assert(sizeof(i) == 1);
+   return writen(fd, &i, sizeof(i));
+}
+
+/* Given a uint16_t in host order, write it to a file in network order.
+ */
+int
+write16(const int fd, const uint16_t i)
+{
+   uint16_t tmp = htons(i);
+   assert(sizeof(tmp) == 2);
+   return writen(fd, &tmp, sizeof(tmp));
+}
+
+/* Given a uint32_t in host order, write it to a file in network order.
+ */
+int
+write32(const int fd, const uint32_t i)
+{
+   uint32_t tmp = htonl(i);
+   assert(sizeof(tmp) == 4);
+   return writen(fd, &tmp, sizeof(tmp));
+}
+
+/* Given a uint64_t in host order, write it to a file in network order.
+ */
+int
+write64(const int fd, const uint64_t i)
+{
+   uint64_t tmp = hton64(i);
+   assert(sizeof(tmp) == 8);
+   return writen(fd, &tmp, sizeof(tmp));
+}
+
+
+/* Write an in_addr_t to a file.  Addresses are always stored in network
+ * order, both in the file and in the host's memory (FIXME: is that right?)
+ */
+int
+writeaddr(const int fd, const in_addr_t addr)
+{
+   assert(sizeof(addr) == 4);
+   return writen(fd, &addr, sizeof(addr));
+}
+
+/* ---------------------------------------------------------------------------
+ * db import/export code follows.
+ */
+
+/* Check that the global file header is correct / supported. */
+int
+read_file_header(const int fd, const uint8_t expected[4])
+{
+   uint8_t got[4];
+
+   if (!readn(fd, got, sizeof(got))) return 0;
+
+   /* Check the header data */
+   if (memcmp(got, expected, sizeof(got)) != 0) {
+      warnx("bad header: "
+         "expecting %02x%02x%02x%02x, got %02x%02x%02x%02x",
+         expected[0], expected[1], expected[2], expected[3],
+         got[0], got[1], got[2], got[3]);
+      return 0;
+   }
+   return 1;
+}
+
+/* Returns 0 on failure, 1 on success. */
+static int
+db_import_from_fd(const int fd)
+{
+   if (!read_file_header(fd, export_file_header)) return 0;
+   if (!read_file_header(fd, export_tag_hosts_ver1)) return 0;
+   if (!hosts_db_import(fd)) return 0;
+   if (!read_file_header(fd, export_tag_graph_ver1)) return 0;
+   if (!graph_import(fd)) return 0;
+   return 1;
+}
+
+void
+db_import(const char *filename)
+{
+   int fd = open(filename, O_RDONLY | O_NOFOLLOW);
+   if (fd == -1) {
+      warn("can't import from \"%s\"", filename);
+      return;
+   }
+   if (!db_import_from_fd(fd)) {
+      warnx("import failed");
+      /* don't stay in an inconsistent state: */
+      hosts_db_reset();
+      graph_reset();
+   }
+   close(fd);
+}
+
+/* Returns 0 on failure, 1 on success. */
+static int
+db_export_to_fd(const int fd)
+{
+   if (!writen(fd, export_file_header, sizeof(export_file_header)))
+      return 0;
+   if (!writen(fd, export_tag_hosts_ver1, sizeof(export_tag_hosts_ver1)))
+      return 0;
+   if (!hosts_db_export(fd))
+      return 0;
+   if (!writen(fd, export_tag_graph_ver1, sizeof(export_tag_graph_ver1)))
+      return 0;
+   if (!graph_export(fd))
+      return 0;
+   return 1;
+}
+
+void
+db_export(const char *filename)
+{
+   int fd = open(filename, O_WRONLY | O_CREAT | O_NOFOLLOW | O_TRUNC, 0600);
+   if (fd == -1) {
+      warn("can't export to \"%s\"", filename);
+      return;
+   }
+   verbosef("exporting db to file \"%s\"", filename);
+   if (!db_export_to_fd(fd))
+      warnx("export failed");
+   else
+      verbosef("export successful");
+
+   /* FIXME: should write to another filename and use the rename() syscall to
+    * atomically update the output file on success
+    */
+   close(fd);
+}
+
+/* vim:set ts=3 sw=3 tw=78 et: */
diff --git a/db.h b/db.h
new file mode 100644 (file)
index 0000000..64705cf
--- /dev/null
+++ b/db.h
@@ -0,0 +1,34 @@
+/* darkstat 3
+ *
+ * db.h: load and save in-memory database from/to file
+ * copyright (c) 2007 Ben Stewart, Emil Mikulic.
+ */
+
+void db_import(const char *filename);
+void db_export(const char *filename);
+
+/* byteswap */
+uint64_t hton64(const uint64_t ho);
+uint64_t ntoh64(const uint64_t no);
+void test_64order(void);
+
+/* read helpers */
+unsigned int xtell(const int fd);
+int readn(const int fd, void *dest, const size_t len);
+int read8(const int fd, uint8_t *dest);
+int expect8(const int fd, uint8_t expecting);
+int read16(const int fd, uint16_t *dest);
+int read32(const int fd, uint32_t *dest);
+int readaddr(const int fd, in_addr_t *dest);
+int read64(const int fd, uint64_t *dest);
+int read_file_header(const int fd, const uint8_t expected[4]);
+
+/* write helpers */
+int writen(const int fd, const void *dest, const size_t len);
+int write8(const int fd, const uint8_t i);
+int write16(const int fd, const uint16_t i);
+int write32(const int fd, const uint32_t i);
+int writeaddr(const int fd, const in_addr_t addr);
+int write64(const int fd, const uint64_t i);
+
+/* vim:set ts=3 sw=3 tw=78 et: */
diff --git a/decode.c b/decode.c
new file mode 100644 (file)
index 0000000..9c60d49
--- /dev/null
+++ b/decode.c
@@ -0,0 +1,357 @@
+/* darkstat 3
+ * copyright (c) 2001-2007 Emil Mikulic.
+ *
+ * decode.c: packet decoding.
+ *
+ * Given a captured packet, decode it and fill out a pktsummary struct which
+ * will be sent to the accounting code in acct.c
+ *
+ * You may use, modify and redistribute this file under the terms of the
+ * GNU General Public License version 2. (see COPYING.GPL)
+ */
+
+#include "darkstat.h"
+#include "acct.h"
+#include "cap.h"
+
+#include <sys/ioctl.h>
+#include <sys/socket.h>
+#include <assert.h>
+#include "err.h"
+#include <pcap.h>
+#include <string.h>
+#include <unistd.h>
+#include <arpa/inet.h> /* inet_ntoa() */
+
+/* need struct ether_header */
+#if defined(__NetBSD__) || defined(__OpenBSD__)
+# include <sys/queue.h>
+# include <net/if.h>
+# include <net/if_arp.h>
+# include <netinet/if_ether.h>
+#else
+# ifdef __sun
+#  include <sys/ethernet.h>
+#  define ETHER_HDR_LEN 14
+# else
+#  ifdef _AIX
+#   include <netinet/if_ether.h>
+#   define ETHER_HDR_LEN 14
+#  else
+#   include <net/ethernet.h>
+#  endif
+# endif
+#endif
+#ifndef ETHERTYPE_PPPOE
+#define ETHERTYPE_PPPOE 0x8864
+#endif
+
+#include <net/if.h> /* struct ifreq */
+#include <netinet/in_systm.h> /* n_long */
+#include <netinet/ip.h> /* struct ip */
+#define __FAVOR_BSD
+#include <netinet/tcp.h> /* struct tcphdr */
+#include <netinet/udp.h> /* struct udphdr */
+
+extern int want_pppoe;
+
+static void decode_ether(u_char *, const struct pcap_pkthdr *,
+   const u_char *);
+static void decode_loop(u_char *, const struct pcap_pkthdr *,
+   const u_char *);
+static void decode_ppp(u_char *, const struct pcap_pkthdr *,
+   const u_char *);
+static void decode_pppoe(u_char *, const struct pcap_pkthdr *,
+   const u_char *);
+static void decode_pppoe_real(const u_char *pdata, const uint32_t len,
+   pktsummary *sm);
+static void decode_linux_sll(u_char *, const struct pcap_pkthdr *,
+   const u_char *);
+static void decode_ip(const u_char *pdata, const uint32_t len,
+   pktsummary *sm);
+
+/* Link-type header information */
+static const linkhdr_t linkhdrs[] = {
+  /* linktype       hdrlen         handler       */
+   { DLT_EN10MB,    ETHER_HDR_LEN, decode_ether  },
+   { DLT_LOOP,      NULL_HDR_LEN,  decode_loop  },
+   { DLT_NULL,      NULL_HDR_LEN,  decode_loop  },
+   { DLT_PPP,       PPP_HDR_LEN,   decode_ppp },
+#if defined(__NetBSD__)
+   { DLT_PPP_SERIAL, PPP_HDR_LEN,  decode_ppp },
+#endif
+   { DLT_FDDI,      FDDI_HDR_LEN,  NULL },
+   { DLT_PPP_ETHER, PPPOE_HDR_LEN, decode_pppoe },
+#ifdef DLT_LINUX_SLL
+   { DLT_LINUX_SLL, SLL_HDR_LEN,   decode_linux_sll },
+#endif
+   { -1, -1, NULL }
+};
+
+/*
+ * Returns a pointer to the linkhdr_t record matching the given linktype, or
+ * NULL if no matching entry found.
+ */
+const linkhdr_t *
+getlinkhdr(int linktype)
+{
+   int i;
+
+   for (i=0; linkhdrs[i].linktype != -1; i++)
+      if (linkhdrs[i].linktype == linktype)
+         return (&(linkhdrs[i]));
+   return (NULL);
+}
+
+/*
+ * Returns the minimum caplen needed to decode everything up to the TCP/UDP
+ * packet headers.  Argument lh is not allowed to be NULL.
+ */
+int
+getcaplen(const linkhdr_t *lh)
+{
+   assert(lh != NULL);
+   return (lh->hdrlen + IP_HDR_LEN + max(TCP_HDR_LEN, UDP_HDR_LEN));
+}
+
+/*
+ * Convert IP address to a numbers-and-dots notation in a static buffer
+ * provided by inet_ntoa().
+ */
+char *
+ip_to_str(const in_addr_t ip)
+{
+   struct in_addr in;
+
+   in.s_addr = ip;
+   return (inet_ntoa(in));
+}
+
+/* Decoding functions. */
+static void
+decode_ether(u_char *user _unused_,
+      const struct pcap_pkthdr *pheader,
+      const u_char *pdata)
+{
+   u_short type;
+   const struct ether_header *hdr = (const struct ether_header *)pdata;
+   pktsummary sm;
+   memset(&sm, 0, sizeof(sm));
+   sm.time = pheader->ts.tv_sec;
+
+   if (pheader->caplen < ETHER_HDR_LEN) {
+      verbosef("ether: packet too short (%u bytes)", pheader->caplen);
+      return;
+   }
+
+#ifdef __sun
+   memcpy(sm.src_mac, hdr->ether_shost.ether_addr_octet, sizeof(sm.src_mac));
+   memcpy(sm.dst_mac, hdr->ether_dhost.ether_addr_octet, sizeof(sm.dst_mac));
+#else
+   memcpy(sm.src_mac, hdr->ether_shost, sizeof(sm.src_mac));
+   memcpy(sm.dst_mac, hdr->ether_dhost, sizeof(sm.dst_mac));
+#endif
+
+   type = ntohs( hdr->ether_type );
+   switch (type) {
+   case ETHERTYPE_IP:
+      if (!want_pppoe) {
+         decode_ip(pdata + ETHER_HDR_LEN,
+                   pheader->caplen - ETHER_HDR_LEN, &sm);
+         acct_for(&sm);
+      } else
+         verbosef("ether: discarded IP packet, expecting PPPoE instead");
+      break;
+   case ETHERTYPE_ARP:
+      /* known protocol, don't complain about it. */
+      break;
+   case ETHERTYPE_PPPOE:
+      if (want_pppoe)
+         decode_pppoe_real(pdata + ETHER_HDR_LEN,
+                           pheader->caplen - ETHER_HDR_LEN, &sm);
+      else
+         verbosef("ether: got PPPoE frame: maybe you want --pppoe");
+      break;
+   default:
+      verbosef("ether: unknown protocol (0x%04x)", type);
+   }
+}
+
+static void
+decode_loop(u_char *user _unused_,
+      const struct pcap_pkthdr *pheader,
+      const u_char *pdata)
+{
+   uint32_t family;
+   pktsummary sm;
+   memset(&sm, 0, sizeof(sm));
+
+   if (pheader->caplen < NULL_HDR_LEN) {
+      verbosef("loop: packet too short (%u bytes)", pheader->caplen);
+      return;
+   }
+   family = *(const uint32_t *)pdata;
+#ifdef __OpenBSD__
+   family = ntohl(family);
+#endif
+   if (family == AF_INET) {
+      /* OpenBSD tun or FreeBSD tun or FreeBSD lo */
+      decode_ip(pdata + NULL_HDR_LEN, pheader->caplen - NULL_HDR_LEN, &sm);
+      sm.time = pheader->ts.tv_sec;
+      acct_for(&sm);
+   }
+   else
+      verbosef("loop: unknown family (%x)", family);
+}
+
+static void
+decode_ppp(u_char *user _unused_,
+      const struct pcap_pkthdr *pheader,
+      const u_char *pdata)
+{
+   pktsummary sm;
+   memset(&sm, 0, sizeof(sm));
+
+   if (pheader->caplen < PPPOE_HDR_LEN) {
+      verbosef("ppp: packet too short (%u bytes)", pheader->caplen);
+      return;
+   }
+
+   if (pdata[2] == 0x00 && pdata[3] == 0x21) {
+         decode_ip(pdata + PPP_HDR_LEN, pheader->caplen - PPP_HDR_LEN, &sm);
+         sm.time = pheader->ts.tv_sec;
+         acct_for(&sm);
+   } else
+      verbosef("non-IP PPP packet; ignoring.");
+}
+
+static void
+decode_pppoe(u_char *user _unused_,
+      const struct pcap_pkthdr *pheader,
+      const u_char *pdata)
+{
+   pktsummary sm;
+   memset(&sm, 0, sizeof(sm));
+   sm.time = pheader->ts.tv_sec;
+   decode_pppoe_real(pdata, pheader->caplen, &sm);
+}
+
+static void
+decode_pppoe_real(const u_char *pdata, const uint32_t len,
+   pktsummary *sm)
+{
+   if (len < PPPOE_HDR_LEN) {
+      verbosef("pppoe: packet too short (%u bytes)", len);
+      return;
+   }
+
+   if (pdata[1] != 0x00) {
+      verbosef("pppoe: code = 0x%02x, expecting 0; ignoring.", pdata[1]);
+      return;
+   }
+
+   if ((pdata[6] == 0xc0) && (pdata[7] == 0x21)) return; /* LCP */
+   if ((pdata[6] == 0xc0) && (pdata[7] == 0x25)) return; /* LQR */
+
+   if ((pdata[6] == 0x00) && (pdata[7] == 0x21)) {
+      decode_ip(pdata + PPPOE_HDR_LEN, len - PPPOE_HDR_LEN, sm);
+      acct_for(sm);
+   } else
+      verbosef("pppoe: non-IP PPPoE packet (0x%02x%02x); ignoring.",
+         pdata[6], pdata[7]);
+}
+
+/* very similar to decode_ether ... */
+static void
+decode_linux_sll(u_char *user _unused_,
+      const struct pcap_pkthdr *pheader,
+      const u_char *pdata)
+{
+   const struct sll_header {
+      uint16_t packet_type;
+      uint16_t device_type;
+      uint16_t addr_length;
+#define SLL_MAX_ADDRLEN 8
+      uint8_t addr[SLL_MAX_ADDRLEN];
+      uint16_t ether_type;
+   } *hdr = (const struct sll_header *)pdata;
+   u_short type;
+   pktsummary sm;
+   memset(&sm, 0, sizeof(sm));
+
+   if (pheader->caplen < SLL_HDR_LEN) {
+      verbosef("linux_sll: packet too short (%u bytes)", pheader->caplen);
+      return;
+   }
+
+   type = ntohs( hdr->ether_type );
+   switch (type) {
+   case ETHERTYPE_IP:
+      decode_ip(pdata + SLL_HDR_LEN, pheader->caplen - SLL_HDR_LEN, &sm);
+      sm.time = pheader->ts.tv_sec;
+      acct_for(&sm);
+      break;
+   case ETHERTYPE_ARP:
+      /* known protocol, don't complain about it. */
+      break;
+   default:
+      verbosef("linux_sll: unknown protocol (%04x)", type);
+   }
+}
+
+static void
+decode_ip(const u_char *pdata, const uint32_t len, pktsummary *sm)
+{
+   const struct ip *hdr = (const struct ip *)pdata;
+
+   if (len < IP_HDR_LEN) {
+      verbosef("ip: packet too short (%u bytes)", len);
+      return;
+   }
+   if (hdr->ip_v != 4) {
+      verbosef("ip: version %d (expecting 4)", hdr->ip_v);
+      return;
+   }
+
+   sm->len = ntohs(hdr->ip_len);
+   sm->proto = hdr->ip_p;
+   sm->src_ip = hdr->ip_src.s_addr;
+   sm->dest_ip = hdr->ip_dst.s_addr;
+
+   switch (sm->proto) {
+      case IPPROTO_TCP: {
+         const struct tcphdr *thdr =
+            (const struct tcphdr *)(pdata + IP_HDR_LEN);
+         if (len < IP_HDR_LEN + TCP_HDR_LEN) {
+            verbosef("tcp: packet too short (%u bytes)", len);
+            return;
+         }
+         sm->src_port = ntohs(thdr->th_sport);
+         sm->dest_port = ntohs(thdr->th_dport);
+         sm->tcp_flags = thdr->th_flags &
+            (TH_FIN|TH_SYN|TH_RST|TH_PUSH|TH_ACK|TH_URG);
+         break;
+      }
+
+      case IPPROTO_UDP: {
+         const struct udphdr *uhdr =
+            (const struct udphdr *)(pdata + IP_HDR_LEN);
+         if (len < IP_HDR_LEN + UDP_HDR_LEN) {
+            verbosef("udp: packet too short (%u bytes)", len);
+            return;
+         }
+         sm->src_port = ntohs(uhdr->uh_sport);
+         sm->dest_port = ntohs(uhdr->uh_dport);
+         break;
+      }
+
+      case IPPROTO_ICMP:
+         /* known protocol, don't complain about it */
+         break;
+
+      default:
+         verbosef("ip: unknown protocol %d", sm->proto);
+   }
+}
+
+/* vim:set ts=3 sw=3 tw=78 expandtab: */
diff --git a/decode.h b/decode.h
new file mode 100644 (file)
index 0000000..bdb3999
--- /dev/null
+++ b/decode.h
@@ -0,0 +1,48 @@
+/* darkstat 3
+ * copyright (c) 2001-2007 Emil Mikulic.
+ *
+ * decode.h: packet decoding.
+ *
+ * You may use, modify and redistribute this file under the terms of the
+ * GNU General Public License version 2. (see COPYING.GPL)
+ */
+
+#include <pcap.h>
+#include <netinet/in.h> /* in_addr_t */
+
+#define PPP_HDR_LEN     4
+#define FDDI_HDR_LEN    21
+#define IP_HDR_LEN      20
+#define TCP_HDR_LEN     20
+#define UDP_HDR_LEN     8
+#define NULL_HDR_LEN    4
+#define PPPOE_HDR_LEN   8
+#define SLL_HDR_LEN     16
+
+#ifndef ETHER_ADDR_LEN
+#define ETHER_ADDR_LEN 6
+#endif
+
+typedef struct {
+   int linktype;
+   int hdrlen;
+   pcap_handler handler;
+} linkhdr_t;
+
+const linkhdr_t *getlinkhdr(int linktype);
+int getcaplen(const linkhdr_t *lh);
+char *ip_to_str(const in_addr_t ip);
+
+typedef struct {
+   /* Fields are in host byte order (except IPs) */
+   in_addr_t src_ip, dest_ip;
+   time_t time;
+   uint16_t len;
+   uint8_t proto;                /* IPPROTO_{TCP, UDP, ICMP} */
+   uint8_t tcp_flags;            /* only for TCP */
+   uint16_t src_port, dest_port; /* only for TCP, UDP */
+   uint8_t src_mac[ETHER_ADDR_LEN],
+           dst_mac[ETHER_ADDR_LEN]; /* only for Ethernet */
+} pktsummary;
+
+/* vim:set ts=3 sw=3 tw=78 expandtab: */
diff --git a/dns.c b/dns.c
new file mode 100644 (file)
index 0000000..cb36d21
--- /dev/null
+++ b/dns.c
@@ -0,0 +1,334 @@
+/* darkstat 3
+ * copyright (c) 2001-2008 Emil Mikulic.
+ *
+ * dns.c: synchronous DNS in a child process.
+ *
+ * You may use, modify and redistribute this file under the terms of the
+ * GNU General Public License version 2. (see COPYING.GPL)
+ */
+
+#include "darkstat.h"
+#include "conv.h"
+#include "decode.h"
+#include "dns.h"
+#include "err.h"
+#include "hosts_db.h"
+#include "queue.h"
+#include "tree.h"
+
+#include <sys/param.h>
+#include <sys/socket.h>
+#include <sys/wait.h>
+#include <assert.h>
+#include <errno.h>
+#include <netdb.h>
+#include <signal.h>
+#include <stdlib.h>
+#include <string.h>
+#include <unistd.h>
+
+static void dns_main(void); /* this is what the child process runs */
+
+#define CHILD 0 /* child process uses this socket */
+#define PARENT 1
+static int sock[2];
+static pid_t pid = -1;
+
+struct dns_reply {
+   in_addr_t ip;
+   int error; /* h_errno, or 0 if no error */
+   char name[MAXHOSTNAMELEN];
+};
+
+void
+dns_init(const char *privdrop_user)
+{
+   if (socketpair(AF_UNIX, SOCK_STREAM, 0, sock) == -1)
+      err(1, "socketpair");
+
+   pid = fork();
+   if (pid == -1)
+      err(1, "fork");
+
+   if (pid == 0) {
+      /* We are the child. */
+      privdrop(NULL /* don't chroot */, privdrop_user);
+      close(sock[PARENT]);
+      sock[PARENT] = -1;
+      daemonize_finish(); /* drop our copy of the lifeline! */
+      if (signal(SIGUSR1, SIG_IGN) == SIG_ERR)
+         errx(1, "signal(SIGUSR1, ignore) failed");
+      dns_main();
+      verbosef("fell out of dns_main()");
+      exit(0);
+   } else {
+      /* We are the parent. */
+      close(sock[CHILD]);
+      sock[CHILD] = -1;
+      fd_set_nonblock(sock[PARENT]);
+      verbosef("DNS child has PID %d", pid);
+   }
+}
+
+void
+dns_stop(void)
+{
+   if (pid == -1)
+      return; /* no child was started */
+   close(sock[PARENT]);
+   if (kill(pid, SIGINT) == -1)
+      err(1, "kill");
+   verbosef("dns_stop() waiting for child");
+   if (waitpid(pid, NULL, 0) == -1)
+      err(1, "waitpid");
+   verbosef("dns_stop() done waiting for child");
+}
+
+struct tree_rec {
+   RB_ENTRY(tree_rec) ptree;
+   in_addr_t ip;
+};
+
+static int
+tree_cmp(struct tree_rec *a, struct tree_rec *b)
+{
+   if (a->ip < b->ip) return (-1); else
+   if (a->ip > b->ip) return (+1); else
+   return (0);
+}
+
+static RB_HEAD(tree_t, tree_rec) ip_tree = RB_INITIALIZER(&tree_rec);
+/* Quiet warnings. */
+static struct tree_rec * tree_t_RB_NEXT(struct tree_rec *elm)
+   _unused_;
+static struct tree_rec * tree_t_RB_MINMAX(struct tree_t *head, int val)
+   _unused_;
+RB_GENERATE(tree_t, tree_rec, ptree, tree_cmp)
+
+void
+dns_queue(const in_addr_t ip)
+{
+   struct tree_rec *rec;
+   ssize_t num_w;
+
+   if (pid == -1)
+      return; /* no child was started - we're not doing any DNS */
+
+   rec = xmalloc(sizeof(*rec));
+   rec->ip = ip;
+   if (RB_INSERT(tree_t, &ip_tree, rec) != NULL) {
+      /* Already queued - this happens seldom enough that we don't care about
+       * the performance hit of needlessly malloc()ing. */
+      verbosef("already queued %s", ip_to_str(ip));
+      free(rec);
+      return;
+   }
+
+   num_w = write(sock[PARENT], &ip, sizeof(ip)); /* won't block */
+   if (num_w == 0)
+      warnx("dns_queue: write: ignoring end of file");
+   else if (num_w == -1)
+      warn("dns_queue: ignoring write error");
+   else if (num_w != sizeof(ip))
+      err(1, "dns_queue: wrote %d instead of %d",
+         (int)num_w, (int)sizeof(ip));
+}
+
+static void
+dns_unqueue(const in_addr_t ip)
+{
+   struct tree_rec tmp, *rec;
+
+   tmp.ip = ip;
+   if ((rec = RB_FIND(tree_t, &ip_tree, &tmp)) != NULL) {
+      RB_REMOVE(tree_t, &ip_tree, rec);
+      free(rec);
+   }
+   else
+      verbosef("couldn't unqueue %s - not in queue!", ip_to_str(ip));
+}
+
+/*
+ * Returns non-zero if result waiting, stores IP and name into given pointers
+ * (name buffer is allocated by dns_poll)
+ */
+static int
+dns_get_result(in_addr_t *ip, char **name)
+{
+   struct dns_reply reply;
+   ssize_t numread;
+
+   numread = read(sock[PARENT], &reply, sizeof(reply));
+   if (numread == -1) {
+      if (errno == EAGAIN)
+         return (0); /* no input waiting */
+      else
+         goto error;
+   }
+   if (numread == 0)
+      goto error; /* EOF */
+   if (numread != sizeof(reply))
+      errx(1, "dns_get_result read got %d, expected %d",
+         (int)numread, (int)sizeof(reply));
+
+   /* Return successful reply. */
+   *ip = reply.ip;
+   if (reply.error != 0)
+      xasprintf(name, "(%s)", hstrerror(reply.error));
+   else
+      *name = xstrdup(reply.name);
+   dns_unqueue(reply.ip);
+   return (1);
+
+error:
+   warn("dns_get_result: ignoring read error");
+   /* FIXME: re-align to stream?  restart dns child? */
+   return (0);
+}
+
+void
+dns_poll(void)
+{
+   in_addr_t ip;
+   char *name;
+
+   if (pid == -1)
+      return; /* no child was started - we're not doing any DNS */
+
+   while (dns_get_result(&ip, &name)) {
+      /* push into hosts_db */
+      struct bucket *b = host_find(ip);
+      if (b == NULL) {
+         verbosef("resolved %s to %s but it's not in the DB!",
+            ip_to_str(ip), name);
+         return;
+      }
+      if (b->u.host.dns != NULL) {
+         verbosef("resolved %s to %s but it's already in the DB!",
+            ip_to_str(ip), name);
+         return;
+      }
+      b->u.host.dns = name;
+   }
+}
+
+/* ------------------------------------------------------------------------ */
+
+struct qitem {
+   STAILQ_ENTRY(qitem) entries;
+   in_addr_t ip;
+};
+
+STAILQ_HEAD(qhead, qitem) queue = STAILQ_HEAD_INITIALIZER(queue);
+
+static void
+enqueue(const in_addr_t ip)
+{
+   struct qitem *i;
+
+   i = xmalloc(sizeof(*i));
+   i->ip = ip;
+   STAILQ_INSERT_TAIL(&queue, i, entries);
+   verbosef("DNS: enqueued %s", ip_to_str(ip));
+}
+
+/* Return non-zero and populate <ip> pointer if queue isn't empty. */
+static int
+dequeue(in_addr_t *ip)
+{
+   struct qitem *i;
+
+   i = STAILQ_FIRST(&queue);
+   if (i == NULL)
+      return (0);
+   STAILQ_REMOVE_HEAD(&queue, entries);
+   *ip = i->ip;
+   free(i);
+   return 1;
+}
+
+static void
+xwrite(const int d, const void *buf, const size_t nbytes)
+{
+   ssize_t ret = write(d, buf, nbytes);
+
+   if (ret == -1)
+      err(1, "write");
+   if (ret != (ssize_t)nbytes)
+      err(1, "wrote %d bytes instead of all %d bytes", (int)ret, (int)nbytes);
+}
+
+static void
+dns_main(void)
+{
+   in_addr_t ip;
+
+#ifdef HAVE_SETPROCTITLE
+   setproctitle("DNS child");
+#endif
+   fd_set_nonblock(sock[CHILD]);
+   verbosef("DNS child entering main DNS loop");
+   for (;;) {
+      int blocking;
+
+      if (STAILQ_EMPTY(&queue)) {
+         blocking = 1;
+         fd_set_block(sock[CHILD]);
+         verbosef("entering blocking read loop");
+      } else {
+         blocking = 0;
+         fd_set_nonblock(sock[CHILD]);
+         verbosef("non-blocking poll");
+      }
+      for (;;) {
+         /* While we have input to process... */
+         ssize_t numread = read(sock[CHILD], &ip, sizeof(ip));
+         if (numread == 0)
+            exit(0); /* end of file, nothing more to do here. */
+         if (numread == -1) {
+            if (!blocking && (errno == EAGAIN))
+               break; /* ran out of input */
+            /* else error */
+            err(1, "DNS: read failed");
+         }
+         if (numread != sizeof(ip))
+            err(1, "DNS: read got %d bytes, expecting %d",
+               (int)numread, (int)sizeof(ip));
+         enqueue(ip);
+         if (blocking) {
+            /* After one blocking read, become non-blocking so that when we
+             * run out of input we fall through to queue processing.
+             */
+            blocking = 0;
+            fd_set_nonblock(sock[CHILD]);
+         }
+      }
+
+      /* Process queue. */
+      if (dequeue(&ip)) {
+         struct dns_reply reply;
+         struct hostent *he;
+
+         reply.ip = ip;
+         he = gethostbyaddr((char *)&ip, sizeof(ip), AF_INET);
+
+         /* On some platforms (for example Linux with GLIBC 2.3.3), h_errno
+          * will be non-zero here even though the lookup succeeded.
+          */
+         if (he == NULL) {
+            reply.name[0] = '\0';
+            reply.error = h_errno;
+         } else {
+            assert(sizeof(reply.name) > sizeof(char *)); /* not just a ptr */
+            strlcpy(reply.name, he->h_name, sizeof(reply.name));
+            reply.error = 0;
+         }
+         fd_set_block(sock[CHILD]);
+         xwrite(sock[CHILD], &reply, sizeof(reply));
+         verbosef("DNS: %s is %s", ip_to_str(ip),
+            (h_errno == 0)?reply.name:hstrerror(h_errno));
+      }
+   }
+}
+
+/* vim:set ts=3 sw=3 tw=78 expandtab: */
diff --git a/dns.h b/dns.h
new file mode 100644 (file)
index 0000000..fc72e4f
--- /dev/null
+++ b/dns.h
@@ -0,0 +1,17 @@
+/* darkstat 3
+ * copyright (c) 2001-2007 Emil Mikulic.
+ *
+ * dns.h: synchronous DNS in a child process.
+ *
+ * You may use, modify and redistribute this file under the terms of the
+ * GNU General Public License version 2. (see COPYING.GPL)
+ */
+
+#include <netinet/in.h> /* in_addr_t */
+
+void dns_init(const char *privdrop_user);
+void dns_stop(void);
+void dns_queue(const in_addr_t ip);
+void dns_poll(void);
+
+/* vim:set ts=3 sw=3 tw=78 expandtab: */
diff --git a/err.c b/err.c
new file mode 100644 (file)
index 0000000..0628cd7
--- /dev/null
+++ b/err.c
@@ -0,0 +1,153 @@
+/* darkstat 3
+ * copyright (c) 2001-2008 Emil Mikulic.
+ *
+ * err.c: BSD-like err() and warn() functions
+ *
+ * Permission to use, copy, modify, and distribute this file for any
+ * purpose with or without fee is hereby granted, provided that the above
+ * copyright notice and this permission notice appear in all copies.
+ *
+ * THE SOFTWARE IS PROVIDED "AS IS" AND THE AUTHOR DISCLAIMS ALL WARRANTIES
+ * WITH REGARD TO THIS SOFTWARE INCLUDING ALL IMPLIED WARRANTIES OF
+ * MERCHANTABILITY AND FITNESS. IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR
+ * ANY SPECIAL, DIRECT, INDIRECT, OR CONSEQUENTIAL DAMAGES OR ANY DAMAGES
+ * WHATSOEVER RESULTING FROM LOSS OF USE, DATA OR PROFITS, WHETHER IN AN
+ * ACTION OF CONTRACT, NEGLIGENCE OR OTHER TORTIOUS ACTION, ARISING OUT OF
+ * OR IN CONNECTION WITH THE USE OR PERFORMANCE OF THIS SOFTWARE.
+ */
+
+#include "darkstat.h"
+#include "err.h"
+#include "pidfile.h"
+
+#include <errno.h>
+#include <stdarg.h>
+#include <stdio.h>
+#include <stdlib.h>
+#include <string.h>
+#include <unistd.h>
+#include <unistd.h>
+
+void
+err(const int code, const char *format, ...)
+{
+   va_list va;
+
+   fprintf(stderr, "%5d: error: ", (int)getpid());
+   va_start(va, format);
+   vfprintf(stderr, format, va);
+   va_end(va);
+   fprintf(stderr, ": %s\n", strerror(errno));
+   pidfile_unlink();
+   exit(code);
+}
+
+void
+errx(const int code, const char *format, ...)
+{
+   va_list va;
+
+   fprintf(stderr, "%5d: error: ", (int)getpid());
+   va_start(va, format);
+   vfprintf(stderr, format, va);
+   va_end(va);
+   fprintf(stderr, "\n");
+   pidfile_unlink();
+   exit(code);
+}
+
+void
+warn(const char *format, ...)
+{
+   va_list va;
+
+   fprintf(stderr, "%5d: warning: ", (int)getpid());
+   va_start(va, format);
+   vfprintf(stderr, format, va);
+   va_end(va);
+   fprintf(stderr, ": %s\n", strerror(errno));
+}
+
+void
+warnx(const char *format, ...)
+{
+   va_list va;
+
+   fprintf(stderr, "%5d: warning: ", (int)getpid());
+   va_start(va, format);
+   vfprintf(stderr, format, va);
+   va_end(va);
+   fprintf(stderr, "\n");
+}
+
+/* We interlock verbosef() between processes by using a pipe with a single
+ * byte in it.  This pipe must be initialized before the first fork() in order
+ * to work.  Then, verbosef() will block on a read() until it is able to
+ * retrieve the byte.  After doing its business, it will put a byte back into
+ * the pipe.
+ *
+ * This is completely silly and largely unnecessary.
+ */
+static int inited = 0;
+static int lockpipe[2];
+
+static void unlock(void);
+
+static void
+initlock(void)
+{
+   if (pipe(lockpipe) == -1)
+      err(1, "pipe(lockpipe)");
+   inited = 1;
+   unlock();
+}
+
+static void
+lock(void)
+{
+   char buf[1];
+
+   if (!inited) initlock();
+   if (read(lockpipe[0], buf, 1) != 1) {
+      fprintf(stderr, "lock failed!\n");
+      pidfile_unlink();
+      exit(1);
+   }
+}
+
+static void
+unlock(void)
+{
+   char c = 0;
+
+   if (write(lockpipe[1], &c, 1) != 1) {
+      fprintf(stderr, "unlock failed!\n");
+      pidfile_unlink();
+      exit(1);
+   }
+}
+
+int want_verbose = 0;
+
+void
+verbosef(const char *format, ...)
+{
+   va_list va;
+
+   if (!want_verbose) return;
+   lock();
+   fprintf(stderr, "darkstat (%05d): ", (int)getpid());
+   va_start(va, format);
+   vfprintf(stderr, format, va);
+   va_end(va);
+   fprintf(stderr, "\n");
+   unlock();
+}
+
+void
+dverbosef(const char *format _unused_, ...)
+{
+   /* disabled / do-nothing verbosef */
+}
+
+/* vim:set ts=3 sw=3 tw=78 expandtab: */
diff --git a/err.h b/err.h
new file mode 100644 (file)
index 0000000..26ee7d8
--- /dev/null
+++ b/err.h
@@ -0,0 +1,29 @@
+/* darkstat 3
+ * copyright (c) 2001-2008 Emil Mikulic.
+ *
+ * err.h: BSD-like err() and warn() functions
+ *
+ * Permission to use, copy, modify, and distribute this file for any
+ * purpose with or without fee is hereby granted, provided that the above
+ * copyright notice and this permission notice appear in all copies.
+ *
+ * THE SOFTWARE IS PROVIDED "AS IS" AND THE AUTHOR DISCLAIMS ALL WARRANTIES
+ * WITH REGARD TO THIS SOFTWARE INCLUDING ALL IMPLIED WARRANTIES OF
+ * MERCHANTABILITY AND FITNESS. IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR
+ * ANY SPECIAL, DIRECT, INDIRECT, OR CONSEQUENTIAL DAMAGES OR ANY DAMAGES
+ * WHATSOEVER RESULTING FROM LOSS OF USE, DATA OR PROFITS, WHETHER IN AN
+ * ACTION OF CONTRACT, NEGLIGENCE OR OTHER TORTIOUS ACTION, ARISING OUT OF
+ * OR IN CONNECTION WITH THE USE OR PERFORMANCE OF THIS SOFTWARE.
+ */
+
+void err(const int code, const char *format, ...) _noreturn_;
+void errx(const int code, const char *format, ...) _noreturn_;
+
+void warn(const char *format, ...);
+void warnx(const char *format, ...);
+
+extern int want_verbose;
+void verbosef(const char *format, ...);
+void dverbosef(const char *format _unused_, ...);
+
+/* vim:set ts=3 sw=3 tw=78 expandtab: */
diff --git a/export-format.txt b/export-format.txt
new file mode 100644 (file)
index 0000000..11d7978
--- /dev/null
@@ -0,0 +1,46 @@
+The darkstat export format was designed by Ben Stewart.
+Note that all integers are stored in network order (big-endian).
+
+FILE HEADER 0xDA314159                              darkstat export format
+    SECTION HEADER 0xDA 'H' 'S' 0x01                hosts_db ver1
+        HOST COUNT 0x00000001                       1 host follows
+        For each host:
+            HOST HEADER 'H' 'S' 'T' 0x02            host ver2
+            IP ADDR 0x0A010101                      IPv4 10.1.1.1
+            MACADDR 0x001122334455                  00:11:22:33:44:55
+            LAST_SEEN 0x0000000048000123 (time_t)   2008-04-12 00:24:03 UTC
+            HOSTNAME 0x09 "localhost"               9 is the string length
+            IN 0x0000000000123456                   Bytes in: 1193046
+            OUT 0x0000000000789ABC                  Bytes out: 7903932
+            PROTOS DATA 'P'                         start ip proto data
+                IP PROTO COUNT 0x03                 3 ip_proto entries
+                IP PROTO 0x06                       tcp
+                    IN 0x0000000000123456           Bytes in: 1193046
+                    OUT 0x0000000000789ABC          Bytes out: 7903932
+                IP PROTO 0x11                       udp
+                    IN 0x0000000000000444           Bytes in: 1092
+                    OUT 0x0000000000000555          Bytes out: 1365
+                IP PROTO 0x01                       icmp
+                    IN 0x0000000000000001           Bytes in: 1
+                    OUT 0x0000000000000002          Bytes out: 2
+            TCP DATA 'T'                            start tcp proto data
+                TCP PROTO COUNT 0x0001              1 tcp_proto entry
+                PORT 0x0050                         http (port 80)
+                    SYN COUNT 0x0000000000000003    SYNs: 3
+                    IN 0x0000000000000001           Bytes in: 1
+                    OUT 0x0000000000000002          Bytes out: 2
+            UDP DATA 'U'                            start udp proto data
+                UDP PROTO COUNT 0x0001              1 udp_proto entry
+                PORT 0x0045                         tftp (port 69)
+                    IN 0x0000000000000001           Bytes in: 1
+                    OUT 0x0000000000000002          Bytes out: 2
+    SECTION HEADER 0xDA 'G' 'R' 0x01                graph_db ver1
+        LAST_TIME (time_t as 64-bit uint)
+        For each of 4 graphs: (60 seconds, 60 minutes, 24 hours, 31 days)
+            8 bits - number of bars in this graph
+            8 bits - index of last_time bar, in the range [0:n_bars)
+            For each bar:
+                64 bits - bytes in
+                64 bits - bytes out
+
+Host header version 1 is just version 2 without the last_seen time.
diff --git a/graph_db.c b/graph_db.c
new file mode 100644 (file)
index 0000000..580f8ba
--- /dev/null
@@ -0,0 +1,415 @@
+/* darkstat 3
+ * copyright (c) 2006-2008 Emil Mikulic.
+ *
+ * graph_db.c: round robin database for graph data
+ *
+ * You may use, modify and redistribute this file under the terms of the
+ * GNU General Public License version 2. (see COPYING.GPL)
+ */
+
+#include <sys/types.h>
+#include <netinet/in.h> /* for in_addr_t (db.h needs it) */
+
+#include "cap.h"
+#include "conv.h"
+#include "darkstat.h"
+#include "db.h"
+#include "acct.h"
+#include "err.h"
+#include "str.h"
+#include "html.h" /* FIXME: should be pushed into a .c file? */
+#include "graph_db.h"
+#include "now.h"
+
+#include <assert.h>
+#include <stdlib.h>
+#include <string.h> /* for memcpy() */
+
+#define GRAPH_WIDTH "320"
+#define GRAPH_HEIGHT "200"
+
+extern const char *interface;
+
+struct graph {
+   uint64_t *in, *out;
+   unsigned int offset; /* i.e. seconds start at 0, days start at 1 */
+   unsigned int pos, num_bars;
+   const char *unit;
+   unsigned int bar_secs; /* one bar represents <n> seconds */
+};
+
+static struct graph
+   graph_secs = {NULL, NULL, 0, 0, 60, "seconds", 1},
+   graph_mins = {NULL, NULL, 0, 0, 60, "minutes", 60},
+   graph_hrs  = {NULL, NULL, 0, 0, 24, "hours",   3600},
+   graph_days = {NULL, NULL, 1, 0, 31, "days",    86400};
+
+static struct graph *graph_db[] = {
+   &graph_secs, &graph_mins, &graph_hrs, &graph_days
+};
+
+static unsigned int graph_db_size = sizeof(graph_db)/sizeof(*graph_db);
+
+static time_t start_time, last_time;
+
+void
+graph_init(void)
+{
+   unsigned int i;
+   for (i=0; i<graph_db_size; i++) {
+      graph_db[i]->in  = xmalloc(sizeof(uint64_t) * graph_db[i]->num_bars);
+      graph_db[i]->out = xmalloc(sizeof(uint64_t) * graph_db[i]->num_bars);
+   }
+   start_time = time(NULL);
+   graph_reset();
+}
+
+static void
+zero_graph(struct graph *g)
+{
+   memset(g->in,  0, sizeof(uint64_t) * g->num_bars);
+   memset(g->out, 0, sizeof(uint64_t) * g->num_bars);
+}
+
+void
+graph_reset(void)
+{
+   unsigned int i;
+   for (i=0; i<graph_db_size; i++)
+      zero_graph(graph_db[i]);
+   last_time = 0;
+}
+
+void
+graph_free(void)
+{
+   unsigned int i;
+   for (i=0; i<graph_db_size; i++) {
+      free(graph_db[i]->in);
+      free(graph_db[i]->out);
+   }
+}
+
+void
+graph_acct(uint64_t amount, enum graph_dir dir)
+{
+   unsigned int i;
+   for (i=0; i<graph_db_size; i++)
+    switch (dir) {
+     case GRAPH_IN:  graph_db[i]->in[  graph_db[i]->pos ] += amount; break;
+     case GRAPH_OUT: graph_db[i]->out[ graph_db[i]->pos ] += amount; break;
+     default: errx(1, "unknown graph_dir in graph_acct: %d", dir);
+    }
+}
+
+/* Advance a graph: advance the pos, zeroing out bars as we move. */
+static void
+advance(struct graph *g, const unsigned int pos)
+{
+   if (g->pos == pos)
+      return; /* didn't need to advance */
+   do {
+      g->pos = (g->pos + 1) % g->num_bars;
+      g->in[g->pos] = g->out[g->pos] = 0;
+   } while (g->pos != pos);
+}
+
+/* Rotate a graph: rotate all bars so that the bar at the current pos is moved
+ * to the newly given pos.  This is non-destructive. */
+static void
+rotate(struct graph *g, const unsigned int pos)
+{
+   uint64_t *tmp;
+   unsigned int i, ofs;
+   size_t size;
+
+   if (pos == g->pos)
+      return; /* nothing to rotate */
+
+   size = sizeof(*tmp) * g->num_bars;
+   tmp = xmalloc(size);
+   ofs = g->num_bars + pos - g->pos;
+
+   for (i=0; i<g->num_bars; i++)
+      tmp[ (i+ofs) % g->num_bars ] = g->in[i];
+   memcpy(g->in, tmp, size);
+
+   for (i=0; i<g->num_bars; i++)
+      tmp[ (i+ofs) % g->num_bars ] = g->out[i];
+   memcpy(g->out, tmp, size);
+
+   free(tmp);
+   assert(pos == ( (g->pos + ofs) % g->num_bars ));
+   g->pos = pos;
+}
+
+static void
+graph_resync(const time_t new_time)
+{
+   struct tm *tm;
+   /*
+    * If time went backwards, we assume that real time is continuous and that
+    * the time adjustment should only affect display.  i.e., if we have:
+    *
+    * second 15: 12  bytes
+    * second 16: 345 bytes
+    * second 17: <-- current pos
+    *
+    * and time goes backwards to second 8, we will shift the graph around to
+    * get:
+    *
+    * second 6: 12  bytes
+    * second 7: 345 bytes
+    * second 8: <-- current pos
+    *
+    * Note that we don't make any corrections for time being stepped forward.
+    * We rely on graph advancement to happen at the correct real time to
+    * account for, for example, bandwidth used per day.
+    */
+   assert(new_time < last_time);
+
+   tm = localtime(&new_time);
+   if (tm->tm_sec == 60)
+      tm->tm_sec = 59; /* mis-handle leap seconds */
+
+   rotate(&graph_secs, tm->tm_sec);
+   rotate(&graph_mins, tm->tm_min);
+   rotate(&graph_hrs, tm->tm_hour);
+   rotate(&graph_days, tm->tm_mday - 1);
+
+   last_time = new_time;
+}
+
+void
+graph_rotate(void)
+{
+   time_t t, td;
+   struct tm *tm;
+   unsigned int i;
+
+   t = now;
+
+   if (last_time == 0) {
+      verbosef("first rotate");
+      last_time = t;
+      tm = localtime(&t);
+      if (tm->tm_sec == 60)
+         tm->tm_sec = 59; /* mis-handle leap seconds */
+
+      graph_secs.pos = tm->tm_sec;
+      graph_mins.pos = tm->tm_min;
+      graph_hrs.pos = tm->tm_hour;
+      graph_days.pos = tm->tm_mday - 1;
+      return;
+   }
+
+   if (t == last_time)
+      return; /* superfluous rotate */
+
+   if (t < last_time) {
+      verbosef("time went backwards! (from %u to %u, offset is %d)",
+         (unsigned int)last_time, (unsigned int)t, (int)(t - last_time));
+      graph_resync(t);
+      return;
+   }
+
+   /* else, normal rotation */
+   td = t - last_time;
+   last_time = t;
+   tm = localtime(&t);
+   if (tm->tm_sec == 60)
+      tm->tm_sec = 59; /* mis-handle leap seconds */
+
+   /* zero out graphs which have been completely rotated through */
+   for (i=0; i<graph_db_size; i++)
+      if (td >= (int)(graph_db[i]->num_bars * graph_db[i]->bar_secs))
+         zero_graph(graph_db[i]);
+
+   /* advance the current position, zeroing up to it */
+   advance(&graph_secs, tm->tm_sec);
+   advance(&graph_mins, tm->tm_min);
+   advance(&graph_hrs, tm->tm_hour);
+   advance(&graph_days, tm->tm_mday - 1);
+}
+
+/* ---------------------------------------------------------------------------
+ * Database Import: Grab graphs from a file provided by the caller.
+ *
+ * This function will retrieve the data sans the header.  We expect the caller
+ * to have validated the header of the segment, and left the file position at
+ * the start of the data.
+ */
+int
+graph_import(const int fd)
+{
+   uint64_t last;
+   unsigned int i, j;
+
+   if (!read64(fd, &last)) return 0;
+   last_time = (time_t)last;
+
+   for (i=0; i<graph_db_size; i++) {
+      unsigned char num_bars, pos;
+      unsigned int filepos = xtell(fd);
+
+      if (!read8(fd, &num_bars)) return 0;
+      if (!read8(fd, &pos)) return 0;
+
+      verbosef("at file pos %u, importing graph with %u bars",
+         filepos, (unsigned int)num_bars);
+
+      if (pos >= num_bars) {
+         warn("pos is %u, should be < num_bars which is %u",
+            (unsigned int)pos, (unsigned int)num_bars);
+         return 0;
+      }
+
+      if (graph_db[i]->num_bars != num_bars) {
+         warn("num_bars is %u, expecting %u",
+            (unsigned int)num_bars, graph_db[i]->num_bars);
+         return 0;
+      }
+
+      graph_db[i]->pos = pos;
+      for (j=0; j<num_bars; j++) {
+         if (!read64(fd, &(graph_db[i]->in[j]))) return 0;
+         if (!read64(fd, &(graph_db[i]->out[j]))) return 0;
+      }
+   }
+
+   return 1;
+}
+
+/* ---------------------------------------------------------------------------
+ * Database Export: Dump hosts_db into a file provided by the caller.
+ * The caller is responsible for writing out the header first.
+ */
+int
+graph_export(const int fd)
+{
+   unsigned int i, j;
+
+   if (!write64(fd, (uint64_t)last_time)) return 0;
+   for (i=0; i<graph_db_size; i++) {
+      if (!write8(fd, graph_db[i]->num_bars)) return 0;
+      if (!write8(fd, graph_db[i]->pos)) return 0;
+
+      for (j=0; j<graph_db[i]->num_bars; j++) {
+         if (!write64(fd, graph_db[i]->in[j])) return 0;
+         if (!write64(fd, graph_db[i]->out[j])) return 0;
+      }
+   }
+   return 1;
+}
+
+/* ---------------------------------------------------------------------------
+ * Web interface: front page!
+ */
+struct str *
+html_front_page(void)
+{
+   struct str *buf, *rf;
+   unsigned int i;
+   char start_when[100];
+
+   buf = str_make();
+   str_append(buf, html_header_1);
+   str_appendf(buf, "<title>" PACKAGE_STRING " : graphs (%s)</title>\n",
+               interface);
+   str_append(buf, "<script src=\"graph.js\" type=\"text/javascript\">"
+                   "</script>\n");
+   str_append(buf, html_header_2);
+   str_appendf(buf, "<h2 class=\"pageheader\">Graphs (%s)</h2>\n", interface);
+
+   str_append(buf, "<p>\n");
+
+   str_append(buf, "<b>Running for</b> <span id=\"rf\">");
+   rf = length_of_time(now - start_time);
+   /* FIXME: use a more monotonic clock perhaps? */
+   str_appendstr(buf, rf);
+   str_free(rf);
+   str_append(buf, "</span>");
+
+   if (strftime(start_when, sizeof(start_when),
+      "%Y-%m-%d %H:%M:%S %Z%z", localtime(&start_time)) != 0)
+      str_appendf(buf, "<b>, since</b> %s", start_when);
+
+   str_appendf(buf,"<b>.</b><br/>\n"
+      "<b>Total</b> <span id=\"tb\">%'qu</span> <b>bytes, "
+      "in</b> <span id=\"tp\">%'qu</span> <b>packets.</b> "
+      "(<span id=\"pc\">%'u</span> <b>captured,</b> "
+      "<span id=\"pd\">%'u</span> <b>dropped)</b><br/>\n"
+      "</p>\n",
+      total_bytes,
+      total_packets,
+      pkts_recv, pkts_drop);
+
+   str_append(buf,
+      "<div id=\"graphs\">\n"
+      "Graphs require JavaScript.\n"
+      "<script type=\"text/javascript\">\n"
+      "//<![CDATA[\n"
+      "var graph_width = " GRAPH_WIDTH ";\n"
+      "var graph_height = " GRAPH_HEIGHT ";\n"
+      "var bar_gap = 1;\n"
+      "var graphs_uri = \"/graphs.xml\";\n"
+      "var graphs = [\n"
+   );
+
+   for (i=0; i<graph_db_size; i++)
+      str_appendf(buf,
+         " { id:\"g%u\", "
+            "name:\"%s\", "
+            "title:\"last %u %s\", "
+            "bar_secs:%u"
+         " }%s\n",
+         i, graph_db[i]->unit, graph_db[i]->num_bars, graph_db[i]->unit,
+         graph_db[i]->bar_secs, (i < graph_db_size-1) ? "," : "");
+      /* trailing comma breaks on IE, makes the array one element longer */
+
+   str_append(buf,
+      "];\n"
+      "window.onload = graphs_init;\n"
+      "//]]>\n"
+      "</script>\n"
+      "</div>\n"
+   );
+
+   str_append(buf, html_footer);
+   return (buf);
+}
+
+/* ---------------------------------------------------------------------------
+ * Web interface: graphs.xml
+ */
+struct str *
+xml_graphs(void)
+{
+   unsigned int i, j;
+   struct str *buf = str_make(), *rf;
+
+   str_appendf(buf, "<graphs tp=\"%qu\" tb=\"%qu\" pc=\"%u\" pd=\"%u\" rf=\"",
+      total_packets, total_bytes, pkts_recv, pkts_drop);
+   rf = length_of_time(now - start_time);
+   str_appendstr(buf, rf);
+   str_free(rf);
+   str_append(buf, "\">\n");
+
+   for (i=0; i<graph_db_size; i++) {
+      const struct graph *g = graph_db[i];
+
+      str_appendf(buf, "<%s>\n", g->unit);
+      j = g->pos;
+      do {
+         j = (j + 1) % g->num_bars;
+         /* <element pos="" in="" out=""/> */
+         str_appendf(buf, "<e p=\"%u\" i=\"%qu\" o=\"%qu\"/>\n",
+            g->offset + j, g->in[j], g->out[j]);
+      } while (j != g->pos);
+      str_appendf(buf, "</%s>\n", g->unit);
+   }
+   str_append(buf, "</graphs>\n");
+   return (buf);
+}
+
+/* vim:set ts=3 sw=3 tw=78 expandtab: */
diff --git a/graph_db.h b/graph_db.h
new file mode 100644 (file)
index 0000000..0315680
--- /dev/null
@@ -0,0 +1,27 @@
+/* darkstat 3
+ * copyright (c) 2006, 2007 Emil Mikulic.
+ *
+ * graph_db.h: round robin database for graph data
+ */
+
+#include <stdint.h> /* for uint64_t on Linux and OS X */
+
+enum graph_dir {
+   MIN_GRAPH_DIR = 1,
+   GRAPH_IN = 1,
+   GRAPH_OUT = 2,
+   MAX_GRAPH_DIR = 2
+};
+
+void graph_init(void);
+void graph_reset(void);
+void graph_free(void);
+void graph_acct(uint64_t amount, enum graph_dir dir);
+void graph_rotate(void);
+int graph_import(const int fd);
+int graph_export(const int fd);
+
+struct str *html_front_page(void);
+struct str *xml_graphs(void);
+
+/* vim:set ts=3 sw=3 tw=78 expandtab: */
diff --git a/hosts_db.c b/hosts_db.c
new file mode 100644 (file)
index 0000000..c66a075
--- /dev/null
@@ -0,0 +1,1387 @@
+/* darkstat 3
+ * copyright (c) 2001-2008 Emil Mikulic.
+ *
+ * hosts_db.c: database of hosts, ports, protocols.
+ *
+ * You may use, modify and redistribute this file under the terms of the
+ * GNU General Public License version 2. (see COPYING.GPL)
+ */
+
+#include "darkstat.h"
+#include "conv.h"
+#include "decode.h"
+#include "dns.h"
+#include "err.h"
+#include "hosts_db.h"
+#include "db.h"
+#include "html.h"
+#include "ncache.h"
+#include "now.h"
+
+#include <arpa/inet.h> /* inet_aton() */
+#include <assert.h>
+#include <errno.h>
+#include <stdio.h>
+#include <stdlib.h>
+#include <string.h> /* memset(), strcmp() */
+#include <unistd.h>
+
+int show_mac_addrs = 0;
+extern const char *interface;
+
+/* FIXME: specify somewhere more sane/tunable */
+#define MAX_ENTRIES 30 /* in an HTML table rendered from a hashtable */
+
+typedef uint32_t (hash_func_t)(const struct hashtable *, const void *);
+typedef void (free_func_t)(struct bucket *);
+typedef const void * (key_func_t)(const struct bucket *);
+typedef int (find_func_t)(const struct bucket *, const void *);
+typedef struct bucket * (make_func_t)(const void *);
+typedef void (format_cols_func_t)(struct str *);
+typedef void (format_row_func_t)(struct str *, const struct bucket *,
+   const char *);
+
+struct hashtable {
+   uint8_t bits;     /* size of hashtable in bits */
+   uint32_t size, mask;
+   uint32_t count, count_max, count_keep;   /* items in table */
+   uint32_t coeff;   /* coefficient for Fibonacci hashing */
+   struct bucket **table;
+
+   struct {
+      uint64_t inserts, searches, deletions, rehashes;
+   } stats;
+
+   hash_func_t *hash_func;
+   /* returns hash value of given key (passed as void*) */
+
+   free_func_t *free_func;
+   /* free of bucket payload */
+
+   key_func_t *key_func;
+   /* returns pointer to key of bucket (to pass to hash_func) */
+
+   find_func_t *find_func;
+   /* returns true if given bucket matches key (passed as void*) */
+
+   make_func_t *make_func;
+   /* returns bucket containing new record with key (passed as void*) */
+
+   format_cols_func_t *format_cols_func;
+   /* append table columns to str */
+
+   format_row_func_t *format_row_func;
+   /* format record and append to str */
+};
+
+static void hashtable_reduce(struct hashtable *ht);
+static void hashtable_free(struct hashtable *h);
+
+#define HOST_BITS 1  /* initial size of hosts table */
+#define PORT_BITS 1  /* initial size of ports tables */
+#define PROTO_BITS 1 /* initial size of proto table */
+
+/* We only use one hosts_db hashtable and this is it. */
+static struct hashtable *hosts_db = NULL;
+
+/* phi^-1 (reciprocal of golden ratio) = (sqrt(5) - 1) / 2 */
+static const double phi_1 =
+   0.61803398874989490252573887119069695472717285156250;
+
+/* Co-prime of u, using phi^-1 */
+inline static uint32_t
+coprime(const uint32_t u)
+{
+   return ( (uint32_t)( (double)(u) * phi_1 ) | 1U );
+}
+
+/*
+ * This is the "recommended" IPv4 hash function, as seen in FreeBSD's
+ * src/sys/netinet/tcp_hostcache.c 1.1
+ */
+inline static uint32_t
+ipv4_hash(const uint32_t ip)
+{
+   return ( (ip) ^ ((ip) >> 7) ^ ((ip) >> 17) );
+}
+
+/* ---------------------------------------------------------------------------
+ * hash_func collection
+ */
+#define CASTKEY(type) (*((const type *)key))
+
+static uint32_t
+hash_func_host(const struct hashtable *h _unused_, const void *key)
+{
+   return (ipv4_hash(CASTKEY(in_addr_t)));
+}
+
+static uint32_t
+hash_func_short(const struct hashtable *h, const void *key)
+{
+   return (CASTKEY(uint16_t) * h->coeff);
+}
+
+static uint32_t
+hash_func_byte(const struct hashtable *h, const void *key)
+{
+   return (CASTKEY(uint8_t) * h->coeff);
+}
+
+/* ---------------------------------------------------------------------------
+ * key_func collection
+ */
+
+static const void *
+key_func_host(const struct bucket *b)
+{
+   return &(b->u.host.ip);
+}
+
+static const void *
+key_func_port_tcp(const struct bucket *b)
+{
+   return &(b->u.port_tcp.port);
+}
+
+static const void *
+key_func_port_udp(const struct bucket *b)
+{
+   return &(b->u.port_udp.port);
+}
+
+static const void *
+key_func_ip_proto(const struct bucket *b)
+{
+   return &(b->u.ip_proto.proto);
+}
+
+/* ---------------------------------------------------------------------------
+ * find_func collection
+ */
+
+static int
+find_func_host(const struct bucket *b, const void *key)
+{
+   return (b->u.host.ip == CASTKEY(in_addr_t));
+}
+
+static int
+find_func_port_tcp(const struct bucket *b, const void *key)
+{
+   return (b->u.port_tcp.port == CASTKEY(uint16_t));
+}
+
+static int
+find_func_port_udp(const struct bucket *b, const void *key)
+{
+   return (b->u.port_udp.port == CASTKEY(uint16_t));
+}
+
+static int
+find_func_ip_proto(const struct bucket *b, const void *key)
+{
+   return (b->u.ip_proto.proto == CASTKEY(uint8_t));
+}
+
+/* ---------------------------------------------------------------------------
+ * make_func collection
+ */
+
+#define MAKE_BUCKET(name_bucket, name_content, type) struct { \
+   struct bucket *next; \
+   uint64_t in, out, total; \
+   union { struct type t; } u; } _custom_bucket; \
+   struct bucket *name_bucket = xmalloc(sizeof(_custom_bucket)); \
+   struct type *name_content = &(name_bucket->u.type); \
+   name_bucket->next = NULL; \
+   name_bucket->in = name_bucket->out = name_bucket->total = 0;
+
+static struct bucket *
+make_func_host(const void *key)
+{
+   MAKE_BUCKET(b, h, host);
+   h->ip = CASTKEY(in_addr_t);
+   h->dns = NULL;
+   h->last_seen = now;
+   memset(&h->mac_addr, 0, sizeof(h->mac_addr));
+   h->ports_tcp = NULL;
+   h->ports_udp = NULL;
+   h->ip_protos = NULL;
+   return (b);
+}
+
+static void
+free_func_host(struct bucket *b)
+{
+   struct host *h = &(b->u.host);
+   if (h->dns != NULL) free(h->dns);
+   hashtable_free(h->ports_tcp);
+   hashtable_free(h->ports_udp);
+   hashtable_free(h->ip_protos);
+}
+
+static struct bucket *
+make_func_port_tcp(const void *key)
+{
+   MAKE_BUCKET(b, p, port_tcp);
+   p->port = CASTKEY(uint16_t);
+   p->syn = 0;
+   return (b);
+}
+
+static struct bucket *
+make_func_port_udp(const void *key)
+{
+   MAKE_BUCKET(b, p, port_udp);
+   p->port = CASTKEY(uint16_t);
+   return (b);
+}
+
+static struct bucket *
+make_func_ip_proto(const void *key)
+{
+   MAKE_BUCKET(b, p, ip_proto);
+   p->proto = CASTKEY(uint8_t);
+   return (b);
+}
+
+static void
+free_func_simple(struct bucket *b _unused_)
+{
+   /* nop */
+}
+
+/* ---------------------------------------------------------------------------
+ * format_func collection (ordered by struct)
+ */
+
+static void
+format_cols_host(struct str *buf)
+{
+   /* FIXME: don't clobber parts of the query string
+    * specifically "full" and "start"
+    * when setting sort direction
+    */
+   str_append(buf,
+      "<table>\n"
+      "<tr>\n"
+      " <th>IP</th>\n"
+      " <th>Hostname</th>\n");
+   if (show_mac_addrs) str_append(buf,
+      " <th>MAC Address</th>\n");
+   str_append(buf,
+      " <th><a href=\"?sort=in\">In</a></th>\n"
+      " <th><a href=\"?sort=out\">Out</a></th>\n"
+      " <th><a href=\"?sort=total\">Total</a></th>\n"
+      " <th>Last seen</th>\n"
+      "</tr>\n");
+}
+
+static void
+format_row_host(struct str *buf, const struct bucket *b,
+   const char *css_class)
+{
+   const char *ip = ip_to_str( b->u.host.ip );
+   struct str *lastseen = NULL;
+   time_t last_t;
+
+   str_appendf(buf,
+      "<tr class=\"%s\">\n"
+      " <td><a href=\"%s/\">%s</a></td>\n"
+      " <td>%s</td>\n",
+      css_class,
+      ip, ip,
+      (b->u.host.dns == NULL) ? "" : b->u.host.dns);
+
+   if (show_mac_addrs)
+      str_appendf(buf,
+         " <td><tt>%x:%x:%x:%x:%x:%x</tt></td>\n",
+         b->u.host.mac_addr[0],
+         b->u.host.mac_addr[1],
+         b->u.host.mac_addr[2],
+         b->u.host.mac_addr[3],
+         b->u.host.mac_addr[4],
+         b->u.host.mac_addr[5]);
+
+   last_t = b->u.host.last_seen;
+   if (now >= last_t)
+      lastseen = length_of_time(now - last_t);
+
+   str_appendf(buf,
+      " <td class=\"num\">%'qu</td>\n"
+      " <td class=\"num\">%'qu</td>\n"
+      " <td class=\"num\">%'qu</td>\n"
+      " <td class=\"num\">",
+      b->in, b->out, b->total);
+
+   if (lastseen == NULL)
+      str_append(buf, "(clock error)");
+   else {
+      str_appendstr(buf, lastseen);
+      str_free(lastseen);
+   }
+
+   str_appendf(buf,
+       "</td>\n"
+      "</tr>\n");
+
+   /* Only resolve hosts "on demand" */
+   if (b->u.host.dns == NULL)
+      dns_queue(b->u.host.ip);
+}
+
+static void
+format_cols_port_tcp(struct str *buf)
+{
+   str_append(buf,
+      "<table>\n"
+      "<tr>\n"
+      " <th>Port</td>\n"
+      " <th>Service</td>\n"
+      " <th>In</td>\n"
+      " <th>Out</td>\n"
+      " <th>Total</td>\n"
+      " <th>SYNs</td>\n"
+      "</tr>\n"
+   );
+}
+
+static void
+format_row_port_tcp(struct str *buf, const struct bucket *b,
+   const char *css_class)
+{
+   const struct port_tcp *p = &(b->u.port_tcp);
+
+   str_appendf(buf,
+      "<tr class=\"%s\">\n"
+      " <td class=\"num\">%u</td>\n"
+      " <td>%s</td>\n"
+      " <td class=\"num\">%'qu</td>\n"
+      " <td class=\"num\">%'qu</td>\n"
+      " <td class=\"num\">%'qu</td>\n"
+      " <td class=\"num\">%'qu</td>\n"
+      "</tr>\n",
+      css_class,
+      p->port, getservtcp(p->port), b->in, b->out, b->total, p->syn
+   );
+}
+
+static void
+format_cols_port_udp(struct str *buf)
+{
+   str_append(buf,
+      "<table>\n"
+      "<tr>\n"
+      " <th>Port</td>\n"
+      " <th>Service</td>\n"
+      " <th>In</td>\n"
+      " <th>Out</td>\n"
+      " <th>Total</td>\n"
+      "</tr>\n"
+   );
+}
+
+static void
+format_row_port_udp(struct str *buf, const struct bucket *b,
+   const char *css_class)
+{
+   const struct port_udp *p = &(b->u.port_udp);
+
+   str_appendf(buf,
+      "<tr class=\"%s\">\n"
+      " <td class=\"num\">%u</td>\n"
+      " <td>%s</td>\n"
+      " <td class=\"num\">%'qu</td>\n"
+      " <td class=\"num\">%'qu</td>\n"
+      " <td class=\"num\">%'qu</td>\n"
+      "</tr>\n",
+      css_class,
+      p->port, getservudp(p->port), b->in, b->out, b->total
+   );
+}
+
+static void
+format_cols_ip_proto(struct str *buf)
+{
+   str_append(buf,
+      "<table>\n"
+      "<tr>\n"
+      " <th>#</td>\n"
+      " <th>Protocol</td>\n"
+      " <th>In</td>\n"
+      " <th>Out</td>\n"
+      " <th>Total</td>\n"
+      "</tr>\n"
+   );
+}
+
+static void
+format_row_ip_proto(struct str *buf, const struct bucket *b,
+   const char *css_class)
+{
+   const struct ip_proto *p = &(b->u.ip_proto);
+
+   str_appendf(buf,
+      "<tr class=\"%s\">\n"
+      " <td class=\"num\">%u</td>\n"
+      " <td>%s</td>\n"
+      " <td class=\"num\">%'qu</td>\n"
+      " <td class=\"num\">%'qu</td>\n"
+      " <td class=\"num\">%'qu</td>\n"
+      "</tr>\n",
+      css_class,
+      p->proto, getproto(p->proto),
+      b->in, b->out, b->total
+   );
+}
+
+/* ---------------------------------------------------------------------------
+ * Initialise a hashtable.
+ */
+static struct hashtable *
+hashtable_make(const uint8_t bits,
+   const unsigned int count_max,
+   const unsigned int count_keep,
+   hash_func_t *hash_func,
+   free_func_t *free_func,
+   key_func_t *key_func,
+   find_func_t *find_func,
+   make_func_t *make_func,
+   format_cols_func_t *format_cols_func,
+   format_row_func_t *format_row_func)
+{
+   struct hashtable *hash;
+   assert(bits > 0);
+
+   hash = xmalloc(sizeof(*hash));
+   hash->bits = bits;
+   hash->count_max = count_max;
+   hash->count_keep = count_keep;
+   hash->size = 1U << bits;
+   hash->mask = hash->size - 1;
+   hash->coeff = coprime(hash->size);
+   hash->hash_func = hash_func;
+   hash->free_func = free_func;
+   hash->key_func = key_func;
+   hash->find_func = find_func;
+   hash->make_func = make_func;
+   hash->format_cols_func = format_cols_func;
+   hash->format_row_func = format_row_func;
+   hash->count = 0;
+   hash->table = xcalloc(hash->size, sizeof(*hash->table));
+   memset(&(hash->stats), 0, sizeof(hash->stats));
+   return (hash);
+}
+
+/* ---------------------------------------------------------------------------
+ * Initialise global hosts_db.
+ */
+void
+hosts_db_init(void)
+{
+   assert(hosts_db == NULL);
+   hosts_db = hashtable_make(HOST_BITS, hosts_max, hosts_keep,
+      hash_func_host, free_func_host, key_func_host, find_func_host,
+      make_func_host, format_cols_host, format_row_host);
+}
+
+static void
+hashtable_rehash(struct hashtable *h, const uint8_t bits)
+{
+   struct bucket **old_table, **new_table;
+   uint32_t i, old_size;
+   assert(h != NULL);
+   assert(bits > 0);
+
+   h->stats.rehashes++;
+   old_size = h->size;
+   old_table = h->table;
+
+   h->bits = bits;
+   h->size = 1U << bits;
+   h->mask = h->size - 1;
+   h->coeff = coprime(h->size);
+   new_table = xcalloc(h->size, sizeof(*new_table));
+
+   for (i=0; i<old_size; i++) {
+      struct bucket *next, *b = old_table[i];
+      while (b != NULL) {
+         uint32_t pos = h->hash_func(h, h->key_func(b)) & h->mask;
+         next = b->next;
+         b->next = new_table[pos];
+         new_table[pos] = b;
+         b = next;
+      }
+   }
+
+   free(h->table);
+   h->table = new_table;
+}
+
+static void
+hashtable_insert(struct hashtable *h, struct bucket *b)
+{
+   uint32_t pos;
+   assert(h != NULL);
+   assert(b != NULL);
+   assert(b->next == NULL);
+
+   /* Rehash on 80% occupancy */
+   if ((h->count > h->size) ||
+       ((h->size - h->count) < h->size / 5))
+      hashtable_rehash(h, h->bits+1);
+
+   pos = h->hash_func(h, h->key_func(b)) & h->mask;
+   if (h->table[pos] == NULL)
+      h->table[pos] = b;
+   else {
+      /* Insert at top of chain. */
+      b->next = h->table[pos];
+      h->table[pos] = b;
+   }
+   h->count++;
+   h->stats.inserts++;
+}
+
+/* Return bucket matching key, or NULL if no such entry. */
+static struct bucket *
+hashtable_search(struct hashtable *h, const void *key)
+{
+   uint32_t pos;
+   struct bucket *b;
+
+   h->stats.searches++;
+   pos = h->hash_func(h, key) & h->mask;
+   b = h->table[pos];
+   while (b != NULL) {
+      if (h->find_func(b, key))
+         return (b);
+      else
+         b = b->next;
+   }
+   return (NULL);
+}
+
+/* Search for a key.  If it's not there, make and insert a bucket for it. */
+static struct bucket *
+hashtable_find_or_insert(struct hashtable *h, const void *key)
+{
+   struct bucket *b = hashtable_search(h, key);
+
+   if (b == NULL) {
+      /* Not found, so insert after checking occupancy. */
+      /*assert(h->count <= h->count_max);*/
+      if (h->count >= h->count_max) hashtable_reduce(h);
+      b = h->make_func(key);
+      hashtable_insert(h, b);
+   }
+   return (b);
+}
+
+/*
+ * Frees the hashtable and the buckets.  The contents are assumed to be
+ * "simple" -- i.e. no "destructor" action is required beyond simply freeing
+ * the bucket.
+ */
+static void
+hashtable_free(struct hashtable *h)
+{
+   uint32_t i;
+
+   if (h == NULL)
+      return;
+   for (i=0; i<h->size; i++) {
+      struct bucket *tmp, *b = h->table[i];
+      while (b != NULL) {
+         tmp = b;
+         b = b->next;
+         h->free_func(tmp);
+         free(tmp);
+      }
+   }
+   free(h->table);
+   free(h);
+}
+
+/* ---------------------------------------------------------------------------
+ * Return existing host or insert a new one.
+ */
+struct bucket *
+host_get(const in_addr_t ip)
+{
+   return (hashtable_find_or_insert(hosts_db, &ip));
+}
+
+/* ---------------------------------------------------------------------------
+ * Find host, returns NULL if not in DB.
+ */
+struct bucket *
+host_find(const in_addr_t ip)
+{
+   return (hashtable_search(hosts_db, &ip));
+}
+
+/* ---------------------------------------------------------------------------
+ * Find host, returns NULL if not in DB.
+ */
+static struct bucket *
+host_search(const char *ipstr)
+{
+   struct in_addr addr;
+
+   if (inet_aton(ipstr, &addr) != 1)
+      return (NULL); /* invalid addr */
+   return (hashtable_search(hosts_db, &(addr.s_addr)));
+}
+
+/* ---------------------------------------------------------------------------
+ * Reduce a hashtable to the top <keep> entries.
+ */
+static void
+hashtable_reduce(struct hashtable *ht)
+{
+   uint32_t i, pos, rmd;
+   const struct bucket **table;
+   uint64_t cutoff;
+
+   assert(ht->count_keep < ht->count);
+
+   /* Fill table with pointers to buckets in hashtable. */
+   table = xmalloc(sizeof(*table) * ht->count);
+   for (pos=0, i=0; i<ht->size; i++) {
+      struct bucket *b = ht->table[i];
+      while (b != NULL) {
+         table[pos++] = b;
+         b = b->next;
+      }
+   }
+   assert(pos == ht->count);
+   qsort_buckets(table, ht->count, 0, ht->count_keep, TOTAL);
+   cutoff = table[ht->count_keep]->total;
+   free(table);
+
+   /* Remove all elements with total <= cutoff. */
+   rmd = 0;
+   for (i=0; i<ht->size; i++) {
+      struct bucket *last = NULL, *next, *b = ht->table[i];
+      while (b != NULL) {
+         next = b->next;
+         if (b->total <= cutoff) {
+            /* Remove this one. */
+            ht->free_func(b);
+            free(b);
+            if (last == NULL)
+               ht->table[i] = next;
+            else
+               last->next = next;
+            rmd++;
+            ht->count--;
+         } else {
+            last = b;
+         }
+         b = next;
+      }
+   }
+   verbosef("hashtable_reduce: removed %u buckets, left %u",
+      rmd, ht->count);
+   hashtable_rehash(ht, ht->bits); /* is this needed? */
+}
+
+/* ---------------------------------------------------------------------------
+ * Reset hosts_db to empty.
+ */
+void
+hosts_db_reset(void)
+{
+   unsigned int i;
+
+   for (i=0; i<hosts_db->size; i++) {
+      struct bucket *next, *b = hosts_db->table[i];
+      while (b != NULL) {
+         next = b->next;
+         hosts_db->free_func(b);
+         free(b);
+         b = next;
+      }
+      hosts_db->table[i] = NULL;
+   }
+   verbosef("hosts_db reset to empty, freed %u hosts", hosts_db->count);
+   hosts_db->count = 0;
+}
+
+/* ---------------------------------------------------------------------------
+ * Deallocate hosts_db.
+ */
+void hosts_db_free(void)
+{
+   uint32_t i;
+
+   assert(hosts_db != NULL);
+   for (i=0; i<hosts_db->size; i++) {
+      struct bucket *tmp, *b = hosts_db->table[i];
+      while (b != NULL) {
+         tmp = b;
+         b = b->next;
+         hosts_db->free_func(tmp);
+         free(tmp);
+      }
+   }
+   free(hosts_db->table);
+   free(hosts_db);
+   hosts_db = NULL;
+}
+
+/* ---------------------------------------------------------------------------
+ * Find or create a port_tcp inside a host.
+ */
+struct bucket *
+host_get_port_tcp(struct bucket *host, const uint16_t port)
+{
+   struct host *h = &host->u.host;
+   assert(h != NULL);
+   if (h->ports_tcp == NULL)
+      h->ports_tcp = hashtable_make(PORT_BITS, ports_max, ports_keep,
+         hash_func_short, free_func_simple, key_func_port_tcp,
+         find_func_port_tcp, make_func_port_tcp,
+         format_cols_port_tcp, format_row_port_tcp);
+   return (hashtable_find_or_insert(h->ports_tcp, &port));
+}
+
+/* ---------------------------------------------------------------------------
+ * Find or create a port_udp inside a host.
+ */
+struct bucket *
+host_get_port_udp(struct bucket *host, const uint16_t port)
+{
+   struct host *h = &host->u.host;
+   assert(h != NULL);
+   if (h->ports_udp == NULL)
+      h->ports_udp = hashtable_make(PORT_BITS, ports_max, ports_keep,
+         hash_func_short, free_func_simple, key_func_port_udp,
+         find_func_port_udp, make_func_port_udp,
+         format_cols_port_udp, format_row_port_udp);
+   return (hashtable_find_or_insert(h->ports_udp, &port));
+}
+
+/* ---------------------------------------------------------------------------
+ * Find or create an ip_proto inside a host.
+ */
+struct bucket *
+host_get_ip_proto(struct bucket *host, const uint8_t proto)
+{
+   struct host *h = &host->u.host;
+   assert(h != NULL);
+   if (h->ip_protos == NULL)
+      h->ip_protos = hashtable_make(PROTO_BITS, ports_max, ports_keep,
+         hash_func_byte, free_func_simple, key_func_ip_proto,
+         find_func_ip_proto, make_func_ip_proto,
+         format_cols_ip_proto, format_row_ip_proto);
+   return (hashtable_find_or_insert(h->ip_protos, &proto));
+}
+
+static struct str *html_hosts_main(const char *qs);
+static struct str *html_hosts_detail(const char *ip);
+
+/* ---------------------------------------------------------------------------
+ * Web interface: delegate the /hosts/ space.
+ */
+struct str *
+html_hosts(const char *uri, const char *query)
+{
+   int i, num_elems;
+   char **elem = split('/', uri, &num_elems);
+   struct str *buf = NULL;
+
+   assert(num_elems >= 1);
+   assert(strcmp(elem[0], "hosts") == 0);
+
+   if (num_elems == 1)
+      /* /hosts/ */
+      buf = html_hosts_main(query);
+   else if (num_elems == 2)
+      /* /hosts/<IP of host>/ */
+      buf = html_hosts_detail(elem[1]);
+
+   for (i=0; i<num_elems; i++)
+      free(elem[i]);
+   free(elem);
+   return (buf); /* FIXME: a NULL here becomes 404 Not Found, we might want
+   other codes to be possible */
+}
+
+/* ---------------------------------------------------------------------------
+ * Format hashtable into HTML.
+ */
+static void
+format_table(struct str *buf, struct hashtable *ht, int start,
+   const enum sort_dir sort, const int full)
+{
+   const struct bucket **table;
+   uint32_t i, pos, end;
+   int alt = 0;
+
+   if ((ht == NULL) || (ht->count == 0)) {
+      str_append(buf, "<p>The table is empty.</p>\n");
+      return;
+   }
+
+   /* Fill table with pointers to buckets in hashtable. */
+   table = xmalloc(sizeof(*table) * ht->count);
+   for (pos=0, i=0; i<ht->size; i++) {
+      struct bucket *b = ht->table[i];
+      while (b != NULL) {
+         table[pos++] = b;
+         b = b->next;
+      }
+   }
+   assert(pos == ht->count);
+
+   if (full) {
+      /* full report overrides start and end */
+      start = 0;
+      end = ht->count;
+   } else
+      end = min(ht->count, (uint32_t)start+MAX_ENTRIES);
+
+   str_appendf(buf, "(%u-%u of %u)<br/>\n", start+1, end, ht->count);
+   qsort_buckets(table, ht->count, start, end, sort);
+   ht->format_cols_func(buf);
+
+   for (i=start; i<end; i++) {
+      ht->format_row_func(buf, table[i], alt ? "alt1" : "alt2");
+      alt = !alt; /* alternate class for table rows */
+   }
+   free(table);
+   str_append(buf, "</table>\n");
+}
+
+/* ---------------------------------------------------------------------------
+ * Web interface: sorted table of hosts.
+ */
+static struct str *
+html_hosts_main(const char *qs)
+{
+   struct str *buf = str_make();
+   char *qs_start, *qs_sort, *qs_full, *ep;
+   const char *sortstr;
+   int start, full = 0;
+   enum sort_dir sort;
+
+   /* parse query string */
+   qs_start = qs_get(qs, "start");
+   qs_sort = qs_get(qs, "sort");
+   qs_full = qs_get(qs, "full");
+   if (qs_full != NULL) {
+      full = 1;
+      free(qs_full);
+   }
+
+   /* validate sort */
+   if (qs_sort == NULL) sort = TOTAL;
+   else if (strcmp(qs_sort, "total") == 0) sort = TOTAL;
+   else if (strcmp(qs_sort, "in") == 0) sort = IN;
+   else if (strcmp(qs_sort, "out") == 0) sort = OUT;
+   else {
+      str_append(buf, "Error: invalid value for \"sort\".\n");
+      goto done;
+   }
+
+   /* parse start */
+   if (qs_start == NULL)
+      start = 0;
+   else {
+      start = (int)strtoul(qs_start, &ep, 10);
+      if (*ep != '\0') {
+         str_append(buf, "Error: \"start\" is not a number.\n");
+         goto done;
+      }
+      if ((errno == ERANGE) ||
+          (start < 0) || (start >= (int)hosts_db->count)) {
+         str_append(buf, "Error: \"start\" is out of bounds.\n");
+         goto done;
+      }
+   }
+
+#define PREV "&lt;&lt;&lt; prev page"
+#define NEXT "next page &gt;&gt;&gt;"
+#define FULL "full table"
+
+   str_append(buf, html_header_1);
+   str_appendf(buf, " <title>darkstat3: Hosts (%s)</title>\n", interface);
+   str_append(buf, html_header_2);
+   str_appendf(buf, "<h2 class=\"pageheader\">Hosts (%s)</h2>\n", interface);
+   format_table(buf, hosts_db, start, sort, full);
+
+   /* <prev | full | stats | next> */
+   sortstr = qs_sort;
+   if (sortstr == NULL) sortstr = "total";
+   if (start > 0) {
+      int prev = max(start - MAX_ENTRIES, 0);
+      str_appendf(buf, "<a href=\"?start=%d&sort=%s\">" PREV "</a>",
+         prev, sortstr);
+   } else
+      str_append(buf, PREV);
+
+   if (full)
+      str_append(buf, " | " FULL);
+   else
+      str_appendf(buf, " | <a href=\"?full=yes&sort=%s\">" FULL "</a>",
+         sortstr);
+
+   if (start+MAX_ENTRIES < (int)hosts_db->count)
+      str_appendf(buf, " | <a href=\"?start=%d&sort=%s\">" NEXT "</a>",
+         start+MAX_ENTRIES, sortstr);
+   else
+      str_append(buf, " | " NEXT);
+
+   str_append(buf, "<br/>\n");
+   str_append(buf, html_footer);
+done:
+   if (qs_start != NULL) free(qs_start);
+   if (qs_sort != NULL) free(qs_sort);
+   return buf;
+#undef PREV
+#undef NEXT
+#undef FULL
+}
+
+/* ---------------------------------------------------------------------------
+ * Web interface: detailed view of a single host.
+ */
+static struct str *
+html_hosts_detail(const char *ip)
+{
+   struct bucket *h;
+   struct str *buf, *ls_len;
+   char ls_when[100];
+   time_t ls;
+
+   h = host_search(ip);
+   if (h == NULL)
+      return (NULL); /* no such host */
+
+   /* Overview. */
+   buf = str_make();
+   str_append(buf, html_header_1);
+   str_appendf(buf, " <title>%s</title>\n", ip);
+   str_append(buf, html_header_2);
+   str_appendf(buf,
+      "<h2>%s</h2>\n"
+      "<p>\n"
+       "<b>Hostname:</b> %s<br/>\n",
+      ip,
+      (h->u.host.dns == NULL)?"(resolving...)":h->u.host.dns);
+
+   /* Resolve host "on demand" */
+   if (h->u.host.dns == NULL)
+      dns_queue(h->u.host.ip);
+
+   if (show_mac_addrs)
+   str_appendf(buf,
+      "<b>MAC Address:</b> "
+      "<tt>%x:%x:%x:%x:%x:%x</tt><br/>\n",
+      h->u.host.mac_addr[0],
+      h->u.host.mac_addr[1],
+      h->u.host.mac_addr[2],
+      h->u.host.mac_addr[3],
+      h->u.host.mac_addr[4],
+      h->u.host.mac_addr[5]);
+
+   str_append(buf,
+      "</p>\n"
+      "<p>\n"
+      "<b>Last seen:</b> ");
+
+   ls = h->u.host.last_seen;
+   if (strftime(ls_when, sizeof(ls_when),
+      "%Y-%m-%d %H:%M:%S %Z%z", localtime(&ls)) != 0)
+         str_append(buf, ls_when);
+
+   if (h->u.host.last_seen <= now) {
+      ls_len = length_of_time(now - h->u.host.last_seen);
+      str_append(buf, " (");
+      str_appendstr(buf, ls_len);
+      str_free(ls_len);
+      str_append(buf, " ago)");
+   } else {
+      str_append(buf, " (in the future, possible clock problem)");
+   }
+
+   str_appendf(buf,
+      "</p>\n"
+      "<p>\n"
+      " <b>In:</b> %'qu<br/>\n"
+      " <b>Out:</b> %'qu<br/>\n"
+      " <b>Total:</b> %'qu<br/>\n"
+      "</p>\n",
+      h->in, h->out, h->total);
+
+   str_append(buf, "<h3>TCP ports</h3>\n");
+   format_table(buf, h->u.host.ports_tcp, 0,TOTAL,0);
+
+   str_append(buf, "<h3>UDP ports</h3>\n");
+   format_table(buf, h->u.host.ports_udp, 0,TOTAL,0);
+
+   str_append(buf, "<h3>IP protocols</h3>\n");
+   format_table(buf, h->u.host.ip_protos, 0,TOTAL,0);
+
+   str_append(buf, html_footer);
+   return (buf);
+}
+
+/* ---------------------------------------------------------------------------
+ * Database import and export code:
+ * Initially written and contributed by Ben Stewart.
+ * copyright (c) 2007 Ben Stewart, Emil Mikulic.
+ */
+static int hosts_db_export_ip(const struct hashtable *h, const int fd);
+static int hosts_db_export_tcp(const struct hashtable *h, const int fd);
+static int hosts_db_export_udp(const struct hashtable *h, const int fd);
+
+static const char
+   export_proto_ip  = 'P',
+   export_proto_tcp = 'T',
+   export_proto_udp = 'U';
+
+static const unsigned char
+   export_tag_host_ver1[] = {'H', 'S', 'T', 0x01},
+   export_tag_host_ver2[] = {'H', 'S', 'T', 0x02};
+
+/* ---------------------------------------------------------------------------
+ * Load a host's ip_proto table from a file.
+ * Returns 0 on failure, 1 on success.
+ */
+static int
+hosts_db_import_ip(const int fd, struct bucket *host)
+{
+   uint8_t count, i;
+
+   if (!expect8(fd, export_proto_ip)) return 0;
+   if (!read8(fd, &count)) return 0;
+
+   for (i=0; i<count; i++) {
+      struct bucket *b;
+      uint8_t proto;
+      uint64_t in, out;
+
+      if (!read8(fd, &proto)) return 0;
+      if (!read64(fd, &in)) return 0;
+      if (!read64(fd, &out)) return 0;
+
+      /* Store data */
+      b = host_get_ip_proto(host, proto);
+      b->in = in;
+      b->out = out;
+      b->total = in + out;
+      assert(b->u.ip_proto.proto == proto); /* should be done by make fn */
+   }
+   return 1;
+}
+
+/* ---------------------------------------------------------------------------
+ * Load a host's port_tcp table from a file.
+ * Returns 0 on failure, 1 on success.
+ */
+static int
+hosts_db_import_tcp(const int fd, struct bucket *host)
+{
+   uint16_t count, i;
+
+   if (!expect8(fd, export_proto_tcp)) return 0;
+   if (!read16(fd, &count)) return 0;
+
+   for (i=0; i<count; i++) {
+      struct bucket *b;
+      uint16_t port;
+      uint64_t in, out, syn;
+
+      if (!read16(fd, &port)) return 0;
+      if (!read64(fd, &syn)) return 0;
+      if (!read64(fd, &in)) return 0;
+      if (!read64(fd, &out)) return 0;
+
+      /* Store data */
+      b = host_get_port_tcp(host, port);
+      b->in = in;
+      b->out = out;
+      b->total = in + out;
+      assert(b->u.port_tcp.port == port); /* done by make_func_port_tcp */
+      b->u.port_tcp.syn = syn;
+   }
+   return 1;
+}
+
+/* ---------------------------------------------------------------------------
+ * Load a host's port_tcp table from a file.
+ * Returns 0 on failure, 1 on success.
+ */
+static int
+hosts_db_import_udp(const int fd, struct bucket *host)
+{
+   uint16_t count, i;
+
+   if (!expect8(fd, export_proto_udp)) return 0;
+   if (!read16(fd, &count)) return 0;
+
+   for (i=0; i<count; i++) {
+      struct bucket *b;
+      uint16_t port;
+      uint64_t in, out;
+
+      if (!read16(fd, &port)) return 0;
+      if (!read64(fd, &in)) return 0;
+      if (!read64(fd, &out)) return 0;
+
+      /* Store data */
+      b = host_get_port_udp(host, port);
+      b->in = in;
+      b->out = out;
+      b->total = in + out;
+      assert(b->u.port_udp.port == port); /* done by make_func */
+   }
+   return 1;
+}
+
+/* ---------------------------------------------------------------------------
+ * Load all hosts from a file.
+ * Returns 0 on failure, 1 on success.
+ */
+static int
+hosts_db_import_host(const int fd)
+{
+   struct bucket *host;
+   in_addr_t addr;
+   uint8_t hostname_len;
+   uint64_t in, out;
+   unsigned int pos = xtell(fd);
+   char hdr[4];
+   int ver = 0;
+
+   if (!readn(fd, hdr, sizeof(hdr))) return 0;
+   if (memcmp(hdr, export_tag_host_ver2, sizeof(hdr)) == 0)
+      ver = 2;
+   else if (memcmp(hdr, export_tag_host_ver1, sizeof(hdr)) == 0)
+      ver = 1;
+   else {
+      warnx("bad host header: %02x%02x%02x%02x",
+         hdr[0], hdr[1], hdr[2], hdr[3]);
+      return 0;
+   }
+
+   if (!readaddr(fd, &addr)) return 0;
+   verbosef("at file pos %u, importing host %s", pos, ip_to_str(addr));
+   host = host_get(addr);
+   assert(host->u.host.ip == addr); /* make fn? */
+
+   if (ver > 1) {
+      uint64_t t;
+      if (!read64(fd, &t)) return 0;
+      host->u.host.last_seen = (time_t)t;
+   }
+
+   assert(sizeof(host->u.host.mac_addr) == 6);
+   if (!readn(fd, host->u.host.mac_addr, sizeof(host->u.host.mac_addr)))
+      return 0;
+
+   /* HOSTNAME */
+   assert(host->u.host.dns == NULL); /* make fn? */
+   if (!read8(fd, &hostname_len)) return 0;
+   if (hostname_len > 0) {
+      host->u.host.dns = xmalloc(hostname_len + 1);
+      host->u.host.dns[0] = '\0';
+
+      /* At this point, the hostname is attached to a host which is in our
+       * hosts_db, so if we bail out due to an import error, this pointer
+       * isn't lost and leaked, it can be cleaned up in hosts_db_{free,reset}
+       */
+
+      if (!readn(fd, host->u.host.dns, hostname_len)) return 0;
+      host->u.host.dns[hostname_len] = '\0';
+   }
+
+   if (!read64(fd, &in)) return 0;
+   if (!read64(fd, &out)) return 0;
+
+   host->in = in;
+   host->out = out;
+   host->total = in + out;
+
+   /* Host's port and proto subtables: */
+   if (!hosts_db_import_ip(fd, host)) return 0;
+   if (!hosts_db_import_tcp(fd, host)) return 0;
+   if (!hosts_db_import_udp(fd, host)) return 0;
+   return 1;
+}
+
+/* ---------------------------------------------------------------------------
+ * Database Import: Grab hosts_db from a file provided by the caller.
+ *
+ * This function will retrieve the data sans the header.  We expect the caller
+ * to have validated the header of the hosts_db segment, and left the file
+ * sitting at the start of the data.
+ */
+int hosts_db_import(const int fd)
+{
+   uint32_t host_count, i;
+
+   if (!read32(fd, &host_count)) return 0;
+
+   for (i=0; i<host_count; i++)
+      if (!hosts_db_import_host(fd)) return 0;
+
+   return 1;
+}
+
+/* ---------------------------------------------------------------------------
+ * Database Export: Dump hosts_db into a file provided by the caller.
+ * The caller is responsible for writing out export_tag_hosts_ver1 first.
+ */
+int hosts_db_export(const int fd)
+{
+   uint32_t i;
+   struct bucket *b;
+
+   if (!write32(fd, hosts_db->count)) return 0;
+
+   for (i = 0; i<hosts_db->size; i++)
+   for (b = hosts_db->table[i]; b != NULL; b = b->next) {
+      /* For each host: */
+      if (!writen(fd, export_tag_host_ver2, sizeof(export_tag_host_ver2)))
+         return 0;
+
+      if (!writeaddr(fd, b->u.host.ip)) return 0;
+
+      if (!write64(fd, (uint64_t)(b->u.host.last_seen))) return 0;
+
+      assert(sizeof(b->u.host.mac_addr) == 6);
+      if (!writen(fd, b->u.host.mac_addr, sizeof(b->u.host.mac_addr)))
+         return 0;
+
+      /* HOSTNAME */
+      if (b->u.host.dns == NULL) {
+         if (!write8(fd, 0)) return 0;
+      } else {
+         int dnslen = strlen(b->u.host.dns);
+
+         if (dnslen > 255) {
+           warnx("found a very long hostname: \"%s\"\n"
+              "wasn't expecting one longer than 255 chars (this one is %d)",
+              b->u.host.dns, dnslen);
+           dnslen = 255;
+         }
+
+         if (!write8(fd, (uint8_t)dnslen)) return 0;
+         if (!writen(fd, b->u.host.dns, dnslen)) return 0;
+      }
+
+      if (!write64(fd, b->in)) return 0;
+      if (!write64(fd, b->out)) return 0;
+
+      if (!hosts_db_export_ip(b->u.host.ip_protos, fd)) return 0;
+      if (!hosts_db_export_tcp(b->u.host.ports_tcp, fd)) return 0;
+      if (!hosts_db_export_udp(b->u.host.ports_udp, fd)) return 0;
+   }
+   return 1;
+}
+
+/* ---------------------------------------------------------------------------
+ * Dump the ip_proto table of a host.
+ */
+static int
+hosts_db_export_ip(const struct hashtable *h, const int fd)
+{
+   uint32_t i, written = 0;
+   struct bucket *b;
+
+   /* IP DATA */
+   if (!write8(fd, export_proto_ip)) return 0;
+
+   /* If no data, write a IP Proto count of 0 and we're done. */
+   if (h == NULL) {
+      if (!write8(fd, 0)) return 0;
+      return 1;
+   }
+
+   assert(h->count < 256);
+   if (!write8(fd, (uint8_t)h->count)) return 0;
+
+   for (i = 0; i<h->size; i++)
+   for (b = h->table[i]; b != NULL; b = b->next) {
+      /* For each ip_proto bucket: */
+
+      if (!write8(fd, b->u.ip_proto.proto)) return 0;
+      if (!write64(fd, b->in)) return 0;
+      if (!write64(fd, b->out)) return 0;
+      written++;
+   }
+   assert(written == h->count);
+   return 1;
+}
+
+/* ---------------------------------------------------------------------------
+ * Dump the port_tcp table of a host.
+ */
+static int
+hosts_db_export_tcp(const struct hashtable *h, const int fd)
+{
+   struct bucket *b;
+   uint32_t i, written = 0;
+
+   /* TCP DATA */
+   if (!write8(fd, export_proto_tcp)) return 0;
+
+   /* If no data, write a count of 0 and we're done. */
+   if (h == NULL) {
+      if (!write16(fd, 0)) return 0;
+      return 1;
+   }
+
+   assert(h->count < 65536);
+   if (!write16(fd, (uint16_t)h->count)) return 0;
+
+   for (i = 0; i<h->size; i++)
+   for (b = h->table[i]; b != NULL; b = b->next) {
+      if (!write16(fd, b->u.port_tcp.port)) return 0;
+      if (!write64(fd, b->u.port_tcp.syn)) return 0;
+      if (!write64(fd, b->in)) return 0;
+      if (!write64(fd, b->out)) return 0;
+      written++;
+   }
+   assert(written == h->count);
+   return 1;
+}
+
+/* ---------------------------------------------------------------------------
+ * Dump the port_udp table of a host.
+ */
+static int
+hosts_db_export_udp(const struct hashtable *h, const int fd)
+{
+   struct bucket *b;
+   uint32_t i, written = 0;
+
+   /* UDP DATA */
+   if (!write8(fd, export_proto_udp)) return 0;
+
+   /* If no data, write a count of 0 and we're done. */
+   if (h == NULL) {
+      if (!write16(fd, 0)) return 0;
+      return 1;
+   }
+
+   assert(h->count < 65536);
+   if (!write16(fd, (uint16_t)h->count)) return 0;
+
+   for (i = 0; i<h->size; i++)
+   for (b = h->table[i]; b != NULL; b = b->next) {
+      if (!write16(fd, b->u.port_udp.port)) return 0;
+      if (!write64(fd, b->in)) return 0;
+      if (!write64(fd, b->out)) return 0;
+      written++;
+   }
+   assert(written == h->count);
+   return 1;
+}
+
+/* vim:set ts=3 sw=3 tw=78 expandtab: */
diff --git a/hosts_db.h b/hosts_db.h
new file mode 100644 (file)
index 0000000..a5686a1
--- /dev/null
@@ -0,0 +1,78 @@
+/* darkstat 3
+ * copyright (c) 2001-2008 Emil Mikulic.
+ *
+ * hosts_db.h: database of hosts, ports, protocols.
+ *
+ * You may use, modify and redistribute this file under the terms of the
+ * GNU General Public License version 2. (see COPYING.GPL)
+ */
+
+#include <sys/types.h>
+#include <netinet/in.h>
+#include "str.h"
+
+struct hashtable;
+
+struct host {
+   in_addr_t ip;
+   char *dns;
+   uint8_t mac_addr[6];
+   time_t last_seen;
+   struct hashtable *ports_tcp, *ports_udp, *ip_protos;
+};
+
+struct port_tcp {
+   uint16_t port;
+   uint64_t syn;
+};
+
+struct port_udp {
+   uint16_t port;
+};
+
+struct ip_proto {
+   uint8_t proto;
+};
+
+struct bucket {
+   struct bucket *next;
+   uint64_t in, out, total;
+   union {
+      struct host host;
+      struct port_tcp port_tcp;
+      struct port_udp port_udp;
+      struct ip_proto ip_proto;
+   } u;
+};
+
+enum sort_dir { IN, OUT, TOTAL };
+
+extern int show_mac_addrs;
+
+/*
+ * Table reduction - when the number of entries is about to exceed <max>, we
+ * reduce the table to the top <keep> entries.
+ */
+extern unsigned int hosts_max, hosts_keep, ports_max, ports_keep;
+
+void hosts_db_init(void);
+void hosts_db_reduce(void);
+void hosts_db_reset(void);
+void hosts_db_free(void);
+int hosts_db_import(const int fd);
+int hosts_db_export(const int fd);
+
+struct bucket *host_find(const in_addr_t ip); /* can return NULL */
+struct bucket *host_get(const in_addr_t ip);
+struct bucket *host_get_port_tcp(struct bucket *host, const uint16_t port);
+struct bucket *host_get_port_udp(struct bucket *host, const uint16_t port);
+struct bucket *host_get_ip_proto(struct bucket *host, const uint8_t proto);
+
+/* Web pages. */
+struct str *html_hosts(const char *uri, const char *query);
+
+/* From hosts_sort */
+void qsort_buckets(const struct bucket **a, size_t n,
+   size_t left, size_t right, const enum sort_dir d);
+
+/* vim:set ts=3 sw=3 tw=78 expandtab: */
diff --git a/hosts_sort.c b/hosts_sort.c
new file mode 100644 (file)
index 0000000..15dd213
--- /dev/null
@@ -0,0 +1,202 @@
+/* darkstat 3
+ * copyright (c) 2001-2006 Emil Mikulic.
+ *
+ * hosts_sort.c: quicksort a table of buckets.
+ *
+ * You may use, modify and redistribute this file under the terms of the
+ * GNU General Public License version 2. (see COPYING.GPL)
+ */
+
+#include "darkstat.h"
+#include "hosts_db.h"
+#include "err.h"
+
+/* ---------------------------------------------------------------------------
+ * comparator for sorting (biggest first)
+ */
+static int
+cmp(const struct bucket * const *x, const struct bucket * const *y,
+    const enum sort_dir dir)
+{
+   uint64_t a, b;
+
+   switch (dir) {
+   case IN:
+      a = (*x)->in;
+      b = (*y)->in;
+      break;
+   case OUT:
+      a = (*x)->out;
+      b = (*y)->out;
+      break;
+   case TOTAL:
+      a = (*x)->total;
+      b = (*y)->total;
+      break;
+   default:
+      errx(1, "cmp: unknown direction: %d", dir);
+   }
+
+   if (a < b) return (1);
+   else if (a > b) return (-1);
+   else return (0);
+}
+
+/*
+ * The quicksort code is derived from FreeBSD's
+ * src/lib/libc/stdlib/qsort.c v1.12
+ */
+
+/*-
+ * Copyright (c) 1992, 1993
+ *     The Regents of the University of California.  All rights reserved.
+ *
+ * Redistribution and use in source and binary forms, with or without
+ * modification, are permitted provided that the following conditions
+ * are met:
+ * 1. Redistributions of source code must retain the above copyright
+ *    notice, this list of conditions and the following disclaimer.
+ * 2. Redistributions in binary form must reproduce the above copyright
+ *    notice, this list of conditions and the following disclaimer in the
+ *    documentation and/or other materials provided with the distribution.
+ * 3. All advertising materials mentioning features or use of this software
+ *    must display the following acknowledgement:
+ *     This product includes software developed by the University of
+ *     California, Berkeley and its contributors.
+ * 4. Neither the name of the University nor the names of its contributors
+ *    may be used to endorse or promote products derived from this software
+ *    without specific prior written permission.
+ *
+ * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
+ * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
+ * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
+ * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
+ * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
+ * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
+ * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
+ * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
+ * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
+ * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
+ * SUCH DAMAGE.
+ */
+
+static void
+vecswap(const struct bucket **pi, const struct bucket **pj, int n)
+{
+   if (n <= 0)
+      return;
+
+   do {
+      const struct bucket *t = *pi;
+      *pi++ = *pj;
+      *pj++ = t;
+   } while (--n > 0);
+}
+
+#define swap(a, b) { \
+   const struct bucket *t = *(const struct bucket **)(a); \
+   *(const struct bucket **)(a) = *(const struct bucket **)(b); \
+   *(const struct bucket **)(b) = t; \
+}
+
+static const struct bucket **
+med3(const struct bucket **a,
+     const struct bucket **b,
+     const struct bucket **c,
+     const enum sort_dir dir)
+{
+   return (cmp(a, b, dir) < 0)
+    ? (cmp(b, c, dir) < 0 ? b : (cmp(a, c, dir) < 0 ? c : a ))
+    : (cmp(b, c, dir) > 0 ? b : (cmp(a, c, dir) < 0 ? a : c ));
+}
+
+/* Partial sort - only sort elements in the range [left:right] */
+void
+qsort_buckets(const struct bucket **a, size_t n,
+   size_t left, size_t right,
+   const enum sort_dir dir)
+{
+       const struct bucket **pa, **pb, **pc, **pd, **pl, **pm, **pn;
+       int d, r, swap_cnt;
+
+loop:
+       swap_cnt = 0;
+       if (n < 7) {
+               for (pm = a+1; pm < a+n; pm++)
+                       for (pl = pm;
+                            (pl > a) && (cmp(pl-1, pl, dir) > 0);
+                            pl--)
+                               swap(pl, pl-1);
+               return;
+       }
+       pm = a + (n / 2);
+       if (n > 7) {
+               pl = a;
+               pn = a + (n - 1);
+               if (n > 40) {
+                       d = (n / 8);
+                       pl = med3(pl, pl + d, pl + 2 * d, dir);
+                       pm = med3(pm - d, pm, pm + d, dir);
+                       pn = med3(pn - 2 * d, pn - d, pn, dir);
+               }
+               pm = med3(pl, pm, pn, dir);
+       }
+       swap(a, pm);
+       pa = pb = a + 1;
+
+       pc = pd = a + (n - 1);
+       for (;;) {
+               while (pb <= pc && (r = cmp(pb, a, dir)) <= 0) {
+                       if (r == 0) {
+                               swap_cnt = 1;
+                               swap(pa, pb);
+                               pa++;
+                       }
+                       pb++;
+               }
+               while (pb <= pc && (r = cmp(pc, a, dir)) >= 0) {
+                       if (r == 0) {
+                               swap_cnt = 1;
+                               swap(pc, pd);
+                               pd--;
+                       }
+                       pc--;
+               }
+               if (pb > pc)
+                       break;
+               swap(pb, pc);
+               swap_cnt = 1;
+               pb++;
+               pc--;
+       }
+       if (swap_cnt == 0) {  /* Switch to insertion sort */
+               for (pm = a + 1; pm < a+n; pm++)
+                       for (pl = pm;
+                            (pl > a) && (cmp(pl-1, pl, dir) > 0);
+                            pl--)
+                               swap(pl, pl-1);
+               return;
+       }
+
+       pn = a + n;
+       r = min(pa - a, pb - pa);
+       vecswap(a, pb - r, r);
+       r = min(pd - pc, pn - pd - 1);
+       vecswap(pb, pn - r, r);
+       if (((r = pb - pa) > 1) && ((unsigned)r >= left))
+               qsort_buckets(a, r, left, right, dir);
+       if (((r = pd - pc) > 1) && (n - r <= right)) {
+               /* Iterate rather than recurse to save stack space */
+               if (n - r > left)
+                       left = 0;
+               else
+                       left -= n - r;
+               right -= n - r;
+               a += n - r;
+               n = r;
+               goto loop;
+       }
+/*             qsort(pn - r, r, cmp);*/
+}
+
+/* vim:set ts=3 sw=3 tw=78 expandtab: */
diff --git a/html.h b/html.h
new file mode 100644 (file)
index 0000000..b31e138
--- /dev/null
+++ b/html.h
@@ -0,0 +1,35 @@
+/* darkstat 3
+ *
+ * html.h: HTML header/footer for web interface.
+ * copyright (c) 2006 Ben Stewart.
+ *
+ * You may use, modify and redistribute this file under the terms of the
+ * GNU General Public License version 2. (see COPYING.GPL)
+ */
+
+static const char html_header_1[] =
+"<!DOCTYPE html PUBLIC \"-//W3C//DTD XHTML 1.0 Strict//EN\"\n"
+"  \"http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd\">\n"
+"<html xmlns=\"http://www.w3.org/1999/xhtml\">\n"
+"<head>\n"
+" <link rel=\"stylesheet\" href=\"/style.css\" type=\"text/css\"/>\n";
+
+static const char html_header_2[] =
+"</head>\n"
+"<body>\n"
+"<div class=\"menu\">\n"
+ "<ul class=\"menu\">\n"
+  "<li class=\"label\">" PACKAGE_STRING "</li>"
+  "<li><a href=\"/\">graphs</a></li>"
+  "<li><a href=\"/hosts/\">hosts</a></li>"
+  "<li><a href=\"http://dmr.ath.cx/net/darkstat/\">homepage</a></li>"
+ "</ul>\n"
+"</div>\n"
+"<div class=\"content\">\n";
+
+static const char html_footer[] =
+"</div>\n"
+"</body>\n"
+"</html>\n";
+
+/* vim:set ts=3 sw=3 tw=78 expandtab: */
diff --git a/http.c b/http.c
new file mode 100644 (file)
index 0000000..3ec7848
--- /dev/null
+++ b/http.c
@@ -0,0 +1,995 @@
+/* darkstat 3
+ * copyright (c) 2001-2008 Emil Mikulic.
+ *
+ * http.c: embedded webserver.
+ * This borrows a lot of code from darkhttpd.
+ *
+ * You may use, modify and redistribute this file under the terms of the
+ * GNU General Public License version 2. (see COPYING.GPL)
+ */
+
+#include "darkstat.h"
+#include "http.h"
+#include "conv.h"
+#include "hosts_db.h"
+#include "graph_db.h"
+#include "err.h"
+#include "queue.h"
+#include "now.h"
+
+#include <sys/uio.h>
+#include <sys/socket.h>
+#include <arpa/inet.h>
+#include <assert.h>
+#include <ctype.h>
+#include <errno.h>
+#include <fcntl.h>
+#include <signal.h>
+#include <stdarg.h>
+#include <stdio.h>
+#include <stdlib.h>
+#include <string.h>
+#include <unistd.h>
+#include <zlib.h>
+
+static const char mime_type_xml[] = "text/xml";
+static const char mime_type_html[] = "text/html; charset=us-ascii";
+static const char mime_type_css[] = "text/css";
+static const char mime_type_js[] = "text/javascript";
+static const char encoding_gzip[] =
+    "Vary: Accept-Encoding\r\n"
+    "Content-Encoding: gzip\r\n";
+
+static const char server[] = PACKAGE_NAME "/" PACKAGE_VERSION;
+static int idletime = 60;
+static int sockin = -1;             /* socket to accept connections from */
+#define MAX_REQUEST_LENGTH 4000
+
+#ifndef min
+#define min(a,b) (((a) < (b)) ? (a) : (b))
+#endif
+
+struct connection {
+    LIST_ENTRY(connection) entries;
+
+    int socket;
+    in_addr_t client;
+    time_t last_active;
+    enum {
+        RECV_REQUEST,          /* receiving request */
+        SEND_HEADER_AND_REPLY, /* try to send header+reply together */
+        SEND_HEADER,           /* sending generated header */
+        SEND_REPLY,            /* sending reply */
+        DONE                   /* conn closed, need to remove from queue */
+        } state;
+
+    /* char request[request_length+1] is null-terminated */
+    char *request;
+    size_t request_length;
+    int accept_gzip;
+
+    /* request fields */
+    char *method, *uri, *query; /* query can be NULL */
+
+    char *header;
+    const char *mime_type, *encoding, *header_extra;
+    size_t header_length, header_sent;
+    int header_dont_free, header_only, http_code;
+
+    char *reply;
+    int reply_dont_free;
+    size_t reply_length, reply_sent;
+
+    unsigned int total_sent; /* header + body = total, for logging */
+};
+
+static LIST_HEAD(conn_list_head, connection) connlist =
+    LIST_HEAD_INITIALIZER(conn_list_head);
+
+/* ---------------------------------------------------------------------------
+ * Decode URL by converting %XX (where XX are hexadecimal digits) to the
+ * character it represents.  Don't forget to free the return value.
+ */
+static char *urldecode(const char *url)
+{
+    size_t i, len = strlen(url);
+    char *out = xmalloc(len+1);
+    int pos;
+
+    for (i=0, pos=0; i<len; i++)
+    {
+        if (url[i] == '%' && i+2 < len &&
+            isxdigit(url[i+1]) && isxdigit(url[i+2]))
+        {
+            /* decode %XX */
+            #define HEX_TO_DIGIT(hex) ( \
+                ((hex) >= 'A' && (hex) <= 'F') ? ((hex)-'A'+10): \
+                ((hex) >= 'a' && (hex) <= 'f') ? ((hex)-'a'+10): \
+                ((hex)-'0') )
+
+            out[pos++] = HEX_TO_DIGIT(url[i+1]) * 16 +
+                         HEX_TO_DIGIT(url[i+2]);
+            i += 2;
+
+            #undef HEX_TO_DIGIT
+        }
+        else
+        {
+            /* straight copy */
+            out[pos++] = url[i];
+        }
+    }
+    out[pos] = 0;
+#if 0
+    /* don't really need to realloc here - it's probably a performance hit */
+    out = xrealloc(out, strlen(out)+1);  /* dealloc what we don't need */
+#endif
+    return (out);
+}
+
+
+
+/* ---------------------------------------------------------------------------
+ * Consolidate slashes in-place by shifting parts of the string over repeated
+ * slashes.
+ */
+static void consolidate_slashes(char *s)
+{
+    size_t left = 0, right = 0;
+    int saw_slash = 0;
+
+    assert(s != NULL);
+
+    while (s[right] != '\0')
+    {
+        if (saw_slash)
+        {
+            if (s[right] == '/') right++;
+            else
+            {
+                saw_slash = 0;
+                s[left++] = s[right++];
+            }
+        }
+        else
+        {
+            if (s[right] == '/') saw_slash++;
+            s[left++] = s[right++];
+        }
+    }
+    s[left] = '\0';
+}
+
+
+
+/* ---------------------------------------------------------------------------
+ * Resolve /./ and /../ in a URI, returing a new, safe URI, or NULL if the URI
+ * is invalid/unsafe.  Returned buffer needs to be deallocated.
+ */
+static char *make_safe_uri(char *uri)
+{
+    char **elem, *out;
+    unsigned int slashes = 0, elements = 0;
+    size_t urilen, i, j, pos;
+
+    assert(uri != NULL);
+    if (uri[0] != '/')
+        return (NULL);
+    consolidate_slashes(uri);
+    urilen = strlen(uri);
+
+    /* count the slashes */
+    for (i=0, slashes=0; i<urilen; i++)
+        if (uri[i] == '/') slashes++;
+
+    /* make an array for the URI elements */
+    elem = xmalloc(sizeof(*elem) * slashes);
+    for (i=0; i<slashes; i++)
+        elem[i] = (NULL);
+
+    /* split by slashes and build elem[] array */
+    for (i=1; i<urilen;)
+    {
+        /* look for the next slash */
+        for (j=i; j<urilen && uri[j] != '/'; j++)
+            ;
+
+        /* process uri[i,j) */
+        if ((j == i+1) && (uri[i] == '.'))
+            /* "." */;
+        else if ((j == i+2) && (uri[i] == '.') && (uri[i+1] == '.'))
+        {
+            /* ".." */
+            if (elements == 0)
+            {
+                /*
+                 * Unsafe string so free elem[].  All its elements are free
+                 * at this point.
+                 */
+                free(elem);
+                return (NULL);
+            }
+            else
+            {
+                elements--;
+                free(elem[elements]);
+            }
+        }
+        else elem[elements++] = split_string(uri, i, j);
+
+        i = j + 1; /* uri[j] is a slash - move along one */
+    }
+
+    /* reassemble */
+    out = xmalloc(urilen+1); /* it won't expand */
+    pos = 0;
+    for (i=0; i<elements; i++)
+    {
+        size_t delta = strlen(elem[i]);
+
+        assert(pos <= urilen);
+        out[pos++] = '/';
+
+        assert(pos+delta <= urilen);
+        memcpy(out+pos, elem[i], delta);
+        free(elem[i]);
+        pos += delta;
+    }
+    free(elem);
+
+    if ((elements == 0) || (uri[urilen-1] == '/')) out[pos++] = '/';
+    assert(pos <= urilen);
+    out[pos] = '\0';
+
+#if 0
+    /* don't really need to do this and it's probably a performance hit: */
+    /* shorten buffer if necessary */
+    if (pos != urilen) out = xrealloc(out, strlen(out)+1);
+#endif
+    return (out);
+}
+
+/* ---------------------------------------------------------------------------
+ * Allocate and initialize an empty connection.
+ */
+static struct connection *new_connection(void)
+{
+    struct connection *conn = xmalloc(sizeof(*conn));
+
+    conn->socket = -1;
+    conn->client = INADDR_ANY;
+    conn->last_active = now;
+    conn->request = NULL;
+    conn->request_length = 0;
+    conn->accept_gzip = 0;
+    conn->method = NULL;
+    conn->uri = NULL;
+    conn->query = NULL;
+    conn->header = NULL;
+    conn->mime_type = NULL;
+    conn->encoding = "";
+    conn->header_extra = "";
+    conn->header_length = 0;
+    conn->header_sent = 0;
+    conn->header_dont_free = 0;
+    conn->header_only = 0;
+    conn->http_code = 0;
+    conn->reply = NULL;
+    conn->reply_dont_free = 0;
+    conn->reply_length = 0;
+    conn->reply_sent = 0;
+    conn->total_sent = 0;
+
+    /* Make it harmless so it gets garbage-collected if it should, for some
+     * reason, fail to be correctly filled out.
+     */
+    conn->state = DONE;
+
+    return (conn);
+}
+
+
+
+/* ---------------------------------------------------------------------------
+ * Accept a connection from sockin and add it to the connection queue.
+ */
+static void accept_connection(void)
+{
+    struct sockaddr_in addrin;
+    socklen_t sin_size;
+    struct connection *conn;
+    int sock;
+
+    sin_size = (socklen_t)sizeof(struct sockaddr);
+    sock = accept(sockin, (struct sockaddr *)&addrin, &sin_size);
+    if (sock == -1)
+    {
+        if (errno == ECONNABORTED || errno == EINTR)
+        {
+            verbosef("accept() failed: %s", strerror(errno));
+            return;
+        }
+        /* else */ err(1, "accept()");
+    }
+
+    fd_set_nonblock(sock);
+
+    /* allocate and initialise struct connection */
+    conn = new_connection();
+    conn->socket = sock;
+    conn->state = RECV_REQUEST;
+    conn->client = addrin.sin_addr.s_addr;
+    LIST_INSERT_HEAD(&connlist, conn, entries);
+
+    verbosef("accepted connection from %s:%u",
+        inet_ntoa(addrin.sin_addr),
+        ntohs(addrin.sin_port) );
+}
+
+
+
+/* ---------------------------------------------------------------------------
+ * Log a connection, then cleanly deallocate its internals.
+ */
+static void free_connection(struct connection *conn)
+{
+    dverbosef("free_connection(%d)", conn->socket);
+    if (conn->socket != -1) close(conn->socket);
+    if (conn->request != NULL) free(conn->request);
+    if (conn->method != NULL) free(conn->method);
+    if (conn->uri != NULL) free(conn->uri);
+    if (conn->query != NULL) free(conn->query);
+    if (conn->header != NULL && !conn->header_dont_free) free(conn->header);
+    if (conn->reply != NULL && !conn->reply_dont_free) free(conn->reply);
+}
+
+
+
+/* ---------------------------------------------------------------------------
+ * Format [when] as an RFC1123 date, stored in the specified buffer.  The same
+ * buffer is returned for convenience.
+ */
+#define DATE_LEN 30 /* strlen("Fri, 28 Feb 2003 00:02:08 GMT")+1 */
+static char *rfc1123_date(char *dest, const time_t when)
+{
+    time_t tmp = when;
+    if (strftime(dest, DATE_LEN,
+        "%a, %d %b %Y %H:%M:%S %Z", gmtime(&tmp) ) == 0)
+            errx(1, "strftime() failed [%s]", dest);
+    return (dest);
+}
+
+
+
+/* ---------------------------------------------------------------------------
+ * A default reply for any (erroneous) occasion.
+ */
+static void default_reply(struct connection *conn,
+    const int errcode, const char *errname, const char *format, ...)
+{
+    char *reason, date[DATE_LEN];
+    va_list va;
+
+    va_start(va, format);
+    xvasprintf(&reason, format, va);
+    va_end(va);
+
+    /* Only really need to calculate the date once. */
+    (void)rfc1123_date(date, now);
+
+    conn->reply_length = xasprintf(&(conn->reply),
+     "<html><head><title>%d %s</title></head><body>\n"
+     "<h1>%s</h1>\n" /* errname */
+     "%s\n" /* reason */
+     "<hr>\n"
+     "Generated by %s on %s\n"
+     "</body></html>\n",
+     errcode, errname, errname, reason, server, date);
+    free(reason);
+
+    conn->header_length = xasprintf(&(conn->header),
+     "HTTP/1.1 %d %s\r\n"
+     "Date: %s\r\n"
+     "Server: %s\r\n"
+     "Content-Length: %d\r\n"
+     "Content-Type: text/html\r\n"
+     "\r\n",
+     errcode, errname, date, server, conn->reply_length);
+
+    conn->http_code = errcode;
+}
+
+
+
+/* ---------------------------------------------------------------------------
+ * Parses a single HTTP request field.  Returns string from end of [field] to
+ * first \r, \n or end of request string.  Returns NULL if [field] can't be
+ * matched.
+ *
+ * You need to remember to deallocate the result.
+ * example: parse_field(conn, "Referer: ");
+ */
+static char *parse_field(const struct connection *conn, const char *field)
+{
+    size_t bound1, bound2;
+    char *pos;
+
+    /* find start */
+    pos = strstr(conn->request, field);
+    if (pos == NULL)
+        return (NULL);
+    bound1 = pos - conn->request + strlen(field);
+
+    /* find end */
+    for (bound2 = bound1;
+        conn->request[bound2] != '\r' &&
+        bound2 < conn->request_length; bound2++)
+            ;
+
+    /* copy to buffer */
+    return (split_string(conn->request, bound1, bound2));
+}
+
+
+
+/* ---------------------------------------------------------------------------
+ * Parse an HTTP request like "GET /hosts/?sort=in HTTP/1.1" to get the method
+ * (GET), the uri (/hosts/), the query (sort=in) and whether the UA will
+ * accept gzip encoding.  Remember to deallocate all these buffers.  Query
+ * can be NULL.  The method will be returned in uppercase.
+ */
+static int parse_request(struct connection *conn)
+{
+    size_t bound1, bound2, mid;
+    char *accept_enc;
+
+    /* parse method */
+    for (bound1 = 0; bound1 < conn->request_length &&
+        conn->request[bound1] != ' '; bound1++)
+            ;
+
+    conn->method = split_string(conn->request, 0, bound1);
+    strntoupper(conn->method, bound1);
+
+    /* parse uri */
+    for (; bound1 < conn->request_length &&
+        conn->request[bound1] == ' '; bound1++)
+            ;
+
+    if (bound1 == conn->request_length)
+        return (0); /* fail */
+
+    for (bound2=bound1+1; bound2 < conn->request_length &&
+        conn->request[bound2] != ' ' &&
+        conn->request[bound2] != '\r'; bound2++)
+            ;
+
+    /* find query string */
+    for (mid=bound1; mid<bound2 && conn->request[mid] != '?'; mid++)
+        ;
+
+    if (conn->request[mid] == '?') {
+        conn->query = split_string(conn->request, mid+1, bound2);
+        bound2 = mid;
+    }
+
+    conn->uri = split_string(conn->request, bound1, bound2);
+
+    /* parse important fields */
+    accept_enc = parse_field(conn, "Accept-Encoding: ");
+    if (accept_enc != NULL) {
+        if (strstr(accept_enc, "gzip") != NULL)
+            conn->accept_gzip = 1;
+        free(accept_enc);
+    }
+    return (1);
+}
+
+/* FIXME: maybe we need a smarter way of doing static pages: */
+
+/* ---------------------------------------------------------------------------
+ * Web interface: static stylesheet.
+ */
+static void
+static_style_css(struct connection *conn)
+{
+#include "stylecss.h"
+
+    conn->reply = style_css;
+    conn->reply_length = style_css_len;
+    conn->reply_dont_free = 1;
+    conn->mime_type = mime_type_css;
+}
+
+/* ---------------------------------------------------------------------------
+ * Web interface: static JavaScript.
+ */
+static void
+static_graph_js(struct connection *conn)
+{
+#include "graphjs.h"
+
+    conn->reply = graph_js;
+    conn->reply_length = graph_js_len;
+    conn->reply_dont_free = 1;
+    conn->mime_type = mime_type_js;
+}
+
+/* ---------------------------------------------------------------------------
+ * gzip a reply, if requested and possible.  Don't bother with a minimum
+ * length requirement, I've never seen a page fail to compress.
+ */
+static void
+process_gzip(struct connection *conn)
+{
+    char *buf;
+    size_t len;
+    z_stream zs;
+
+    if (!conn->accept_gzip)
+        return;
+
+    buf = xmalloc(conn->reply_length);
+    len = conn->reply_length;
+
+    zs.zalloc = Z_NULL;
+    zs.zfree = Z_NULL;
+    zs.opaque = Z_NULL;
+
+    if (deflateInit2(&zs, Z_BEST_COMPRESSION, Z_DEFLATED,
+        15+16, /* 15 = biggest window, 16 = add gzip header+trailer */
+        8 /* default */,
+        Z_DEFAULT_STRATEGY) != Z_OK)
+       return;
+
+    zs.avail_in = conn->reply_length;
+    zs.next_in = (unsigned char *)conn->reply;
+
+    zs.avail_out = conn->reply_length;
+    zs.next_out = (unsigned char *)buf;
+
+    if (deflate(&zs, Z_FINISH) != Z_STREAM_END) {
+        deflateEnd(&zs);
+        free(buf);
+        verbosef("failed to compress %u bytes", (unsigned int)len);
+        return;
+    }
+
+    if (conn->reply_dont_free)
+        conn->reply_dont_free = 0;
+    else
+        free(conn->reply);
+
+    conn->reply = buf;
+    conn->reply_length -= zs.avail_out;
+    conn->encoding = encoding_gzip;
+    deflateEnd(&zs);
+}
+
+/* ---------------------------------------------------------------------------
+ * Process a GET/HEAD request
+ */
+static void process_get(struct connection *conn)
+{
+    char *decoded_url, *safe_url;
+    char date[DATE_LEN];
+
+    verbosef("http: %s \"%s\" %s", conn->method, conn->uri,
+        (conn->query == NULL)?"":conn->query);
+
+    /* work out path of file being requested */
+    decoded_url = urldecode(conn->uri);
+
+    /* make sure it's safe */
+    safe_url = make_safe_uri(decoded_url);
+    free(decoded_url);
+    if (safe_url == NULL)
+    {
+        default_reply(conn, 400, "Bad Request",
+                "You requested an invalid URI: %s", conn->uri);
+        return;
+    }
+
+    if (strcmp(safe_url, "/") == 0) {
+        struct str *buf = html_front_page();
+        str_extract(buf, &(conn->reply_length), &(conn->reply));
+        conn->mime_type = mime_type_html;
+    }
+    else if (str_starts_with(safe_url, "/hosts/")) {
+        /* FIXME here - make this saner */
+        struct str *buf = html_hosts(safe_url, conn->query);
+        if (buf == NULL) {
+            default_reply(conn, 404, "Not Found",
+                "The page you requested could not be found.");
+            return;
+        }
+        str_extract(buf, &(conn->reply_length), &(conn->reply));
+        conn->mime_type = mime_type_html;
+    }
+    else if (str_starts_with(safe_url, "/graphs.xml")) {
+        struct str *buf = xml_graphs();
+        str_extract(buf, &(conn->reply_length), &(conn->reply));
+        conn->mime_type = mime_type_xml;
+        /* hack around Opera caching the XML */
+        conn->header_extra = "Pragma: no-cache\r\n";
+    }
+    else if (strcmp(safe_url, "/style.css") == 0)
+        static_style_css(conn);
+    else if (strcmp(safe_url, "/graph.js") == 0)
+        static_graph_js(conn);
+    else {
+        default_reply(conn, 404, "Not Found",
+            "The page you requested could not be found.");
+        return;
+    }
+    free(safe_url);
+
+    process_gzip(conn);
+    assert(conn->mime_type != NULL);
+    conn->header_length = xasprintf(&(conn->header),
+        "HTTP/1.1 200 OK\r\n"
+        "Date: %s\r\n"
+        "Server: %s\r\n"
+        "Content-Length: %d\r\n"
+        "Content-Type: %s\r\n"
+        "%s"
+        "%s"
+        "\r\n"
+        ,
+        rfc1123_date(date, now), server,
+        conn->reply_length, conn->mime_type, conn->encoding,
+        conn->header_extra);
+    conn->http_code = 200;
+}
+
+
+
+/* ---------------------------------------------------------------------------
+ * Process a request: build the header and reply, advance state.
+ */
+static void process_request(struct connection *conn)
+{
+    if (!parse_request(conn))
+    {
+        default_reply(conn, 400, "Bad Request",
+            "You sent a request that the server couldn't understand.");
+    }
+    else if (strcmp(conn->method, "GET") == 0)
+    {
+        process_get(conn);
+    }
+    else if (strcmp(conn->method, "HEAD") == 0)
+    {
+        process_get(conn);
+        conn->header_only = 1;
+    }
+    else
+    {
+        default_reply(conn, 501, "Not Implemented",
+            "The method you specified (%s) is not implemented.",
+            conn->method);
+    }
+
+    /* advance state */
+    if (conn->header_only)
+        conn->state = SEND_HEADER;
+    else
+        conn->state = SEND_HEADER_AND_REPLY;
+
+    /* request not needed anymore */
+    free(conn->request);
+    conn->request = NULL; /* important: don't free it again later */
+}
+
+
+
+/* ---------------------------------------------------------------------------
+ * Receiving request.
+ */
+static void poll_recv_request(struct connection *conn)
+{
+    #define BUFSIZE 65536
+    char buf[BUFSIZE];
+    ssize_t recvd;
+
+    recvd = recv(conn->socket, buf, BUFSIZE, 0);
+    dverbosef("poll_recv_request(%d) got %d bytes", conn->socket, (int)recvd);
+    if (recvd <= 0)
+    {
+        if (recvd == -1)
+            verbosef("recv(%d) error: %s", conn->socket, strerror(errno));
+        conn->state = DONE;
+        return;
+    }
+    conn->last_active = now;
+    #undef BUFSIZE
+
+    /* append to conn->request */
+    conn->request = xrealloc(conn->request, conn->request_length+recvd+1);
+    memcpy(conn->request+conn->request_length, buf, (size_t)recvd);
+    conn->request_length += recvd;
+    conn->request[conn->request_length] = 0;
+
+    /* process request if we have all of it */
+    if (conn->request_length > 4 &&
+        memcmp(conn->request+conn->request_length-4, "\r\n\r\n", 4) == 0)
+        process_request(conn);
+
+    /* die if it's too long */
+    if (conn->request_length > MAX_REQUEST_LENGTH)
+    {
+        default_reply(conn, 413, "Request Entity Too Large",
+            "Your request was dropped because it was too long.");
+        conn->state = SEND_HEADER;
+    }
+}
+
+
+
+/* ---------------------------------------------------------------------------
+ * Try to send header and [a part of the] reply in one packet.
+ */
+static void poll_send_header_and_reply(struct connection *conn)
+{
+    ssize_t sent;
+    struct iovec iov[2];
+
+    assert(!conn->header_only);
+    assert(conn->reply_length > 0);
+    assert(conn->header_sent == 0);
+
+    assert(conn->reply_sent == 0);
+
+    /* Fill out iovec */
+    iov[0].iov_base = conn->header;
+    iov[0].iov_len = conn->header_length;
+
+    iov[1].iov_base = conn->reply + conn->reply_sent;
+    iov[1].iov_len = conn->reply_length - conn->reply_sent;
+
+    sent = writev(conn->socket, iov, 2);
+    conn->last_active = now;
+    verbosef("poll_send_header_and_reply(%d) sent %d bytes",
+        conn->socket, (int)sent);
+
+    /* handle any errors (-1) or closure (0) in send() */
+    if (sent < 1) {
+        if (sent == -1)
+            verbosef("writev(%d) error: %s", conn->socket, strerror(errno));
+        conn->state = DONE;
+        return;
+    }
+
+    /* Figure out what we've sent. */
+    conn->total_sent += (unsigned int)sent;
+    if (sent < (ssize_t)conn->header_length) {
+        verbosef("partially sent header");
+        conn->header_sent = sent;
+        conn->state = SEND_HEADER;
+        return;
+    }
+    /* else */
+    conn->header_sent = conn->header_length;
+    sent -= conn->header_length;
+
+    if (conn->reply_sent + sent < conn->reply_length) {
+        verbosef("partially sent reply");
+        conn->reply_sent += sent;
+        conn->state = SEND_REPLY;
+        return;
+    }
+    /* else */
+    conn->reply_sent = conn->reply_length;
+    conn->state = DONE;
+}
+
+/* ---------------------------------------------------------------------------
+ * Sending header.  Assumes conn->header is not NULL.
+ */
+static void poll_send_header(struct connection *conn)
+{
+    ssize_t sent;
+
+    sent = send(conn->socket, conn->header + conn->header_sent,
+        conn->header_length - conn->header_sent, 0);
+    conn->last_active = now;
+    dverbosef("poll_send_header(%d) sent %d bytes", conn->socket, (int)sent);
+
+    /* handle any errors (-1) or closure (0) in send() */
+    if (sent < 1)
+    {
+        if (sent == -1)
+            verbosef("send(%d) error: %s", conn->socket, strerror(errno));
+        conn->state = DONE;
+        return;
+    }
+    conn->header_sent += (unsigned int)sent;
+    conn->total_sent += (unsigned int)sent;
+
+    /* check if we're done sending */
+    if (conn->header_sent == conn->header_length)
+    {
+        if (conn->header_only)
+            conn->state = DONE;
+        else
+            conn->state = SEND_REPLY;
+    }
+}
+
+
+
+/* ---------------------------------------------------------------------------
+ * Sending reply.
+ */
+static void poll_send_reply(struct connection *conn)
+{
+    ssize_t sent;
+
+    sent = send(conn->socket,
+        conn->reply + conn->reply_sent,
+        conn->reply_length - conn->reply_sent, 0);
+    conn->last_active = now;
+    dverbosef("poll_send_reply(%d) sent %d: [%d-%d] of %d",
+        conn->socket, (int)sent,
+        (int)conn->reply_sent,
+        (int)(conn->reply_sent + sent - 1),
+        (int)conn->reply_length);
+
+    /* handle any errors (-1) or closure (0) in send() */
+    if (sent < 1)
+    {
+        if (sent == -1)
+            verbosef("send(%d) error: %s", conn->socket, strerror(errno));
+        else if (sent == 0)
+            verbosef("send(%d) closure", conn->socket);
+        conn->state = DONE;
+        return;
+    }
+    conn->reply_sent += (unsigned int)sent;
+    conn->total_sent += (unsigned int)sent;
+
+    /* check if we're done sending */
+    if (conn->reply_sent == conn->reply_length) conn->state = DONE;
+}
+
+
+
+/* ---------------------------------------------------------------------------
+ * Initialize the sockin global.  This is the socket that we accept
+ * connections from.  Pass -1 as max_conn for system limit.
+ */
+void http_init(const in_addr_t bindaddr, const unsigned short bindport,
+   const int max_conn)
+{
+    struct sockaddr_in addrin;
+    int sockopt;
+
+    /* create incoming socket */
+    sockin = socket(PF_INET, SOCK_STREAM, 0);
+    if (sockin == -1) err(1, "socket()");
+
+    /* reuse address */
+    sockopt = 1;
+    if (setsockopt(sockin, SOL_SOCKET, SO_REUSEADDR,
+            &sockopt, sizeof(sockopt)) == -1)
+        err(1, "setsockopt(SO_REUSEADDR)");
+
+    /* bind socket */
+    addrin.sin_family = (u_char)PF_INET;
+    addrin.sin_port = htons(bindport);
+    addrin.sin_addr.s_addr = bindaddr;
+    memset(&(addrin.sin_zero), 0, 8);
+    if (bind(sockin, (struct sockaddr *)&addrin,
+            sizeof(struct sockaddr)) == -1)
+        err(1, "bind(%s:%u)", inet_ntoa(addrin.sin_addr), bindport);
+
+    verbosef("listening on %s:%u", inet_ntoa(addrin.sin_addr), bindport);
+
+    /* listen on socket */
+    if (listen(sockin, max_conn) == -1)
+        err(1, "listen()");
+
+    /* ignore SIGPIPE */
+    if (signal(SIGPIPE, SIG_IGN) == SIG_ERR)
+        err(1, "can't ignore SIGPIPE");
+}
+
+
+
+/* ---------------------------------------------------------------------------
+ * Set recv/send fd_sets and calculate timeout length.
+ */
+void
+http_fd_set(fd_set *recv_set, fd_set *send_set, int *max_fd,
+    struct timeval *timeout, int *need_timeout)
+{
+    struct connection *conn, *next;
+    int minidle = idletime + 1;
+
+    #define MAX_FD_SET(sock, fdset) do { \
+        FD_SET(sock, fdset); *max_fd = max(*max_fd, sock); } while(0)
+
+    MAX_FD_SET(sockin, recv_set);
+
+    LIST_FOREACH_SAFE(conn, &connlist, entries, next)
+    {
+        int idlefor = now - conn->last_active;
+
+        /* Time out dead connections. */
+        if (idlefor >= idletime)
+        {
+            verbosef("timeout on %d", conn->socket);
+            conn->state = DONE;
+        }
+
+        /* Connections that need a timeout. */
+        if (conn->state != DONE)
+            minidle = min(minidle, (idletime - idlefor));
+
+        switch (conn->state)
+        {
+        case DONE:
+            /* clean out stale connection */
+            LIST_REMOVE(conn, entries);
+            free_connection(conn);
+            free(conn);
+            break;
+
+        case RECV_REQUEST:
+            MAX_FD_SET(conn->socket, recv_set);
+            break;
+
+        case SEND_HEADER_AND_REPLY:
+        case SEND_HEADER:
+        case SEND_REPLY:
+            MAX_FD_SET(conn->socket, send_set);
+            break;
+
+        default: errx(1, "invalid state");
+        }
+    }
+    #undef MAX_FD_SET
+
+    /* Only set timeout if cap hasn't already. */
+    if ((*need_timeout == 0) && (minidle <= idletime)) {
+        *need_timeout = 1;
+        timeout->tv_sec = minidle;
+        timeout->tv_usec = 0;
+    }
+}
+
+
+
+/* ---------------------------------------------------------------------------
+ * poll connections that select() says need attention
+ */
+void http_poll(fd_set *recv_set, fd_set *send_set)
+{
+    struct connection *conn;
+
+    if (FD_ISSET(sockin, recv_set)) accept_connection();
+
+    LIST_FOREACH(conn, &connlist, entries)
+    switch (conn->state)
+    {
+    case RECV_REQUEST:
+        if (FD_ISSET(conn->socket, recv_set)) poll_recv_request(conn);
+        break;
+
+    case SEND_HEADER_AND_REPLY:
+        if (FD_ISSET(conn->socket, send_set)) poll_send_header_and_reply(conn);
+        break;
+
+    case SEND_HEADER:
+        if (FD_ISSET(conn->socket, send_set)) poll_send_header(conn);
+        break;
+
+    case SEND_REPLY:
+        if (FD_ISSET(conn->socket, send_set)) poll_send_reply(conn);
+        break;
+
+    default: errx(1, "invalid state");
+    }
+}
+
+/* vim:set ts=4 sw=4 et tw=78: */
diff --git a/http.h b/http.h
new file mode 100644 (file)
index 0000000..01d9405
--- /dev/null
+++ b/http.h
@@ -0,0 +1,17 @@
+/* darkstat 3
+ * copyright (c) 2001-2006 Emil Mikulic.
+ *
+ * http.h: embedded webserver.
+ */
+
+#include <sys/time.h>
+#include <sys/select.h>
+#include <netinet/in.h>
+
+void http_init(const in_addr_t bindaddr, const unsigned short bindport,
+   const int max_conn);
+void http_fd_set(fd_set *recv_set, fd_set *send_set, int *max_fd,
+   struct timeval *timeout, int *need_timeout);
+void http_poll(fd_set *read_set, fd_set *write_set);
+
+/* vim:set ts=3 sw=3 tw=78 expandtab: */
diff --git a/install-sh b/install-sh
new file mode 100755 (executable)
index 0000000..4d4a951
--- /dev/null
@@ -0,0 +1,323 @@
+#!/bin/sh
+# install - install a program, script, or datafile
+
+scriptversion=2005-05-14.22
+
+# This originates from X11R5 (mit/util/scripts/install.sh), which was
+# later released in X11R6 (xc/config/util/install.sh) with the
+# following copyright and license.
+#
+# Copyright (C) 1994 X Consortium
+#
+# Permission is hereby granted, free of charge, to any person obtaining a copy
+# of this software and associated documentation files (the "Software"), to
+# deal in the Software without restriction, including without limitation the
+# rights to use, copy, modify, merge, publish, distribute, sublicense, and/or
+# sell copies of the Software, and to permit persons to whom the Software is
+# furnished to do so, subject to the following conditions:
+#
+# The above copyright notice and this permission notice shall be included in
+# all copies or substantial portions of the Software.
+#
+# THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+# IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+# FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT.  IN NO EVENT SHALL THE
+# X CONSORTIUM BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN
+# AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNEC-
+# TION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
+#
+# Except as contained in this notice, the name of the X Consortium shall not
+# be used in advertising or otherwise to promote the sale, use or other deal-
+# ings in this Software without prior written authorization from the X Consor-
+# tium.
+#
+#
+# FSF changes to this file are in the public domain.
+#
+# Calling this script install-sh is preferred over install.sh, to prevent
+# `make' implicit rules from creating a file called install from it
+# when there is no Makefile.
+#
+# This script is compatible with the BSD install script, but was written
+# from scratch.  It can only install one file at a time, a restriction
+# shared with many OS's install programs.
+
+# set DOITPROG to echo to test this script
+
+# Don't use :- since 4.3BSD and earlier shells don't like it.
+doit="${DOITPROG-}"
+
+# put in absolute paths if you don't have them in your path; or use env. vars.
+
+mvprog="${MVPROG-mv}"
+cpprog="${CPPROG-cp}"
+chmodprog="${CHMODPROG-chmod}"
+chownprog="${CHOWNPROG-chown}"
+chgrpprog="${CHGRPPROG-chgrp}"
+stripprog="${STRIPPROG-strip}"
+rmprog="${RMPROG-rm}"
+mkdirprog="${MKDIRPROG-mkdir}"
+
+chmodcmd="$chmodprog 0755"
+chowncmd=
+chgrpcmd=
+stripcmd=
+rmcmd="$rmprog -f"
+mvcmd="$mvprog"
+src=
+dst=
+dir_arg=
+dstarg=
+no_target_directory=
+
+usage="Usage: $0 [OPTION]... [-T] SRCFILE DSTFILE
+   or: $0 [OPTION]... SRCFILES... DIRECTORY
+   or: $0 [OPTION]... -t DIRECTORY SRCFILES...
+   or: $0 [OPTION]... -d DIRECTORIES...
+
+In the 1st form, copy SRCFILE to DSTFILE.
+In the 2nd and 3rd, copy all SRCFILES to DIRECTORY.
+In the 4th, create DIRECTORIES.
+
+Options:
+-c         (ignored)
+-d         create directories instead of installing files.
+-g GROUP   $chgrpprog installed files to GROUP.
+-m MODE    $chmodprog installed files to MODE.
+-o USER    $chownprog installed files to USER.
+-s         $stripprog installed files.
+-t DIRECTORY  install into DIRECTORY.
+-T         report an error if DSTFILE is a directory.
+--help     display this help and exit.
+--version  display version info and exit.
+
+Environment variables override the default commands:
+  CHGRPPROG CHMODPROG CHOWNPROG CPPROG MKDIRPROG MVPROG RMPROG STRIPPROG
+"
+
+while test -n "$1"; do
+  case $1 in
+    -c) shift
+        continue;;
+
+    -d) dir_arg=true
+        shift
+        continue;;
+
+    -g) chgrpcmd="$chgrpprog $2"
+        shift
+        shift
+        continue;;
+
+    --help) echo "$usage"; exit $?;;
+
+    -m) chmodcmd="$chmodprog $2"
+        shift
+        shift
+        continue;;
+
+    -o) chowncmd="$chownprog $2"
+        shift
+        shift
+        continue;;
+
+    -s) stripcmd=$stripprog
+        shift
+        continue;;
+
+    -t) dstarg=$2
+       shift
+       shift
+       continue;;
+
+    -T) no_target_directory=true
+       shift
+       continue;;
+
+    --version) echo "$0 $scriptversion"; exit $?;;
+
+    *)  # When -d is used, all remaining arguments are directories to create.
+       # When -t is used, the destination is already specified.
+       test -n "$dir_arg$dstarg" && break
+        # Otherwise, the last argument is the destination.  Remove it from $@.
+       for arg
+       do
+          if test -n "$dstarg"; then
+           # $@ is not empty: it contains at least $arg.
+           set fnord "$@" "$dstarg"
+           shift # fnord
+         fi
+         shift # arg
+         dstarg=$arg
+       done
+       break;;
+  esac
+done
+
+if test -z "$1"; then
+  if test -z "$dir_arg"; then
+    echo "$0: no input file specified." >&2
+    exit 1
+  fi
+  # It's OK to call `install-sh -d' without argument.
+  # This can happen when creating conditional directories.
+  exit 0
+fi
+
+for src
+do
+  # Protect names starting with `-'.
+  case $src in
+    -*) src=./$src ;;
+  esac
+
+  if test -n "$dir_arg"; then
+    dst=$src
+    src=
+
+    if test -d "$dst"; then
+      mkdircmd=:
+      chmodcmd=
+    else
+      mkdircmd=$mkdirprog
+    fi
+  else
+    # Waiting for this to be detected by the "$cpprog $src $dsttmp" command
+    # might cause directories to be created, which would be especially bad
+    # if $src (and thus $dsttmp) contains '*'.
+    if test ! -f "$src" && test ! -d "$src"; then
+      echo "$0: $src does not exist." >&2
+      exit 1
+    fi
+
+    if test -z "$dstarg"; then
+      echo "$0: no destination specified." >&2
+      exit 1
+    fi
+
+    dst=$dstarg
+    # Protect names starting with `-'.
+    case $dst in
+      -*) dst=./$dst ;;
+    esac
+
+    # If destination is a directory, append the input filename; won't work
+    # if double slashes aren't ignored.
+    if test -d "$dst"; then
+      if test -n "$no_target_directory"; then
+       echo "$0: $dstarg: Is a directory" >&2
+       exit 1
+      fi
+      dst=$dst/`basename "$src"`
+    fi
+  fi
+
+  # This sed command emulates the dirname command.
+  dstdir=`echo "$dst" | sed -e 's,/*$,,;s,[^/]*$,,;s,/*$,,;s,^$,.,'`
+
+  # Make sure that the destination directory exists.
+
+  # Skip lots of stat calls in the usual case.
+  if test ! -d "$dstdir"; then
+    defaultIFS='
+        '
+    IFS="${IFS-$defaultIFS}"
+
+    oIFS=$IFS
+    # Some sh's can't handle IFS=/ for some reason.
+    IFS='%'
+    set x `echo "$dstdir" | sed -e 's@/@%@g' -e 's@^%@/@'`
+    shift
+    IFS=$oIFS
+
+    pathcomp=
+
+    while test $# -ne 0 ; do
+      pathcomp=$pathcomp$1
+      shift
+      if test ! -d "$pathcomp"; then
+        $mkdirprog "$pathcomp"
+       # mkdir can fail with a `File exist' error in case several
+       # install-sh are creating the directory concurrently.  This
+       # is OK.
+       test -d "$pathcomp" || exit
+      fi
+      pathcomp=$pathcomp/
+    done
+  fi
+
+  if test -n "$dir_arg"; then
+    $doit $mkdircmd "$dst" \
+      && { test -z "$chowncmd" || $doit $chowncmd "$dst"; } \
+      && { test -z "$chgrpcmd" || $doit $chgrpcmd "$dst"; } \
+      && { test -z "$stripcmd" || $doit $stripcmd "$dst"; } \
+      && { test -z "$chmodcmd" || $doit $chmodcmd "$dst"; }
+
+  else
+    dstfile=`basename "$dst"`
+
+    # Make a couple of temp file names in the proper directory.
+    dsttmp=$dstdir/_inst.$$_
+    rmtmp=$dstdir/_rm.$$_
+
+    # Trap to clean up those temp files at exit.
+    trap 'ret=$?; rm -f "$dsttmp" "$rmtmp" && exit $ret' 0
+    trap '(exit $?); exit' 1 2 13 15
+
+    # Copy the file name to the temp name.
+    $doit $cpprog "$src" "$dsttmp" &&
+
+    # and set any options; do chmod last to preserve setuid bits.
+    #
+    # If any of these fail, we abort the whole thing.  If we want to
+    # ignore errors from any of these, just make sure not to ignore
+    # errors from the above "$doit $cpprog $src $dsttmp" command.
+    #
+    { test -z "$chowncmd" || $doit $chowncmd "$dsttmp"; } \
+      && { test -z "$chgrpcmd" || $doit $chgrpcmd "$dsttmp"; } \
+      && { test -z "$stripcmd" || $doit $stripcmd "$dsttmp"; } \
+      && { test -z "$chmodcmd" || $doit $chmodcmd "$dsttmp"; } &&
+
+    # Now rename the file to the real destination.
+    { $doit $mvcmd -f "$dsttmp" "$dstdir/$dstfile" 2>/dev/null \
+      || {
+          # The rename failed, perhaps because mv can't rename something else
+          # to itself, or perhaps because mv is so ancient that it does not
+          # support -f.
+
+          # Now remove or move aside any old file at destination location.
+          # We try this two ways since rm can't unlink itself on some
+          # systems and the destination file might be busy for other
+          # reasons.  In this case, the final cleanup might fail but the new
+          # file should still install successfully.
+          {
+            if test -f "$dstdir/$dstfile"; then
+              $doit $rmcmd -f "$dstdir/$dstfile" 2>/dev/null \
+              || $doit $mvcmd -f "$dstdir/$dstfile" "$rmtmp" 2>/dev/null \
+              || {
+                echo "$0: cannot unlink or rename $dstdir/$dstfile" >&2
+                (exit 1); exit 1
+              }
+            else
+              :
+            fi
+          } &&
+
+          # Now rename the file to the real destination.
+          $doit $mvcmd "$dsttmp" "$dstdir/$dstfile"
+        }
+    }
+  fi || { (exit 1); exit 1; }
+done
+
+# The final little trick to "correctly" pass the exit status to the exit trap.
+{
+  (exit 0); exit 0
+}
+
+# Local variables:
+# eval: (add-hook 'write-file-hooks 'time-stamp)
+# time-stamp-start: "scriptversion="
+# time-stamp-format: "%:y-%02m-%02d.%02H"
+# time-stamp-end: "$"
+# End:
diff --git a/localip.c b/localip.c
new file mode 100644 (file)
index 0000000..3e6fd38
--- /dev/null
+++ b/localip.c
@@ -0,0 +1,84 @@
+/* darkstat 3
+ * copyright (c) 2001-2008 Emil Mikulic.
+ *
+ * localip.c: determine local IP of our capture interface
+ *
+ * You may use, modify and redistribute this file under the terms of the
+ * GNU General Public License version 2. (see COPYING.GPL)
+ */
+
+#include "darkstat.h"
+#include "conv.h" /* for strlcpy */
+#include "decode.h" /* for ip_to_str */
+#include "err.h"
+#include "localip.h"
+
+#ifdef HAVE_SYS_SOCKIO_H
+# include <sys/sockio.h> /* for SIOCGIFADDR, especially on Solaris */
+#endif
+#include <sys/socket.h>
+#include <sys/ioctl.h>
+#include <net/if.h>
+#include <errno.h>
+#include <string.h>
+#include <unistd.h>
+
+static const char *iface = NULL;
+in_addr_t localip = 0;
+static in_addr_t last_localip = 0;
+
+void
+localip_init(const char *interface)
+{
+   iface = interface;
+   localip_update();
+}
+
+void
+localip_update(void)
+{
+   int tmp = socket(AF_INET, SOCK_DGRAM, IPPROTO_IP);
+   struct ifreq ifr;
+   struct sockaddr sa;
+
+   if (iface == NULL) {
+      /* reading from capfile */
+      localip = 0;
+      return;
+   }
+
+   strlcpy(ifr.ifr_name, iface, IFNAMSIZ);
+   ifr.ifr_addr.sa_family = AF_INET;
+   if (ioctl(tmp, SIOCGIFADDR, &ifr) == -1) {
+      if (errno == EADDRNOTAVAIL) {
+         /* lost IP, e.g. ifconfig eth0 delete, don't die */
+         localip = 0;
+         close(tmp);
+         return;
+      } else
+         err(1, "can't get own IP address on interface \"%s\"", iface);
+   }
+   close(tmp);
+   sa = ifr.ifr_addr;
+
+   /* struct sockaddr {
+    *      sa_family_t     sa_family;      * address family, AF_xxx
+    *      char            sa_data[14];    * 14 bytes of protocol address
+    *
+    * struct sockaddr_in {
+    *      sa_family_t           sin_family;     * Address family
+    *      unsigned short int    sin_port;       * Port number
+    *      struct in_addr        sin_addr;       * Internet address
+    *
+    * struct in_addr {
+    *      __u32   s_addr;
+    */
+
+   localip = ((struct sockaddr_in*)&sa)->sin_addr.s_addr;
+   if (last_localip != localip) {
+      verbosef("local_ip update(%s) = %s", iface, ip_to_str(localip));
+      last_localip = localip;
+   }
+}
+
+/* vim:set ts=3 sw=3 tw=78 expandtab: */
diff --git a/localip.h b/localip.h
new file mode 100644 (file)
index 0000000..95a90bd
--- /dev/null
+++ b/localip.h
@@ -0,0 +1,17 @@
+/* darkstat 3
+ * copyright (c) 2001-2006 Emil Mikulic.
+ *
+ * localip.h: determine local IP of our capture interface
+ *
+ * You may use, modify and redistribute this file under the terms of the
+ * GNU General Public License version 2. (see COPYING.GPL)
+ */
+
+#include <netinet/in.h> /* for in_addr_t */
+
+extern in_addr_t localip;
+
+void localip_init(const char *interface);
+void localip_update(void);
+
+/* vim:set ts=3 sw=3 tw=78 expandtab: */
diff --git a/ncache.c b/ncache.c
new file mode 100644 (file)
index 0000000..e243c70
--- /dev/null
+++ b/ncache.c
@@ -0,0 +1,144 @@
+/* darkstat 3
+ * copyright (c) 2001-2006 Emil Mikulic.
+ *
+ * ncache.c: cache of protocol and service names.
+ *
+ * You may use, modify and redistribute this file under the terms of the
+ * GNU General Public License version 2. (see COPYING.GPL)
+ */
+
+#include "darkstat.h"
+#include "conv.h"
+#include "err.h"
+#include "ncache.h"
+#include "tree.h"
+
+#include <netinet/in.h> /* ntohs */
+#include <netdb.h>
+#include <stdlib.h>
+#include <string.h>
+
+struct name_rec {
+   RB_ENTRY(name_rec) ptree;
+   int num;
+   char *name;
+};
+
+static int
+rec_cmp(struct name_rec *a, struct name_rec *b)
+{
+   if (a->num < b->num) return (-1); else
+   if (a->num > b->num) return (+1); else
+   return (0);
+}
+
+RB_HEAD(nc_tree, name_rec);
+RB_GENERATE(nc_tree, name_rec, ptree, rec_cmp)
+
+static struct nc_tree
+   t_proto   = RB_INITIALIZER(&name_rec),
+   t_servtcp = RB_INITIALIZER(&name_rec),
+   t_servudp = RB_INITIALIZER(&name_rec);
+
+static void
+add_rec(struct nc_tree *tree, const int num, const char *name)
+{
+   struct name_rec *e, *r = xmalloc(sizeof(*r));
+
+   r->num = num;
+   e = RB_INSERT(nc_tree, tree, r);
+
+   if (e != NULL) {
+      size_t newlen;
+
+      /* record exists: append service name, free record */
+      newlen = strlen(e->name) + strlen(name) + 2;
+      e->name = xrealloc(e->name, newlen);
+      strlcat(e->name, " ", newlen);
+      strlcat(e->name, name, newlen);
+      free(r);
+   }
+   else {
+      /* record added: fill out name field */
+      r->name = xstrdup(name);
+   }
+}
+
+void
+ncache_init(void)
+{
+   struct protoent *pe;
+   struct servent *se;
+   int count, ctcp, cudp;
+
+   count = 0;
+   setprotoent(0);
+   while ((pe = getprotoent()) != NULL) {
+      add_rec(&t_proto, pe->p_proto, pe->p_name);
+      count++;
+   }
+   endprotoent();
+   verbosef("loaded %d protos", count);
+
+   count = ctcp = cudp = 0;
+   setservent(0);
+   while ((se = getservent()) != NULL) {
+      if (strcmp(se->s_proto, "tcp") == 0) {
+         add_rec(&t_servtcp, ntohs(se->s_port), se->s_name);
+         ctcp++;
+      }
+      else if (strcmp(se->s_proto, "udp") == 0) {
+         add_rec(&t_servudp, ntohs(se->s_port), se->s_name);
+         cudp++;
+      }
+      count++;
+   }
+   endservent();
+   verbosef("loaded %d tcp and %d udp servs, from total %d",
+      ctcp, cudp, count);
+}
+
+static void
+tree_free(struct nc_tree *tree)
+{
+   struct name_rec *curr, *next;
+
+   for (curr = RB_MIN(nc_tree, tree); curr != NULL; curr = next) {
+      next = RB_NEXT(nc_tree, tree, curr);
+      RB_REMOVE(nc_tree, tree, curr);
+      free(curr->name);
+      free(curr);
+   }
+}
+
+void
+ncache_free(void)
+{
+   tree_free(&t_proto);
+   tree_free(&t_servtcp);
+   tree_free(&t_servudp);
+}
+
+#define FIND(tree,n) { \
+   struct name_rec r, *f; \
+   r.num = n; \
+   f = RB_FIND(nc_tree, &tree, &r); \
+   if (f == NULL) \
+      return (""); \
+   else \
+      return (f->name); \
+}
+
+const char *
+getproto(const int proto)
+FIND(t_proto, proto)
+
+const char *
+getservtcp(const int port)
+FIND(t_servtcp, port)
+
+const char *
+getservudp(const int port)
+FIND(t_servudp, port)
+
+/* vim:set ts=3 sw=3 tw=78 expandtab: */
diff --git a/ncache.h b/ncache.h
new file mode 100644 (file)
index 0000000..bf99615
--- /dev/null
+++ b/ncache.h
@@ -0,0 +1,16 @@
+/* darkstat 3
+ * copyright (c) 2001-2006 Emil Mikulic.
+ *
+ * ncache.h: cache of protocol and service names.
+ *
+ * You may use, modify and redistribute this file under the terms of the
+ * GNU General Public License version 2. (see COPYING.GPL)
+ */
+
+void ncache_init(void);
+void ncache_free(void);
+const char *getproto(const int proto);
+const char *getservtcp(const int port);
+const char *getservudp(const int port);
+
+/* vim:set ts=3 sw=3 tw=78 expandtab: */
diff --git a/now.h b/now.h
new file mode 100644 (file)
index 0000000..2dd8e4a
--- /dev/null
+++ b/now.h
@@ -0,0 +1,9 @@
+/* darkstat 3
+ * copyright (c) 2001-2006 Emil Mikulic.
+ *
+ * now.h: a cache of the current time
+ * This lets us avoid superfluous gettimeofday() syscalls.
+ */
+#include <time.h>
+
+extern time_t now; /* updated in the event loop in darkstat.c */
diff --git a/pidfile.c b/pidfile.c
new file mode 100644 (file)
index 0000000..2134a92
--- /dev/null
+++ b/pidfile.c
@@ -0,0 +1,92 @@
+/* darkstat 3
+ * copyright (c) 2007 Emil Mikulic.
+ *
+ * pidfile.h: pidfile manglement
+ *
+ * Permission to use, copy, modify, and distribute this file for any
+ * purpose with or without fee is hereby granted, provided that the above
+ * copyright notice and this permission notice appear in all copies.
+ *
+ * THE SOFTWARE IS PROVIDED "AS IS" AND THE AUTHOR DISCLAIMS ALL WARRANTIES
+ * WITH REGARD TO THIS SOFTWARE INCLUDING ALL IMPLIED WARRANTIES OF
+ * MERCHANTABILITY AND FITNESS. IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR
+ * ANY SPECIAL, DIRECT, INDIRECT, OR CONSEQUENTIAL DAMAGES OR ANY DAMAGES
+ * WHATSOEVER RESULTING FROM LOSS OF USE, DATA OR PROFITS, WHETHER IN AN
+ * ACTION OF CONTRACT, NEGLIGENCE OR OTHER TORTIOUS ACTION, ARISING OUT OF
+ * OR IN CONNECTION WITH THE USE OR PERFORMANCE OF THIS SOFTWARE.
+ */
+
+#include "darkstat.h"
+#include "err.h"
+#include "str.h"
+#include "pidfile.h"
+
+#include <errno.h>
+#include <fcntl.h>
+#include <pwd.h>
+#include <stdlib.h>
+#include <unistd.h>
+
+static int pidfd = -1;
+static const char *pidname = NULL;
+
+void
+pidfile_create(const char *chroot_dir, const char *filename,
+   const char *privdrop_user)
+{
+   struct passwd *pw;
+
+   if (pidfd != -1)
+      errx(1, "pidfile already created");
+
+   errno = 0;
+   pw = getpwnam(privdrop_user);
+
+   if (pw == NULL) {
+      if (errno == 0)
+         errx(1, "getpwnam(\"%s\") failed: no such user", privdrop_user);
+      else
+         err(1, "getpwnam(\"%s\") failed", privdrop_user);
+   }
+
+   if (chdir(chroot_dir) == -1)
+      err(1, "chdir(\"%s\") failed", chroot_dir);
+   pidname = filename;
+   pidfd = open(filename, O_WRONLY | O_CREAT | O_TRUNC | O_EXCL, 0600);
+   if (pidfd == -1)
+      err(1, "couldn't not create pidfile");
+   if (chown(filename, pw->pw_uid, pw->pw_gid) == -1)
+      err(1, "couldn't chown pidfile");
+}
+
+void
+pidfile_write_close(void)
+{
+   struct str *s;
+   size_t len;
+   char *buf;
+
+   if (pidfd == -1)
+      errx(1, "cannot write pidfile: not created");
+
+   s = str_make();
+   str_appendf(s, "%u\n", (unsigned int)getpid());
+   str_extract(s, &len, &buf);
+
+   if (write(pidfd, buf, len) != (int)len)
+      err(1, "couldn't write to pidfile");
+   free(buf);
+   if (close(pidfd) == -1)
+      warn("problem closing pidfile");
+}
+
+void
+pidfile_unlink(void)
+{
+   if (pidname == NULL)
+      return; /* pidfile wasn't created */
+   if (unlink(pidname) == -1)
+      warn("problem unlinking pidfile");
+}
+
+/* vim:set ts=3 sw=3 tw=78 et: */
diff --git a/pidfile.h b/pidfile.h
new file mode 100644 (file)
index 0000000..7ec1ca8
--- /dev/null
+++ b/pidfile.h
@@ -0,0 +1,12 @@
+/* darkstat 3
+ * copyright (c) 2007 Emil Mikulic.
+ *
+ * pidfile.h: pidfile manglement
+ */
+
+void pidfile_create(const char *chroot_dir, const char *filename,
+   const char *privdrop_user);
+void pidfile_write_close(void);
+void pidfile_unlink(void);
+
+/* vim:set ts=3 sw=3 tw=78 et: */
diff --git a/queue.h b/queue.h
new file mode 100644 (file)
index 0000000..95a1276
--- /dev/null
+++ b/queue.h
@@ -0,0 +1,128 @@
+/* This is a stripped down version of FreeBSD's
+ * src/sys/sys/queue.h,v 1.60.2.1
+ *
+ * The original file's license:
+ * 
+ * Copyright (c) 1991, 1993
+ *     The Regents of the University of California.  All rights reserved.
+ *
+ * Redistribution and use in source and binary forms, with or without
+ * modification, are permitted provided that the following conditions
+ * are met:
+ * 1. Redistributions of source code must retain the above copyright
+ *    notice, this list of conditions and the following disclaimer.
+ * 2. Redistributions in binary form must reproduce the above copyright
+ *    notice, this list of conditions and the following disclaimer in the
+ *    documentation and/or other materials provided with the distribution.
+ * 4. Neither the name of the University nor the names of its contributors
+ *    may be used to endorse or promote products derived from this software
+ *    without specific prior written permission.
+ *
+ * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
+ * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
+ * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
+ * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
+ * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
+ * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
+ * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
+ * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
+ * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
+ * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
+ * SUCH DAMAGE.
+ */
+
+#define        STAILQ_HEAD(name, type)                                         \
+struct name {                                                          \
+       struct type *stqh_first;/* first element */                     \
+       struct type **stqh_last;/* addr of last next element */         \
+}
+
+#define        STAILQ_HEAD_INITIALIZER(head)                                   \
+       { NULL, &(head).stqh_first }
+
+#define        STAILQ_ENTRY(type)                                              \
+struct {                                                               \
+       struct type *stqe_next; /* next element */                      \
+}
+
+#define        STAILQ_EMPTY(head)      ((head)->stqh_first == NULL)
+
+#define        STAILQ_FIRST(head)      ((head)->stqh_first)
+
+#define        STAILQ_NEXT(elm, field) ((elm)->field.stqe_next)
+
+#ifdef STAILQ_INSERT_TAIL
+#undef STAILQ_INSERT_TAIL
+#endif
+
+#define        STAILQ_INSERT_TAIL(head, elm, field) do {                       \
+       STAILQ_NEXT((elm), field) = NULL;                               \
+       *(head)->stqh_last = (elm);                                     \
+       (head)->stqh_last = &STAILQ_NEXT((elm), field);                 \
+} while (0)
+
+#ifdef STAILQ_REMOVE_HEAD
+#undef STAILQ_REMOVE_HEAD
+#endif
+
+#define        STAILQ_REMOVE_HEAD(head, field) do {                            \
+       if ((STAILQ_FIRST((head)) =                                     \
+            STAILQ_NEXT(STAILQ_FIRST((head)), field)) == NULL)         \
+               (head)->stqh_last = &STAILQ_FIRST((head));              \
+} while (0)
+
+#undef LIST_HEAD
+#define LIST_HEAD(name, type)                                           \
+struct name {                                                           \
+        struct type *lh_first;  /* first element */                     \
+}
+
+#undef LIST_HEAD_INITIALIZER
+#define LIST_HEAD_INITIALIZER(head)                                     \
+        { NULL }
+
+#undef LIST_ENTRY
+#define LIST_ENTRY(type)                                                \
+struct {                                                                \
+        struct type *le_next;   /* next element */                      \
+        struct type **le_prev;  /* address of previous next element */  \
+}
+
+#undef LIST_FIRST
+#define LIST_FIRST(head)        ((head)->lh_first)
+
+#undef LIST_FOREACH
+#define LIST_FOREACH(var, head, field)                                  \
+        for ((var) = LIST_FIRST((head));                                \
+            (var);                                                      \
+            (var) = LIST_NEXT((var), field))
+
+#undef LIST_FOREACH_SAFE
+#define LIST_FOREACH_SAFE(var, head, field, tvar)                       \
+    for ((var) = LIST_FIRST((head));                                    \
+        (var) && ((tvar) = LIST_NEXT((var), field), 1);                 \
+        (var) = (tvar))
+
+#undef LIST_INIT
+#define LIST_INIT(head) do {                                            \
+        LIST_FIRST((head)) = NULL;                                      \
+} while (0)
+
+#undef LIST_INSERT_HEAD
+#define LIST_INSERT_HEAD(head, elm, field) do {                         \
+        if ((LIST_NEXT((elm), field) = LIST_FIRST((head))) != NULL)     \
+                LIST_FIRST((head))->field.le_prev = &LIST_NEXT((elm), field);\
+        LIST_FIRST((head)) = (elm);                                     \
+        (elm)->field.le_prev = &LIST_FIRST((head));                     \
+} while (0)
+
+#undef LIST_NEXT
+#define LIST_NEXT(elm, field)   ((elm)->field.le_next)
+
+#undef LIST_REMOVE
+#define LIST_REMOVE(elm, field) do {                                    \
+        if (LIST_NEXT((elm), field) != NULL)                            \
+                LIST_NEXT((elm), field)->field.le_prev =                \
+                    (elm)->field.le_prev;                               \
+        *(elm)->field.le_prev = LIST_NEXT((elm), field);                \
+} while (0)
diff --git a/release.sh b/release.sh
new file mode 100755 (executable)
index 0000000..123e976
--- /dev/null
@@ -0,0 +1,102 @@
+#!/bin/sh
+#
+# release.sh: script to roll a release tarball of darkstat.
+# copyright (c) 2006-2008 Emil Mikulic.
+#
+# This is for developer use only and lives in the repo but
+# shouldn't end up in a tarball.
+#
+# Remember to run "make depend" to update deps in Makefile.in
+#
+
+if [ $# -ne 1 ]; then
+  echo "usage: $0 version" >&2
+  exit 1
+fi
+
+NAME=darkstat
+VERSION="$1"
+
+files="\
+AUTHORS \
+COPYING.GPL \
+INSTALL \
+LICENSE \
+Makefile.in \
+NEWS \
+README \
+THANKS \
+acct.c \
+acct.h \
+cap.c \
+cap.h \
+contrib \
+conv.c \
+conv.h \
+darkstat.8 \
+darkstat.c \
+darkstat.h \
+daylog.c \
+daylog.h \
+db.c \
+db.h \
+decode.c \
+decode.h \
+dns.c \
+dns.h \
+err.c \
+err.h \
+export-format.txt \
+graph_db.c \
+graph_db.h \
+hosts_db.c \
+hosts_db.h \
+hosts_sort.c \
+html.h \
+http.c \
+http.h \
+install-sh \
+localip.c \
+localip.h \
+ncache.c \
+ncache.h \
+now.h \
+pidfile.c \
+pidfile.h \
+queue.h \
+static \
+str.c \
+str.h \
+tree.h \
+"
+# end packing list
+
+PKG=$NAME-$VERSION
+echo ==\> releasing $PKG
+
+run() {
+  echo ==\> $@
+  eval $@ || { echo ERROR!; exit 1; }
+}
+
+run mkdir $PKG
+run cp -r $files $PKG/.
+
+# set the version number
+(echo "AC_INIT(darkstat, $VERSION)"
+ grep -v "^AC_INIT" configure.ac) > $PKG/configure.ac
+
+echo ==\> set version: `grep '^AC_INIT' $PKG/configure.ac`
+(
+ cd $PKG
+ run autoconf
+ run autoheader
+ run rm -r autom4te.cache
+)
+
+# package it up
+run tar -cf $PKG.tar $PKG
+run bzip2 -9vv $PKG.tar
+echo ==\> output:
+ls -l $PKG.tar.bz2
+echo ==\> FINISHED!
diff --git a/static/c-ify.c b/static/c-ify.c
new file mode 100644 (file)
index 0000000..908a274
--- /dev/null
@@ -0,0 +1,32 @@
+/* DON'T LOOK AT MY FACE!  MY HIDEOUS FACE! */
+#include <stdio.h>
+#include <stdlib.h>
+int
+main(int argc, char **argv)
+{
+       int c, eol;
+       if (argc != 2) {
+               fprintf(stderr, "usage: %s name <infile >outfile.h\n",
+                       argv[0]);
+               exit(EXIT_FAILURE);
+       }
+       printf("/* this file was automatically generated */\n"
+              "static char %s[] =", argv[1]);
+       eol = 1;
+       while ((c = getchar()) != EOF) {
+               if (eol) {
+                       printf("\n\"");
+                       eol = 0;
+               }
+               switch (c) {
+               case '\n': printf("\\n\""); eol = 1; break;
+               case '"': printf("\\\""); break;
+               case '\\': printf("\\\\"); break;
+               default: putchar(c);
+               }
+       }
+       printf(";\n"
+              "static const size_t %s_len = sizeof(%s) - 1;\n",
+              argv[1], argv[1]);
+       return (0);
+}
diff --git a/static/graph.js b/static/graph.js
new file mode 100644 (file)
index 0000000..6a90bdc
--- /dev/null
@@ -0,0 +1,280 @@
+/* darkstat 3
+ * copyright (c) 2006-2008 Emil Mikulic.
+ *
+ * graph.js: graph renderer
+ *
+ * You may use, modify and redistribute this file under the terms of the
+ * GNU General Public License version 2. (see COPYING.GPL)
+ *
+ * At some point, this script worked correctly in:
+ *  - Firefox 1.5.0.4, 2.0.0.1, 3.0
+ *  - IE 6.0
+ *  - Opera 8.53, 9.50
+ *  - Konqueror 3.5.9, 4.0.80, 4.0.83
+ *
+ * Consumer needs to supply the following variables:
+ *  - graph_width
+ *  - graph_height
+ *  - bar_gap
+ *
+ *  - graphs [ {id, name, title, bar_secs} ]
+ *  - graphs_uri
+ *
+ *  - window.onload = graphs_init
+ */
+
+function killChildren(elem) {
+ while (elem.childNodes.length > 0)
+  elem.removeChild( elem.childNodes.item(0) );
+}
+
+function setClass(elem, c) {
+ elem.setAttribute("class", c);
+ elem.setAttribute("className", c); /* for MSIE */
+}
+
+function setStyle(elem, s) {
+ elem.setAttribute("style", s);
+ elem.style.cssText = s; /* for MSIE */
+}
+
+function makeElemClass(e, c) {
+ var r = document.createElement(e);
+ setClass(r, c);
+ return r;
+}
+
+function makeClear() {
+ var r = document.createElement("div");
+ setStyle(r, "clear:both");
+ return r;
+}
+
+function thousands(n) {
+ var s = String(n);
+ var out = "";
+ while (s.length > 3) {
+  out = "," + s.substr(s.length - 3, 3) + out;
+  s = s.substr(0, s.length - 3);
+ }
+ return s+out;
+}
+
+function fkbps(bps) {
+ bps /= 1024;
+ return bps.toFixed(1);
+}
+
+function kbps(bps) {
+ bps /= 1024;
+ if (bps < 1) return bps.toPrecision(2);
+ else return bps.toFixed(1);
+}
+
+function min(a,b) { return (a<b)?a:b; }
+function max(a,b) { return (a>b)?a:b; }
+
+var xh, autoreload=false;
+
+function graphs_init() {
+ var gr = document.getElementById("graphs");
+
+ /* update message */
+ var msg = document.createElement("div");
+ msg.appendChild(document.createTextNode("Graphs are being loaded..."));
+ msg.appendChild(document.createElement("br"));
+ msg.appendChild(document.createElement("br"));
+ killChildren(gr);
+ gr.appendChild(msg);
+ graphs.msg = msg;
+
+ for (var i=0; i<graphs.length; i++) {
+  var g =  makeElemClass("div", "outergraph");
+  gr.appendChild(g);
+  graphs[i].graph = g;
+  if (i % 2 == 1) gr.appendChild(makeClear());
+ }
+
+ /* create buttons */
+ var b_reload = document.createElement("a");
+ b_reload.setAttribute("id", "graph_reload");
+ b_reload.setAttribute("href", "javascript:graph_reload()");
+ b_reload.appendChild(document.createTextNode("reload graphs"));
+
+ var b_autoreload = document.createElement("a");
+ b_autoreload.setAttribute("id", "graph_autoreload");
+ b_autoreload.setAttribute("href", "javascript:graph_autoreload()");
+ b_autoreload.appendChild(document.createTextNode("off"));
+
+ var b = document.createElement("div");
+ b.appendChild(b_reload);
+ b.appendChild(document.createTextNode(" - automatic reload is: "));
+ b.appendChild(b_autoreload);
+ gr.appendChild(b);
+
+ graph_reload();
+}
+
+function graph_reload() {
+ if (!autoreload)
+  document.getElementById("graph_reload").innerHTML = "loading...";
+ xh = (window.ActiveXObject)
+  ? new ActiveXObject("Microsoft.XMLHTTP")
+  : new XMLHttpRequest();
+ var asyncFlag = true;
+ xh.open("GET", graphs_uri, asyncFlag);
+ // try to nerf caching:
+ xh.setRequestHeader("If-Modified-Since", "Sat, 1 Jan 2000 00:00:00 GMT");
+ xh.onreadystatechange = poll;
+ xh.send(null);
+}
+
+function graph_autoreload() {
+ // toggle
+ autoreload = !autoreload;
+ document.getElementById("graph_autoreload").innerHTML =
+  autoreload ? "on" : "off";
+ if (autoreload) reload_loop();
+}
+
+function reload_loop() {
+ if (autoreload) {
+  graph_reload();
+  setTimeout("reload_loop()", 1000);
+ }
+}
+
+function poll() {
+ var STATE_COMPLETE = 4;
+ if (xh && xh.readyState == STATE_COMPLETE) {
+  for (var i=0; i<graphs.length; i++)
+  {
+   g = xh.responseXML.getElementsByTagName(graphs[i].name);
+   buildGraph(graphs[i].graph, graphs[i].title, graphs[i].bar_secs,
+    g[0].getElementsByTagName("e"));
+  }
+  document.getElementById("graph_reload").innerHTML = "reload graphs";
+  killChildren(graphs.msg);
+  head = xh.responseXML.childNodes[0];
+  for (var n in {"tb":0, "tp":0, "pc":0, "pd":0})
+   document.getElementById(n).innerHTML = thousands(head.getAttribute(n));
+  document.getElementById("rf").innerHTML = head.getAttribute("rf");
+ }
+}
+
+function addBar(graph, title, barclass, width, height, left, bottom) {
+ if (height == 0) return; /* not visible */
+ var bar = makeElemClass("div", barclass);
+ bar.setAttribute("title", title);
+ setStyle(bar,
+  "width:"+width+"px; "+
+  "height:"+height+"px; "+
+  "position: absolute; "+
+  "left:"+left+"px; "+
+  "bottom:"+bottom+"px;");
+ graph.appendChild(bar);
+}
+
+function buildGraph(graph, title, bar_secs, elems) {
+ var total_max = 0;
+ var data = []; /* list of [in, out] */
+ for (var i=0; i<elems.length; i++) {
+   var elem = elems.item(i);
+   var b_pos = Number( elem.getAttribute("p") );
+   var b_in = Number( elem.getAttribute("i") );
+   var b_out = Number( elem.getAttribute("o") );
+   var b_total = b_in + b_out;
+/* FIXME: what happens when a bar's value is >4G? */
+   if (b_total > total_max)
+    total_max = b_total;
+   data.push( [b_pos, b_in, b_out] );
+ }
+
+ var igraph = makeElemClass("div", "graph"); // inner graph
+ setStyle(igraph,
+  "width:"+graph_width+"px; "+
+  "height:"+graph_height+"px; "+
+  "position:relative;");
+
+ var nbars = data.length;
+ var b_width = (graph_width - bar_gap * (nbars-1)) / nbars;
+ var next_xofs = 0;
+
+ var min_i = 0, min_o = 0,
+     max_i = 0, max_o = 0,
+     tot_i = 0, tot_o = 0;
+
+ for (var i=0; i<nbars; i++) {
+  var b_p = data[i][0];
+  var b_i = data[i][1];
+  var b_o = data[i][2];
+
+  if (b_i>0) { if (min_i == 0) min_i = b_i; else min_i = min(min_i, b_i); }
+  max_i = max(max_i, b_i);
+  tot_i += b_i;
+
+  if (b_o>0) { if (min_o == 0) min_o = b_o; else min_o = min(min_o, b_o); }
+  max_o = max(max_o, b_o);
+  tot_o += b_o;
+
+  var xofs = next_xofs;
+
+  next_xofs = Math.round((b_width + bar_gap) * (i+1));
+  var curr_w = next_xofs - xofs - bar_gap;
+
+  var h_i = Math.round( b_i * graph_height / total_max );
+  var h_o = Math.round( b_o * graph_height / total_max );
+
+  var label = b_p+": "+
+   thousands(b_i)+" bytes in, "+
+   thousands(b_o)+" bytes out | "+
+   kbps(b_i/bar_secs)+" KB/s in, "+
+   kbps(b_o/bar_secs)+" KB/s out";
+
+  addBar(igraph, label, "bar_in", curr_w, h_i, xofs, 0);
+  addBar(igraph, label, "bar_out", curr_w, h_o, xofs, h_i);
+ }
+
+ function legendRow(dir_str, minb, avgb, maxb) {
+  function makeTD(c, str) {
+   var r = makeElemClass("td", c);
+   r.appendChild(document.createTextNode(str));
+   return r;
+  }
+  function addToRow(row, type_str, bytes, trail) {
+   row.appendChild( makeTD("type", type_str) );
+   row.appendChild( makeTD("rate", fkbps(bytes/bar_secs)+" KB/s"+trail) );
+  }
+  var row = document.createElement("tr");
+  row.appendChild( makeTD("dir", dir_str) );
+  var cell = makeElemClass("td", "swatch");
+  var swatch = makeElemClass("div", "bar_"+dir_str);
+  setStyle(swatch, "width:6px; height:6px;");
+  cell.appendChild(swatch);
+  row.appendChild(cell);
+  addToRow(row, "min:", minb, ",");
+  addToRow(row, "avg:", avgb, ",");
+  addToRow(row, "max:", maxb, "");
+  return row;
+ }
+
+ var glegend = makeElemClass("div", "legend");
+ var avg_i = tot_i / nbars,
+     avg_o = tot_o / nbars;
+ var tbl = document.createElement("table");
+ var tb = document.createElement("tbody"); /* for MSIE */
+ tb.appendChild( legendRow("in", min_i, avg_i, max_i) );
+ tb.appendChild( legendRow("out", min_o, avg_o, max_o) );
+ tbl.appendChild(tb);
+ glegend.appendChild(tbl);
+ setStyle(glegend, "width:"+graph_width+"px;");
+
+ var gtitle = makeElemClass("div", "graphtitle");
+ setStyle(gtitle, "width:"+graph_width+"px;");
+ gtitle.appendChild(document.createTextNode(title));
+
+ killChildren(graph);
+ graph.appendChild(igraph);
+ graph.appendChild(glegend);
+ graph.appendChild(gtitle);
+}
diff --git a/static/style.css b/static/style.css
new file mode 100644 (file)
index 0000000..691adb2
--- /dev/null
@@ -0,0 +1,66 @@
+/* darkstat 3
+ *
+ * stylecss.h: CSS stylesheet for web interface.
+ * copyright (c) 2006 Ben Stewart.
+ * colors broken in 2007 by Emil Mikulic.
+ *
+ * You may use, modify and redistribute this file under the terms of the
+ * GNU General Public License version 2. (see COPYING.GPL)
+ */
+
+body           { background-color: #fff; z-index: 0; }
+.content       { z-index: 1;
+                 position: absolute; top:15px; left:10px; }
+div.menu       { z-index: 2;
+                 position: absolute; top:0; left:0;
+                 width: 100%; background-color: #789;
+                 border-bottom: 1px solid black;
+                 font-size:11px; }
+ul.menu        { list-style: none; margin:0; padding:2px 0 3px 0; }
+ul.menu li     { list-style: none; display: inline; margin:0;
+                 padding:2px 0 3px 0;
+                 border-right:1px solid white; }
+ul.menu li.label
+               { padding-left:10px; padding-right:10px; color:#000; }
+ul.menu li a   { color: white; text-decoration: none;
+                 border-bottom: none; padding:2px 15px 3px 15px; }
+ul.menu li a:hover
+               { background-color: #9ab; }
+h1, h2, h3, h4, h5, h6
+               { margin-top:10px; margin-bottom:5px; color: #000000;
+                 font-family: Arial, sans-serif; font-weight:bold; }
+.pageheader    { border-bottom: 2px dotted black; }
+table          { border-collapse: collapse; }
+td, th { border:1px solid #C0C0C0; padding:1px 5px 1px 5px; }
+td.num { text-align:right; }
+th { background-color:#EFEFEF; font-weight: bold;
+     padding-top:2px; padding-bottom:2px; }
+th a { color:black; border-bottom:1px dotted; }
+tr.alt1 { background:#FFFFFF; }
+tr.alt2 { background:#FAFAFA; }
+tr.alt1:hover, tr.alt2:hover { background:#EFEFEF; }
+body, td, th, p, input, textarea
+               { font-family: Tahoma, Verdana, sans-serif;
+                 font-size: small; }
+tt             { font-family: Courier New, monospace;
+                 font-size: small; }
+a:hover        { border-bottom: 1px dotted #666; }
+a              { text-decoration: none; color: #666; }
+div.outergraph { float:left; margin-right:10px; margin-bottom:20px; }
+div.graph      { border: 1px solid black; }
+div.graphtitle { text-align:center; font-weight:bold; }
+div.bar_in     { background: #678; }
+div.bar_out    { background: #abc; }
+
+#graph_reload,#graph_autoreload { border:1px solid black;
+ padding:2px 10px 2px 10px; margin-left:5px; color:black; }
+
+#graph_reload:hover,#graph_autoreload:hover { background:#9ab; color:black; }
+
+div.legend table { margin-left:auto; margin-right:auto; /* center */
+                   border:0; }
+div.legend td { border:0; padding:0 0.2em 0 0.2em; font-size:11px;
+                color:#444; }
+div.legend td.dir { text-align:right; }
+div.legend td.rate { text-align:right; }
+
diff --git a/str.c b/str.c
new file mode 100644 (file)
index 0000000..e6866da
--- /dev/null
+++ b/str.c
@@ -0,0 +1,358 @@
+/* darkstat 3
+ * copyright (c) 2001-2008 Emil Mikulic.
+ *
+ * str.c: string buffer with pool-based reallocation
+ *
+ * Permission to use, copy, modify, and distribute this file for any
+ * purpose with or without fee is hereby granted, provided that the above
+ * copyright notice and this permission notice appear in all copies.
+ *
+ * THE SOFTWARE IS PROVIDED "AS IS" AND THE AUTHOR DISCLAIMS ALL WARRANTIES
+ * WITH REGARD TO THIS SOFTWARE INCLUDING ALL IMPLIED WARRANTIES OF
+ * MERCHANTABILITY AND FITNESS. IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR
+ * ANY SPECIAL, DIRECT, INDIRECT, OR CONSEQUENTIAL DAMAGES OR ANY DAMAGES
+ * WHATSOEVER RESULTING FROM LOSS OF USE, DATA OR PROFITS, WHETHER IN AN
+ * ACTION OF CONTRACT, NEGLIGENCE OR OTHER TORTIOUS ACTION, ARISING OUT OF
+ * OR IN CONNECTION WITH THE USE OR PERFORMANCE OF THIS SOFTWARE.
+ */
+
+#include <assert.h>
+#include <stdlib.h>
+#include <string.h>
+#include <stdint.h> /* for uint32_t on Linux and OS X */
+
+#include "darkstat.h"
+#include "conv.h"
+#include "err.h"
+#include "str.h"
+
+#define INITIAL_LEN 1024
+
+struct str {
+   char *buf;
+   size_t len, pool;
+};
+
+struct str *
+str_make(void)
+{
+   struct str *s = xmalloc(sizeof(*s));
+   s->len = 0;
+   s->pool = INITIAL_LEN;
+   s->buf = xmalloc(s->pool);
+   return (s);
+}
+
+void
+str_free(struct str *s)
+{
+   free(s->buf);
+   free(s);
+}
+
+/*
+ * Extract struct str into buffer and length, freeing the struct in the
+ * process.
+ */
+void
+str_extract(struct str *s, size_t *len, char **str)
+{
+   *len = s->len;
+   *str = s->buf;
+   free(s);
+}
+
+void
+str_append2(struct str *buf, const char *s, const size_t len)
+{
+   if (buf->pool < buf->len + len) {
+      /* pool has dried up */
+      while (buf->pool < buf->len + len)
+         buf->pool *= 2;
+      buf->buf = xrealloc(buf->buf, buf->pool);
+   }
+   memcpy(buf->buf + buf->len, s, len);
+   buf->len += len;
+}
+
+void
+str_appendstr(struct str *buf, const struct str *s)
+{
+   str_append2(buf, s->buf, s->len);
+}
+
+#ifndef str_append
+void
+str_append(struct str *buf, const char *s)
+{
+   str_append2(buf, s, strlen(s));
+}
+#endif
+
+/*
+ * Apparently, some wacky locales use periods, or another character that isn't
+ * a comma, to separate thousands.  If you are afflicted by such a locale,
+ * change this macro:
+ */
+#define COMMA ','
+
+/* 2^32 = 4,294,967,296 (10 digits, 13 chars) */
+#define I32_MAXLEN 13
+
+/* 2^64 = 18,446,744,073,709,551,616 (20 digits, 26 chars) */
+#define I64_MAXLEN 26
+
+static void
+str_append_u32(struct str *s, const uint32_t i, const int mod_sep)
+{
+   char out[I32_MAXLEN];
+   int pos, len;
+   uint32_t rem, next;
+
+   if (i == 0) {
+      str_append(s, "0");
+      return;
+   }
+
+   pos = sizeof(out)-1;
+   len = 0;
+   rem = i;
+
+   while (rem > 0) {
+      assert(pos >= 0);
+      next = rem / 10;
+      rem = rem - next * 10;
+      assert(rem < 10);
+      out[pos] = '0' + rem;
+      pos--;
+      len++;
+      rem = next;
+      if (mod_sep && (rem > 0) && (len > 0) && (len % 3 == 0)) {
+         out[pos] = COMMA;
+         pos--;
+      }
+   }
+   str_append2(s, out+pos+1, sizeof(out)-1-pos);
+}
+
+static void
+str_append_i32(struct str *s, int32_t i, const int mod_sep)
+{
+   if (i < 0) {
+      str_append(s, "-");
+      i = -i;
+   }
+   str_append_u32(s, (uint32_t)i, mod_sep);
+}
+
+static void
+str_append_u64(struct str *s, const uint64_t i, const int mod_sep)
+{
+   char out[I64_MAXLEN];
+   int pos, len;
+   uint64_t rem, next;
+   uint32_t rem32, next32;
+
+   if (i == 0) {
+      str_append(s, "0");
+      return;
+   }
+
+   pos = sizeof(out)-1;
+   len = 0;
+   rem = i;
+
+   while (rem >= 4294967295U) {
+      assert(pos >= 0);
+      next = rem / 10;
+      rem = rem - next * 10;
+      assert(rem < 10);
+      out[pos] = '0' + rem;
+      pos--;
+      len++;
+      rem = next;
+      if (mod_sep && (rem > 0) && (len > 0) && (len % 3 == 0)) {
+         out[pos] = COMMA;
+         pos--;
+      }
+   }
+
+   /*
+    * Stick to 32-bit math when we can as it's faster on 32-bit platforms.
+    * FIXME: a tunable way to switch this off?
+    */
+   rem32 = (uint32_t)rem;
+   while (rem32 > 0) {
+      assert(pos >= 0);
+      next32 = rem32 / 10;
+      rem32 = rem32 - next32 * 10;
+      assert(rem32 < 10);
+      out[pos] = '0' + rem32;
+      pos--;
+      len++;
+      rem32 = next32;
+      if (mod_sep && (rem32 > 0) && (len > 0) && (len % 3 == 0)) {
+         out[pos] = COMMA;
+         pos--;
+      }
+   }
+   str_append2(s, out+pos+1, sizeof(out)-1-pos);
+}
+
+static void
+str_append_i64(struct str *s, int64_t i, const int mod_sep)
+{
+   if (i < 0) {
+      str_append(s, "-");
+      i = -i;
+   }
+   str_append_u64(s, (uint64_t)i, mod_sep);
+}
+
+static void
+str_append_hex8(struct str *s, const uint8_t b)
+{
+   char out[2];
+   static const char hexset[] = "0123456789abcdef";
+
+   out[0] = hexset[ ((b >> 4) & 15) ];
+   out[1] = hexset[ (b & 15) ];
+   str_append2(s, out, 2);
+}
+
+/* accepted formats: %s %d %u %x
+ * accepted modifiers: q and '
+ *
+ * %x is equivalent to %02x and expects a uint8_t
+ */
+static void
+str_vappendf(struct str *s, const char *format, va_list va)
+{
+   size_t pos, len;
+   len = strlen(format);
+
+   for (pos=0; pos<len; pos++) {
+      size_t span_start = pos, span_len = 0;
+
+      while ((format[pos] != '\0') && (format[pos] != '%')) {
+         span_len++;
+         pos++;
+      }
+      if (span_len > 0)
+         str_append2(s, format+span_start, span_len);
+
+      if (format[pos] == '%') {
+         int mod_quad = 0, mod_sep = 0;
+         char *arg_str;
+FORMAT:
+         pos++;
+         switch (format[pos]) {
+         case '%':
+            str_append(s, "%");
+            break;
+         case 'q':
+            mod_quad = 1;
+            goto FORMAT;
+         case '\'':
+            mod_sep = 1;
+            goto FORMAT;
+         case 's':
+            arg_str = va_arg(va, char*);
+            str_append(s, arg_str);
+            /* str_append can be a macro!  passing it va_arg can result in
+             * va_arg being called twice
+             */
+            break;
+         case 'd':
+            if (mod_quad)
+               str_append_i64(s, va_arg(va, int64_t), mod_sep);
+            else
+               str_append_i32(s, (int32_t)va_arg(va, int), mod_sep);
+            break;
+         case 'u':
+            if (mod_quad)
+               str_append_u64(s, va_arg(va, uint64_t), mod_sep);
+            else
+               str_append_u32(s, (uint32_t)va_arg(va, unsigned int), mod_sep);
+            break;
+         case 'x':
+            str_append_hex8(s, (uint8_t)va_arg(va, int));
+            break;
+         default:
+            errx(1, "format string is \"%s\", unknown format '%c' at %u",
+               format, format[pos], (unsigned int)pos);
+         }
+      }
+   }
+}
+
+void
+str_appendf(struct str *s, const char *format, ...)
+{
+   va_list va;
+   va_start(va, format);
+   str_vappendf(s, format, va);
+   va_end(va);
+}
+
+size_t
+xvasprintf(char **result, const char *format, va_list va)
+{
+   size_t len;
+   struct str *s = str_make();
+   str_vappendf(s, format, va);
+   str_append2(s, "", 1); /* "" still contains \0 */
+   str_extract(s, &len, result);
+   return (len-1);
+}
+
+size_t
+xasprintf(char **result, const char *format, ...)
+{
+   va_list va;
+   size_t ret;
+   va_start(va, format);
+   ret = xvasprintf(result, format, va);
+   va_end(va);
+   return (ret);
+}
+
+/*
+ * Format a length of time in seconds to "n days, n hrs, n mins, n secs".
+ * Returns a newly allocated str.
+ */
+struct str *
+length_of_time(const time_t t)
+{
+   struct str *buf = str_make();
+   int secs  =  t % 60;
+   int mins  = (t / 60) % 60;
+   int hours = (t / 3600) % 24;
+   int days  =  t / 86400;
+
+   int show_zeroes = 0;
+
+   if (days > 0) {
+      str_appendf(buf, "%d %s", days, (days==1)?"day":"days");
+      show_zeroes = 1;
+   }
+
+   if (show_zeroes || (hours > 0)) {
+      if (show_zeroes) str_append(buf, ", ");
+      str_appendf(buf, "%d %s", hours, (hours==1)?"hr":"hrs");
+      show_zeroes = 1;
+   }
+
+   if (show_zeroes || (mins > 0)) {
+      if (show_zeroes) str_append(buf, ", ");
+      str_appendf(buf, "%d %s", mins, (mins==1)?"min":"mins");
+      show_zeroes = 1;
+   }
+
+   if (show_zeroes) str_append(buf, ", ");
+   str_appendf(buf, "%d %s", secs, (secs==1)?"sec":"secs");
+
+   return buf;
+}
+
+/* vim:set ts=3 sw=3 tw=78 expandtab: */
diff --git a/str.h b/str.h
new file mode 100644 (file)
index 0000000..6e0b2cc
--- /dev/null
+++ b/str.h
@@ -0,0 +1,47 @@
+/* darkstat 3
+ * copyright (c) 2001-2008 Emil Mikulic.
+ *
+ * str.h: string buffer with pool-based reallocation
+ *
+ * Permission to use, copy, modify, and distribute this file for any
+ * purpose with or without fee is hereby granted, provided that the above
+ * copyright notice and this permission notice appear in all copies.
+ *
+ * THE SOFTWARE IS PROVIDED "AS IS" AND THE AUTHOR DISCLAIMS ALL WARRANTIES
+ * WITH REGARD TO THIS SOFTWARE INCLUDING ALL IMPLIED WARRANTIES OF
+ * MERCHANTABILITY AND FITNESS. IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR
+ * ANY SPECIAL, DIRECT, INDIRECT, OR CONSEQUENTIAL DAMAGES OR ANY DAMAGES
+ * WHATSOEVER RESULTING FROM LOSS OF USE, DATA OR PROFITS, WHETHER IN AN
+ * ACTION OF CONTRACT, NEGLIGENCE OR OTHER TORTIOUS ACTION, ARISING OUT OF
+ * OR IN CONNECTION WITH THE USE OR PERFORMANCE OF THIS SOFTWARE.
+ */
+
+#include <sys/types.h>
+#include <stdarg.h>
+
+/* Note: the contents are 8-bit clean and not zero terminated! */
+
+struct str;
+
+struct str *str_make(void);
+void str_free(struct str *s);
+void str_extract(struct str *buf, size_t *len, char **str);
+void str_append2(struct str *buf, const char *s, const size_t len);
+void str_appendstr(struct str *buf, const struct str *s);
+
+#ifdef __GNUC__
+/* amusing efficiency hack */
+#include <string.h>
+#define str_append(buf, s) str_append2(buf, s, \
+    (__builtin_constant_p(s) ? sizeof(s)-1 : strlen(s)) )
+#else
+void str_append(struct str *buf, const char *s);
+#endif
+
+size_t xvasprintf(char **result, const char *format, va_list va);
+size_t xasprintf(char **result, const char *format, ...);
+void str_appendf(struct str *buf, const char *format, ...);
+
+struct str *length_of_time(const time_t t);
+
+/* vim:set ts=3 sw=3 tw=78 expandtab: */
diff --git a/tree.h b/tree.h
new file mode 100644 (file)
index 0000000..f533547
--- /dev/null
+++ b/tree.h
@@ -0,0 +1,394 @@
+/* This is a cut down version of FreeBSD's
+ * src/sys/sys/tree.h,v 1.5
+ *
+ * Also tagged
+ * $NetBSD: tree.h,v 1.8 2004/03/28 19:38:30 provos Exp $
+ * $OpenBSD: tree.h,v 1.7 2002/10/17 21:51:54 art Exp $
+ *
+ * The original file's license:
+ *
+ * Copyright 2002 Niels Provos <provos@citi.umich.edu>
+ * All rights reserved.
+ *
+ * Redistribution and use in source and binary forms, with or without
+ * modification, are permitted provided that the following conditions
+ * are met:
+ * 1. Redistributions of source code must retain the above copyright
+ *    notice, this list of conditions and the following disclaimer.
+ * 2. Redistributions in binary form must reproduce the above copyright
+ *    notice, this list of conditions and the following disclaimer in the
+ *    documentation and/or other materials provided with the distribution.
+ *
+ * THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR
+ * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
+ * OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
+ * IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY DIRECT, INDIRECT,
+ * INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
+ * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
+ * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
+ * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
+ * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
+ * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
+ */
+
+#define RB_HEAD(name, type)                                            \
+struct name {                                                          \
+       struct type *rbh_root; /* root of the tree */                   \
+}
+
+#define RB_INITIALIZER(root) { NULL }
+
+#define RB_BLACK       0
+#define RB_RED         1
+#define RB_ENTRY(type)                                                 \
+struct {                                                               \
+       struct type *rbe_left;          /* left element */              \
+       struct type *rbe_right;         /* right element */             \
+       struct type *rbe_parent;        /* parent element */            \
+       int rbe_color;                  /* node color */                \
+}
+
+#define RB_LEFT(elm, field)            (elm)->field.rbe_left
+#define RB_RIGHT(elm, field)           (elm)->field.rbe_right
+#define RB_PARENT(elm, field)          (elm)->field.rbe_parent
+#define RB_COLOR(elm, field)           (elm)->field.rbe_color
+#define RB_ROOT(head)                  (head)->rbh_root
+
+#define RB_SET(elm, parent, field) do {                                        \
+       RB_PARENT(elm, field) = parent;                                 \
+       RB_LEFT(elm, field) = RB_RIGHT(elm, field) = NULL;              \
+       RB_COLOR(elm, field) = RB_RED;                                  \
+} while (/*CONSTCOND*/ 0)
+
+#define RB_SET_BLACKRED(black, red, field) do {                                \
+       RB_COLOR(black, field) = RB_BLACK;                              \
+       RB_COLOR(red, field) = RB_RED;                                  \
+} while (/*CONSTCOND*/ 0)
+
+#define RB_AUGMENT(x)  do {} while (0)
+
+#define RB_ROTATE_LEFT(head, elm, tmp, field) do {                     \
+       (tmp) = RB_RIGHT(elm, field);                                   \
+       if ((RB_RIGHT(elm, field) = RB_LEFT(tmp, field)) != NULL) {     \
+               RB_PARENT(RB_LEFT(tmp, field), field) = (elm);          \
+       }                                                               \
+       RB_AUGMENT(elm);                                                \
+       if ((RB_PARENT(tmp, field) = RB_PARENT(elm, field)) != NULL) {  \
+               if ((elm) == RB_LEFT(RB_PARENT(elm, field), field))     \
+                       RB_LEFT(RB_PARENT(elm, field), field) = (tmp);  \
+               else                                                    \
+                       RB_RIGHT(RB_PARENT(elm, field), field) = (tmp); \
+       } else                                                          \
+               (head)->rbh_root = (tmp);                               \
+       RB_LEFT(tmp, field) = (elm);                                    \
+       RB_PARENT(elm, field) = (tmp);                                  \
+       RB_AUGMENT(tmp);                                                \
+       if ((RB_PARENT(tmp, field)))                                    \
+               RB_AUGMENT(RB_PARENT(tmp, field));                      \
+} while (/*CONSTCOND*/ 0)
+
+#define RB_ROTATE_RIGHT(head, elm, tmp, field) do {                    \
+       (tmp) = RB_LEFT(elm, field);                                    \
+       if ((RB_LEFT(elm, field) = RB_RIGHT(tmp, field)) != NULL) {     \
+               RB_PARENT(RB_RIGHT(tmp, field), field) = (elm);         \
+       }                                                               \
+       RB_AUGMENT(elm);                                                \
+       if ((RB_PARENT(tmp, field) = RB_PARENT(elm, field)) != NULL) {  \
+               if ((elm) == RB_LEFT(RB_PARENT(elm, field), field))     \
+                       RB_LEFT(RB_PARENT(elm, field), field) = (tmp);  \
+               else                                                    \
+                       RB_RIGHT(RB_PARENT(elm, field), field) = (tmp); \
+       } else                                                          \
+               (head)->rbh_root = (tmp);                               \
+       RB_RIGHT(tmp, field) = (elm);                                   \
+       RB_PARENT(elm, field) = (tmp);                                  \
+       RB_AUGMENT(tmp);                                                \
+       if ((RB_PARENT(tmp, field)))                                    \
+               RB_AUGMENT(RB_PARENT(tmp, field));                      \
+} while (/*CONSTCOND*/ 0)
+
+#define        RB_GENERATE(name, type, field, cmp)                             \
+       RB_GENERATE_INTERNAL(name, type, field, cmp, static)
+#define RB_GENERATE_INTERNAL(name, type, field, cmp, attr)             \
+attr void                                                              \
+name##_RB_INSERT_COLOR(struct name *head, struct type *elm)            \
+{                                                                      \
+       struct type *parent, *gparent, *tmp;                            \
+       while ((parent = RB_PARENT(elm, field)) != NULL &&              \
+           RB_COLOR(parent, field) == RB_RED) {                        \
+               gparent = RB_PARENT(parent, field);                     \
+               if (parent == RB_LEFT(gparent, field)) {                \
+                       tmp = RB_RIGHT(gparent, field);                 \
+                       if (tmp && RB_COLOR(tmp, field) == RB_RED) {    \
+                               RB_COLOR(tmp, field) = RB_BLACK;        \
+                               RB_SET_BLACKRED(parent, gparent, field);\
+                               elm = gparent;                          \
+                               continue;                               \
+                       }                                               \
+                       if (RB_RIGHT(parent, field) == elm) {           \
+                               RB_ROTATE_LEFT(head, parent, tmp, field);\
+                               tmp = parent;                           \
+                               parent = elm;                           \
+                               elm = tmp;                              \
+                       }                                               \
+                       RB_SET_BLACKRED(parent, gparent, field);        \
+                       RB_ROTATE_RIGHT(head, gparent, tmp, field);     \
+               } else {                                                \
+                       tmp = RB_LEFT(gparent, field);                  \
+                       if (tmp && RB_COLOR(tmp, field) == RB_RED) {    \
+                               RB_COLOR(tmp, field) = RB_BLACK;        \
+                               RB_SET_BLACKRED(parent, gparent, field);\
+                               elm = gparent;                          \
+                               continue;                               \
+                       }                                               \
+                       if (RB_LEFT(parent, field) == elm) {            \
+                               RB_ROTATE_RIGHT(head, parent, tmp, field);\
+                               tmp = parent;                           \
+                               parent = elm;                           \
+                               elm = tmp;                              \
+                       }                                               \
+                       RB_SET_BLACKRED(parent, gparent, field);        \
+                       RB_ROTATE_LEFT(head, gparent, tmp, field);      \
+               }                                                       \
+       }                                                               \
+       RB_COLOR(head->rbh_root, field) = RB_BLACK;                     \
+}                                                                      \
+                                                                       \
+attr void                                                              \
+name##_RB_REMOVE_COLOR(struct name *head, struct type *parent, struct type *elm) \
+{                                                                      \
+       struct type *tmp;                                               \
+       while ((elm == NULL || RB_COLOR(elm, field) == RB_BLACK) &&     \
+           elm != RB_ROOT(head)) {                                     \
+               if (RB_LEFT(parent, field) == elm) {                    \
+                       tmp = RB_RIGHT(parent, field);                  \
+                       if (RB_COLOR(tmp, field) == RB_RED) {           \
+                               RB_SET_BLACKRED(tmp, parent, field);    \
+                               RB_ROTATE_LEFT(head, parent, tmp, field);\
+                               tmp = RB_RIGHT(parent, field);          \
+                       }                                               \
+                       if ((RB_LEFT(tmp, field) == NULL ||             \
+                           RB_COLOR(RB_LEFT(tmp, field), field) == RB_BLACK) &&\
+                           (RB_RIGHT(tmp, field) == NULL ||            \
+                           RB_COLOR(RB_RIGHT(tmp, field), field) == RB_BLACK)) {\
+                               RB_COLOR(tmp, field) = RB_RED;          \
+                               elm = parent;                           \
+                               parent = RB_PARENT(elm, field);         \
+                       } else {                                        \
+                               if (RB_RIGHT(tmp, field) == NULL ||     \
+                                   RB_COLOR(RB_RIGHT(tmp, field), field) == RB_BLACK) {\
+                                       struct type *oleft;             \
+                                       if ((oleft = RB_LEFT(tmp, field)) \
+                                           != NULL)                    \
+                                               RB_COLOR(oleft, field) = RB_BLACK;\
+                                       RB_COLOR(tmp, field) = RB_RED;  \
+                                       RB_ROTATE_RIGHT(head, tmp, oleft, field);\
+                                       tmp = RB_RIGHT(parent, field);  \
+                               }                                       \
+                               RB_COLOR(tmp, field) = RB_COLOR(parent, field);\
+                               RB_COLOR(parent, field) = RB_BLACK;     \
+                               if (RB_RIGHT(tmp, field))               \
+                                       RB_COLOR(RB_RIGHT(tmp, field), field) = RB_BLACK;\
+                               RB_ROTATE_LEFT(head, parent, tmp, field);\
+                               elm = RB_ROOT(head);                    \
+                               break;                                  \
+                       }                                               \
+               } else {                                                \
+                       tmp = RB_LEFT(parent, field);                   \
+                       if (RB_COLOR(tmp, field) == RB_RED) {           \
+                               RB_SET_BLACKRED(tmp, parent, field);    \
+                               RB_ROTATE_RIGHT(head, parent, tmp, field);\
+                               tmp = RB_LEFT(parent, field);           \
+                       }                                               \
+                       if ((RB_LEFT(tmp, field) == NULL ||             \
+                           RB_COLOR(RB_LEFT(tmp, field), field) == RB_BLACK) &&\
+                           (RB_RIGHT(tmp, field) == NULL ||            \
+                           RB_COLOR(RB_RIGHT(tmp, field), field) == RB_BLACK)) {\
+                               RB_COLOR(tmp, field) = RB_RED;          \
+                               elm = parent;                           \
+                               parent = RB_PARENT(elm, field);         \
+                       } else {                                        \
+                               if (RB_LEFT(tmp, field) == NULL ||      \
+                                   RB_COLOR(RB_LEFT(tmp, field), field) == RB_BLACK) {\
+                                       struct type *oright;            \
+                                       if ((oright = RB_RIGHT(tmp, field)) \
+                                           != NULL)                    \
+                                               RB_COLOR(oright, field) = RB_BLACK;\
+                                       RB_COLOR(tmp, field) = RB_RED;  \
+                                       RB_ROTATE_LEFT(head, tmp, oright, field);\
+                                       tmp = RB_LEFT(parent, field);   \
+                               }                                       \
+                               RB_COLOR(tmp, field) = RB_COLOR(parent, field);\
+                               RB_COLOR(parent, field) = RB_BLACK;     \
+                               if (RB_LEFT(tmp, field))                \
+                                       RB_COLOR(RB_LEFT(tmp, field), field) = RB_BLACK;\
+                               RB_ROTATE_RIGHT(head, parent, tmp, field);\
+                               elm = RB_ROOT(head);                    \
+                               break;                                  \
+                       }                                               \
+               }                                                       \
+       }                                                               \
+       if (elm)                                                        \
+               RB_COLOR(elm, field) = RB_BLACK;                        \
+}                                                                      \
+                                                                       \
+attr struct type *                                                     \
+name##_RB_REMOVE(struct name *head, struct type *elm)                  \
+{                                                                      \
+       struct type *child, *parent, *old = elm;                        \
+       int color;                                                      \
+       if (RB_LEFT(elm, field) == NULL)                                \
+               child = RB_RIGHT(elm, field);                           \
+       else if (RB_RIGHT(elm, field) == NULL)                          \
+               child = RB_LEFT(elm, field);                            \
+       else {                                                          \
+               struct type *left;                                      \
+               elm = RB_RIGHT(elm, field);                             \
+               while ((left = RB_LEFT(elm, field)) != NULL)            \
+                       elm = left;                                     \
+               child = RB_RIGHT(elm, field);                           \
+               parent = RB_PARENT(elm, field);                         \
+               color = RB_COLOR(elm, field);                           \
+               if (child)                                              \
+                       RB_PARENT(child, field) = parent;               \
+               if (parent) {                                           \
+                       if (RB_LEFT(parent, field) == elm)              \
+                               RB_LEFT(parent, field) = child;         \
+                       else                                            \
+                               RB_RIGHT(parent, field) = child;        \
+                       RB_AUGMENT(parent);                             \
+               } else                                                  \
+                       RB_ROOT(head) = child;                          \
+               if (RB_PARENT(elm, field) == old)                       \
+                       parent = elm;                                   \
+               (elm)->field = (old)->field;                            \
+               if (RB_PARENT(old, field)) {                            \
+                       if (RB_LEFT(RB_PARENT(old, field), field) == old)\
+                               RB_LEFT(RB_PARENT(old, field), field) = elm;\
+                       else                                            \
+                               RB_RIGHT(RB_PARENT(old, field), field) = elm;\
+                       RB_AUGMENT(RB_PARENT(old, field));              \
+               } else                                                  \
+                       RB_ROOT(head) = elm;                            \
+               RB_PARENT(RB_LEFT(old, field), field) = elm;            \
+               if (RB_RIGHT(old, field))                               \
+                       RB_PARENT(RB_RIGHT(old, field), field) = elm;   \
+               if (parent) {                                           \
+                       left = parent;                                  \
+                       do {                                            \
+                               RB_AUGMENT(left);                       \
+                       } while ((left = RB_PARENT(left, field)) != NULL); \
+               }                                                       \
+               goto color;                                             \
+       }                                                               \
+       parent = RB_PARENT(elm, field);                                 \
+       color = RB_COLOR(elm, field);                                   \
+       if (child)                                                      \
+               RB_PARENT(child, field) = parent;                       \
+       if (parent) {                                                   \
+               if (RB_LEFT(parent, field) == elm)                      \
+                       RB_LEFT(parent, field) = child;                 \
+               else                                                    \
+                       RB_RIGHT(parent, field) = child;                \
+               RB_AUGMENT(parent);                                     \
+       } else                                                          \
+               RB_ROOT(head) = child;                                  \
+color:                                                                 \
+       if (color == RB_BLACK)                                          \
+               name##_RB_REMOVE_COLOR(head, parent, child);            \
+       return (old);                                                   \
+}                                                                      \
+                                                                       \
+/* Inserts a node into the RB tree */                                  \
+attr struct type *                                                     \
+name##_RB_INSERT(struct name *head, struct type *elm)                  \
+{                                                                      \
+       struct type *tmp;                                               \
+       struct type *parent = NULL;                                     \
+       int comp = 0;                                                   \
+       tmp = RB_ROOT(head);                                            \
+       while (tmp) {                                                   \
+               parent = tmp;                                           \
+               comp = (cmp)(elm, parent);                              \
+               if (comp < 0)                                           \
+                       tmp = RB_LEFT(tmp, field);                      \
+               else if (comp > 0)                                      \
+                       tmp = RB_RIGHT(tmp, field);                     \
+               else                                                    \
+                       return (tmp);                                   \
+       }                                                               \
+       RB_SET(elm, parent, field);                                     \
+       if (parent != NULL) {                                           \
+               if (comp < 0)                                           \
+                       RB_LEFT(parent, field) = elm;                   \
+               else                                                    \
+                       RB_RIGHT(parent, field) = elm;                  \
+               RB_AUGMENT(parent);                                     \
+       } else                                                          \
+               RB_ROOT(head) = elm;                                    \
+       name##_RB_INSERT_COLOR(head, elm);                              \
+       return (NULL);                                                  \
+}                                                                      \
+                                                                       \
+/* Finds the node with the same key as elm */                          \
+attr struct type *                                                     \
+name##_RB_FIND(struct name *head, struct type *elm)                    \
+{                                                                      \
+       struct type *tmp = RB_ROOT(head);                               \
+       int comp;                                                       \
+       while (tmp) {                                                   \
+               comp = cmp(elm, tmp);                                   \
+               if (comp < 0)                                           \
+                       tmp = RB_LEFT(tmp, field);                      \
+               else if (comp > 0)                                      \
+                       tmp = RB_RIGHT(tmp, field);                     \
+               else                                                    \
+                       return (tmp);                                   \
+       }                                                               \
+       return (NULL);                                                  \
+}                                                                      \
+                                                                       \
+/* ARGSUSED */                                                         \
+attr struct type *                                                     \
+name##_RB_NEXT(struct type *elm)                                       \
+{                                                                      \
+       if (RB_RIGHT(elm, field)) {                                     \
+               elm = RB_RIGHT(elm, field);                             \
+               while (RB_LEFT(elm, field))                             \
+                       elm = RB_LEFT(elm, field);                      \
+       } else {                                                        \
+               if (RB_PARENT(elm, field) &&                            \
+                   (elm == RB_LEFT(RB_PARENT(elm, field), field)))     \
+                       elm = RB_PARENT(elm, field);                    \
+               else {                                                  \
+                       while (RB_PARENT(elm, field) &&                 \
+                           (elm == RB_RIGHT(RB_PARENT(elm, field), field)))\
+                               elm = RB_PARENT(elm, field);            \
+                       elm = RB_PARENT(elm, field);                    \
+               }                                                       \
+       }                                                               \
+       return (elm);                                                   \
+}                                                                      \
+                                                                       \
+attr struct type *                                                     \
+name##_RB_MINMAX(struct name *head, int val)                           \
+{                                                                      \
+       struct type *tmp = RB_ROOT(head);                               \
+       struct type *parent = NULL;                                     \
+       while (tmp) {                                                   \
+               parent = tmp;                                           \
+               if (val < 0)                                            \
+                       tmp = RB_LEFT(tmp, field);                      \
+               else                                                    \
+                       tmp = RB_RIGHT(tmp, field);                     \
+       }                                                               \
+       return (parent);                                                \
+}
+
+#define RB_NEGINF      -1
+
+#define RB_INSERT(name, x, y)  name##_RB_INSERT(x, y)
+#define RB_REMOVE(name, x, y)  name##_RB_REMOVE(x, y)
+#define RB_FIND(name, x, y)    name##_RB_FIND(x, y)
+#define RB_NEXT(name, x, y)    name##_RB_NEXT(y)
+#define RB_MIN(name, x)                name##_RB_MINMAX(x, RB_NEGINF)