#include <stdint.h>
#include <stdio.h>
#include <string>
#include <vector>
#include <algorithm>

#include <time.h>
#ifdef _WIN32
#include <sys/utime.h>
#else
#include <sys/time.h>
#endif


#include <err/posix.h>
#include <stringutils.h>
#include <FileFunctions.h>
#include <boost/shared_ptr.hpp>

#ifndef _NO_MMAP
#include <boost/interprocess/mapped_region.hpp>
#include <boost/interprocess/file_mapping.hpp>
#endif

#include "util/rw/MmapReader.h"

std::string getstring(char*first, char*end)
{
    char quotechar=0;
    while (first<end && isspace(*first))
        first++;
    if (first==end)
        return "";
    if (*first=='"' || *first=='\'')
        quotechar= *first++;
    std::string str;
    char *p= first;
    while (p<end && *p!=quotechar && (quotechar || (*p!='>' && !isspace(*p))))
    {
        p++;
    }
    return std::string(first, p-first);
}

std::vector<std::string> tld7= { ".museum", ".travel" };
std::vector<std::string> tld5= { ".aero", ".asia", ".coop", ".info", ".jobs", ".mobi", ".name" };
std::vector<std::string> tld4= { ".biz", ".cat", ".com", ".edu", ".gov", ".int", ".mil", ".net", ".org", ".pro", ".tel", ".xxx" };
std::vector<std::string> tld3= { ".ac", ".ad", ".ae", ".af", ".ag", ".ai", ".al", ".am", ".an", ".ao", ".aq", ".ar", ".as", ".at", ".au", ".aw", ".ax", ".az", ".ba", ".bb", ".bd", ".be", ".bf", ".bg", ".bh", ".bi", ".bj", ".bm", ".bn", ".bo", ".br", ".bs", ".bt", ".bv", ".bw", ".by", ".bz", ".ca", ".cc", ".cd", ".cf", ".cg", ".ch", ".ci", ".ck", ".cl", ".cm", ".cn", ".co", ".cr", ".cs", ".cu", ".cv", ".cx", ".cy", ".cz", ".de", ".dj", ".dk", ".dm", ".do", ".dz", ".ec", ".ee", ".eg", ".er", ".es", ".et", ".eu", ".fi", ".fj", ".fk", ".fm", ".fo", ".fr", ".ga", ".gb", ".gd", ".ge", ".gf", ".gg", ".gh", ".gi", ".gl", ".gm", ".gn", ".gp", ".gq", ".gr", ".gs", ".gt", ".gu", ".gw", ".gy", ".hk", ".hm", ".hn", ".hr", ".ht", ".hu", ".id", ".ie", ".il", ".im", ".in", ".io", ".iq", ".ir", ".is", ".it", ".je", ".jm", ".jo", ".jp", ".ke", ".kg", ".kh", ".ki", ".km", ".kn", ".kp", ".kr", ".kw", ".ky", ".kz", ".la", ".lb", ".lc", ".li", ".lk", ".lr", ".ls", ".lt", ".lu", ".lv", ".ly", ".ma", ".mc", ".md", ".me", ".mg", ".mh", ".mk", ".ml", ".mm", ".mn", ".mo", ".mp", ".mq", ".mr", ".ms", ".mt", ".mu", ".mv", ".mw", ".mx", ".my", ".mz", ".na", ".nc", ".ne", ".nf", ".ng", ".ni", ".nl", ".no", ".np", ".nr", ".nu", ".nz", ".om", ".pa", ".pe", ".pf", ".pg", ".ph", ".pk", ".pl", ".pm", ".pn", ".pr", ".ps", ".pt", ".pw", ".py", ".qa", ".re", ".ro", ".rs", ".ru", ".rw", ".sa", ".sb", ".sc", ".sd", ".se", ".sg", ".sh", ".si", ".sj", ".sk", ".sl", ".sm", ".sn", ".so", ".sr", ".st", ".su", ".sv", ".sy", ".sz", ".tc", ".td", ".tf", ".tg", ".th", ".tj", ".tk", ".tl", ".tm", ".tn", ".to", ".tp", ".tr", ".tt", ".tv", ".tw", ".tz", ".ua", ".ug", ".uk", ".us", ".uy", ".uz", ".va", ".vc", ".ve", ".vg", ".vi", ".vn", ".vu", ".wf", ".ws", ".ye", ".yt", ".za", ".zm", ".zw" };

bool ishostpath(const std::string& base)
{
    size_t ix= base.find_last_of('.');
    if (ix==base.npos)
        return false;
    std::string tld= base.substr(ix);
    switch(base.size()-ix) {
        case 3: return std::binary_search(tld3.begin(), tld3.end(), tld);
        case 4: return std::binary_search(tld4.begin(), tld4.end(), tld);
        case 5: return std::binary_search(tld5.begin(), tld5.end(), tld);
        case 7: return std::binary_search(tld7.begin(), tld7.end(), tld);
    }
    return false;
}
std::string gethostpath(const std::string& filename)
{
    std::string str= filename;
    while (!str.empty() && !ishostpath(str))
    {
        size_t ix= str.find_last_of('/');
        if (ix==str.npos)
            break;
        str.resize(ix);
    }
    return str;
}
std::string makepath(const std::string& filename, const std::string& path)
{
    if (path.find("://")!=path.npos)
        return path;
    if (path.find("javascript:")==0)
        return path;
    if (path.find("mailto:")==0)
        return path;
    if (!path.empty() && path[0]=='/')
        return gethostpath(filename)+path;
    return filename.substr(0, filename.find_last_of('/'))+"/"+path;
}
void findstrings(const std::string& filename, char *first, char *last, const std::string& token)
{
    char *p= first;
    while (p<last) {
        p= std::search(p, last, token.begin(), token.end());
        if (p==last)
            break;
        std::string imgpath= getstring(p+token.size(), last);

        printf("%s\n", makepath(filename, imgpath).c_str());
        p++;
    }
}

void processfile(const std::string& filename)
{
    MmapReader r(filename, MmapReader::readonly);

    findstrings(filename, (char*)r.begin(), (char*)r.end(), "src=");
    findstrings(filename, (char*)r.begin(), (char*)r.end(), "href=");
}
template<typename ACTION>
void processarg(const std::string& arg, ACTION act)
{
    if (arg[0]=='@') {
        // if name starts with '@' -> read list from file
        MmapReader rl(arg.substr(1), MmapReader::readonly);

        rl.line_enumerator([act](const char *first, const char*last) {
            processarg(std::string(first, last-first), act);
            return true;
        });
    }
    else switch (GetFileInfo(arg)) {
        case AT_ISDIRECTORY:
            // if <arg> is a directory -> add all files in that directory
            dir_iterator(arg,
                [act](const std::string& srcpath) {
                    act(srcpath);
                },
                [](const std::string& dirname)->bool { return true; }
            );
            break;
        case AT_ISFILE:
            {
            act(arg);
            }
            break;
        default:
            printf("WARNING: %s does not exist\n", arg.c_str());
    }
}
template<typename ACTION>
void processargs(int& i, int argc, char**argv, ACTION act)
{
    bool nomoreoptions=false;
    while (i<argc) {
        std::string arg= argv[i];
        if (arg=="--") {
            nomoreoptions= true;
            continue;
        }
        if (!nomoreoptions && arg[0]=='-') {
            i--;
            break;
        }

        processarg(arg, act);

        i++;
    }
}

int main(int argc,char**argv)
{
    std::vector<std::string> files;
    try {
    for (int i=1 ; i<argc ; i++)
    {
        processargs(i, argc, argv, [&files](const std::string& filename)
                {
                    files.push_back(filename);
                }
        );
    }

    std::for_each(files.begin(), files.end(), processfile);
    }
    catch(...)
    {
        printf("EXCEPTION\n");
    }
    return 0;
}