ip作为识别和定位用户的手段来说，对互联网企业起着至关重要的作用，特别是在精准营销、反欺诈等业务方面。本文描述如何简单的去构建自己的ip地址库。
拿来主义
实际上，对大部分用户来说，如果要求不高，完全可以拿现成的资源来使用：
吃饱了撑着
但对我们这样的风控公司来说，现成的资源有以下不足：
1.需要离线的数据库。我们的产品是提供私有化的大数据风控平台，由于涉及的信息比较敏感，需要隔绝外网来保证数据隐私性和安全性，api的方式不合适
4.有一些优秀的数据源提供精确到区的数据，但我们不需要采用。ip分配多变，而且运营商分配顶多到市一级，所以区县级的数据准确度会有很大挑战，影响风控使用，建议是先弃掉
5.对于非主动获取的第三方数据，习惯上不信任，需要去进行评估和重新验证，贸然使用会有不良后果
所以，我们做了一些工作，来构建自己的ip库，方便我们的风控系统使用。本文余下部分会描述我们的大概思路(具体实现会采用简要方法来说明)。
ip库原始数据获取
写一个一行的爬虫：
整条命令通过shell管道来实现，分别包括：
1.生成ip c段地址列表，由seq来生成相应的数字
2.将数字转为ip的字符串形式，由awk来转换
3.利用curl向度娘发起请求
4.等。这个简易爬虫效率上并不高，而且需要执行256*256*256=16777216次访问，所以需要超过1天来完成。直接扔 服务器 上让他慢慢跑吧
ip库构建
去重处理
原始数据拿来后，需要进行整理，首先需要去掉重复信息，比如原始的数据是这样的
这些c段紧靠在一起，完全没有必要，再通过一行命令去做去重
说明：
1.首先按照ip进行排序，由于之前有多进程并发操作，结果数据会有乱序情况出现，不利于去重
2.利用awk，只输出归属地相同的邻近行的第一行
3.最终得到的结果中，任意相邻的两行地址都不一样
地理位置规范化
整个过程略复杂，我们通过算法去自动生成和校正如下的映射表，然后再利用规范化算法得到统一的地址。整个过程略复杂，而且映射表数据需要不停的自动化构建来校准，就不展示更多的细节。
山东:
名称: 山东省
城市:
济南:
名称: 济南市
章丘:
名称: 济南市
青岛:
名称: 青岛市
即墨:
名称: 青岛市
平度:
名称: 青岛市
胶南:
名称: 青岛市
莱西:
名称: 青岛市
淄博:
名称: 淄博市
枣庄:
名称: 枣庄市
滕州:
名称: 枣庄市
东营:
名称: 东营市
烟台:
名称: 烟台市
龙口:
名称: 烟台市
莱阳:
名称: 烟台市
莱州:
名称: 烟台市
蓬莱:
名称: 烟台市
ip库生成
得到最终数据后，需要做最后打包。
一种最简单的方式是直接将上述数据作为最终数据，然后使用的时候读入，塞进一个 treemap 即可。但这种方式效率比较低，生成的包也比较大，从而影响到使用地理库的应用。
我们采用了另一种方法，逆向了ipip.net的数据格式，用该格式打出自己的数据包，这里有几个好处：
1.该数据格式比较精简，能大大减少最终胜出的数据包大小
2.由于用户比较多，网上有多语言的客户端，方便借鉴(不过实际使用还需要自己重新优化，网上和官方的库效率还是较低;要用的话也尽量用官方的库，有些网友的库不正确)
3.由于我们会共享数据给一些关系好的客户，所以采用标准的格式，他们只要替换数据文件即可
生产级别的ip库构建
上文描述了构建的大概过程，但核心的部分由于篇幅限制采用了简易方法进行说明，如果要做生产级别的还需要注意一下方面:
1.更好的原始数据获取
2.持续的数据获取，以及自动化的校准库和ip库构建。由于ip数据变化频率高，只有不停更新才能保证更好的精度
3.统一ip、手机、身份证、wifi地址等数据做统一的地理信息库。单个维度的信息往往只能用来做展示，如果有强计算需求的话需要做统一的数据库
设立一家私募基金管理人的条件和手续有哪些
一、设立私募基金管理人的条件和手续：1、名称应符合《名称登记管理规定》，允许达到规模的投资企业名称使用“投资基金”字样。 名称中的行业用语可以使用“风险投资基金、创业投资基金、股权投资基金、投资基金”等字样 。 “北京”作为行政区划分允许在商号与行业用语之间使用。 2、投资基金公司“注册资本（出资数额）不低于5亿元，全部为货币形式出资，设立时实 收资本不低于1亿元；5年内注册资本按照公司章程（合伙协议书）承诺全部到位。 ”3、单个投资者的投资额不低于1000万元（有限合伙企业中的普通合伙人不在本限制条款内）。 4、至少3名高管具备股权投基金管理运作经验或相关业务经验。 5、具有完备的风险控制制度和内部管理制度。 扩展资料：设立私募基金管理人的要求：1、私募基金管理人应当向基金业协会履行基金管理人登记手续并申请成为基金业协会会员。 2、私募基金管理人申请登记，应当通过私募基金登记备案系统，如实填报基金管理人基本信息、高级管理人员及其他从业人员基本信息、股东或合伙人基本信息、管理基金基本信息。 3、登记申请材料不完备或不符合规定的，私募基金管理人应当根据基金业协会的要求及时补正。 申请登记期间，登记事项发生重大变化的，私募基金管理人应当及时告知基金业协会并变更申请登记内容。 4、基金业协会可以采取约谈高级管理人员、现场检查、向中国证监会及其派出机构、相关专业协会征询意见等方式对私募基金管理人提供的登记申请材料进行核查。 5、私募基金管理人提供的登记申请材料完备的，基金业协会应当自收齐登记材料之日起20个工作日内，以通过网站公示私募基金管理人基本情况的方式，为私募基金管理人办结登记手续。 网站公示的私募基金管理人基本情况包括私募基金管理人的名称、成立时间、登记时间、住所、联系方式、主要负责人等基本信息以及基本诚信信息。 参考资料来源：网络百科-私募基金公司注册参考资料来源：网络百科-私募投资基金管理人登记和基金备案办法参考资料来源：网络百科-基金管理人
什么是灰鸽子木马？和熊猫烧香病毒有什么不同？
一、灰鸽子病毒简介 灰鸽子是国内一款著名后门。 比起前辈冰河、黑洞来，灰鸽子可以说是国内后门的集大成者。 其丰富而强大的功能、灵活多变的操作、良好的隐藏性使其他后门都相形见绌。 客户端简易便捷的操作使刚入门的初学者都能充当黑客。 当使用在合法情况下时，灰鸽子是一款优秀的远程控制软件。 但如果拿它做一些非法的事，灰鸽子就成了很强大的黑客工具。 这就好比火药，用在不同的场合，给人类带来不同的影响。 对灰鸽子完整的介绍也许只有灰鸽子作者本人能够说清楚，在此我们只能进行简要介绍。 灰鸽子客户端和服务端都是采用Delphi编写。 黑客利用客户端程序配置出服务端程序。 可配置的信息主要包括上线类型（如等待连接还是主动连接）、主动连接时使用的公网IP（域名）、连接密码、使用的端口、启动项名称、服务名称，进程隐藏方式，使用的壳，代理，图标等等。 服务端对客户端连接方式有多种，使得处于各种网络环境的用户都可能中毒，包括局域网用户（通过代理上网）、公网用户和ADSL拨号用户等。 下面介绍服务端： 配置出来的服务端文件文件名为G_（这是默认的，当然也可以改变）。 然后黑客利用一切办法诱骗用户运行G_程序。 具体采用什么办法，读者可以充分发挥想象力，这里就不赘述。 G_运行后将自己拷贝到Windows目录下(98/xp下为系统盘的windows目录，2k/NT下为系统盘的Winnt目录)，然后再从体内释放G_和G_Server_到windows目录下。 G_、G_和G_Server_三个文件相互配合组成了灰鸽子服务端， G_Server_负责隐藏灰鸽子。 通过截获进程的API调用隐藏灰鸽子的文件、服务的注册表项，甚至是进程中的模块名。 截获的函数主要是用来遍历文件、遍历注册表项和遍历进程模块的一些函数。 所以，有些时候用户感觉种了毒，但仔细检查却又发现不了什么异常。 有些灰鸽子会多释放出一个名为G_的文件用来记录键盘操作。 注意，G_这个名称并不固定，它是可以定制的，比如当定制服务端文件名为时，生成的文件就是、和A_。 Windows目录下的G_文件将自己注册成服务（9X系统写注册表启动项），每次开机都能自动运行，运行后启动G_和G_Server_并自动退出。 G_文件实现后门功能，与控制端客户端进行通信；G_Server_则通过拦截API调用来隐藏病毒。 因此，中毒后，我们看不到病毒文件，也看不到病毒注册的服务项。 随着灰鸽子服务端文件的设置不同，G_Server_有时候附在的进程空间中，有时候则是附在所有进程中。 灰鸽子的作者对于如何逃过杀毒软件的查杀花了很大力气。 由于一些API函数被截获，正常模式下难以遍历到灰鸽子的文件和模块，造成查杀上的困难。 要卸载灰鸽子动态库而且保证系统进程不崩溃也很麻烦，因此造成了近期灰鸽子在互联网上泛滥的局面。 二、灰鸽子的手工检测 由于灰鸽子拦截了API调用，在正常模式下服务端程序文件和它注册的服务项均被隐藏，也就是说你即使设置了“显示所有隐藏文件”也看不到它们。 此外，灰鸽子服务端的文件名也是可以自定义的，这都给手工检测带来了一定的困难。 但是，通过仔细观察我们发现，对于灰鸽子的检测仍然是有规律可循的。 从上面的运行原理分析可以看出，无论自定义的服务器端文件名是什么，一般都会在操作系统的安装目录下生成一个以“_”结尾的文件。 通过这一点，我们可以较为准确手工检测出灰鸽子 服务端。 由于正常模式下灰鸽子会隐藏自身，因此检测灰鸽子的操作一定要在安全模式下进行。 进入安全模式的方法是：启动计算机，在系统进入Windows启动画面前，按下F8键(或者在启动计算机时按住Ctrl键不放)，在出现的启动选项菜单中，选择“Safe Mode”或“安全模式”。 1、由于灰鸽子的文件本身具有隐藏属性，因此要设置Windows显示所有文件。 打开“我的电脑”，选择菜单“工具”—》“文件夹选项”，点击“查看”，取消“隐藏受保护的操作系统文件”前的对勾，并在“隐藏文件和文件夹”项中选择“ 显示所有文件和文件夹”，然后点击“确定”。 2、打开Windows的“搜索文件”，文件名称输入“_”，搜索位置选择Windows的安装目录（默认98/xp为C:\windows，2k/NT为C:\Winnt）。 3、经过搜索，我们在Windows目录（不包含子目录）下发现了一个名为Game_的文件。 4、根据灰鸽子原理分析我们知道，如果Game_是灰鸽子的文件，则在操作系统安装目录下还会有和文件。 打开Windows目录，果然有这两个文件，同时还有一个用于记录键盘操作的文件。 经过这几步操作我们基本就可以确定这些文件是灰鸽子 服务端了，下面就可以进行手动清除。 三、灰鸽子的手工清除 经过上面的分析，清除灰鸽子就很容易了。 清除灰鸽子仍然要在安全模式下操作，主要有两步：1、清除灰鸽子的服务；2删除灰鸽子程序文件。 注意：为防止误操作，清除前一定要做好备份。 （一）、清除灰鸽子的服务 注意清除灰鸽子的服务一定要在注册表里完成，对注册表不熟悉的网友请找熟悉的人帮忙操作，清除灰鸽子的服务一定要先备份注册表，或者到纯DOS下将注册表文件更名，然后在去注册表删除灰鸽子的服务。 因为病毒会和EXE文件进行关联 2000／XP系统： 1、打开注册表编辑器（点击“开始”－》“运行”，输入“”，确定。 ），打开 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services注册表项。 2、点击菜单“编辑”－》“查找”，“查找目标”输入“”，点击确定，我们就可以找到灰鸽子的服务项（此例为Game_Server，每个人这个服务项名称是不同的）。 3、删除整个Game_Server项。 98／me系统： 在9X下，灰鸽子启动项只有一个，因此清除更为简单。 运行注册表编辑器，打开HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Run项，我们立即看到名为的一项，将项删除即可。 （二）、删除灰鸽子程序文件 删除灰鸽子程序文件非常简单，只需要在安全模式下删除Windows目录下的、、Game_以及文件，然后重新启动计算机。 至此，灰鸽子VIP 2005 服务端已经被清除干净。 以上介绍的方法适用于我们看到的大部分灰鸽子木马及其变种，然而仍有极少数变种采用此种方法无法检测和清除。 同时，随着灰鸽子新版本的不断推出，作者可能会加入一些新的隐藏方法、防删除手段，手工检测和清除它的难度也会越来越大。 四、防止中灰鸽子病毒需要注意的事项 1. 给系统安装补丁程序。 通过Windows Update安装好系统补丁程序(关键更新、安全更新和Service pack)，其中MS04-011、MS04-012、MS04-013、MS03-001、MS03-007、MS03-049、MS04-032等都被病毒广泛利用，是非常必要的补丁程序 2. 给系统管理员帐户设置足够复杂足够强壮的密码，最好能是10位以上，字母+数字+其它符号的组合；也可以禁用/删除一些不使用的帐户 3. 经常更新杀毒软件（病毒库），设置允许的可设置为每天定时自动更新。 安装并合理使用网络防火墙软件，网络防火墙在防病毒过程中也可以起到至关重要的作用，能有效地阻挡自来网络的攻击和病毒的入侵。 部分盗版Windows用户不能正常安装补丁，这点也比较无奈，这部分用户不妨通过使用网络防火墙来进行一定防护 4. 关闭一些不需要的服务，条件允许的可关闭没有必要的共享，也包括C$、D$等管理共享。 完全单机的用户可直接关闭Server服务。 . 下载HijackThis扫描系统 下载地址:zww3008汉化版英文版 2. 从HijackThis日志的 O23项可以发现灰鸽子自的服务项 如最近流行的: O23 - Service: SYSTEM$ (SYSTEM$Server) - Unknown owner - C:\WINDOWS\ O23 - Service: Network Connections Manager (NetConMan) - Unknown owner - C:\WINDOWS\ O23 - Service: winServer - Unknown owner - C:\WINDOWS\ O23 - Service: Gray_Pigeon_Server (GrayPigeonServer) - Unknown owner - C:\WINDOWS\G_ 用HijackThis选中上面的O23项,然后选择修复该项或Fix checked 3. 用Killbox删除灰鸽子对应的木马文件 可以从这里下载Killbox直接把文件的路径复制到 Killbox里删除 通常都是下面这样的文件 服务名具体通过HijackThis判断 C:\windows\服务 C:\windows\服务 C:\windows\服务 C:\windows\服务 C:\windows\服务名_ C:\windows\服务名_ 举例说明: C:\WINDOWS\ C:\WINDOWS\ C:\WINDOWS\ C:\WINDOWS\setemy_ C:\WINDOWS\setemy_ 用Killbox删除那些木马文件,由于文件具有隐藏属性,可能无法直接看到,但Killbox能直接删除. 上面的文件不一定全部存在,如果Killbox提示文件不存在或已经删除就没关系了
上海灿福信息科技发展集团有限公司怎么样？
简介：上海灿福信息科技发展集团有限公司(简称“灿福集团”)是一家专业从事信贷资产风险定价及信贷场景孵化的金融科技公司，致力于用大数据信息技术改变传统的信贷模式，目前主要为各持牌金融机构提供流量、风控及贷后管理输出。 灿福集团根据合作电商平台多年经营电子商务积累下的用户基础属性信息、购买行为与偏好、支付而产生的资金流信息和部分银行信息，以及物流端而产生的地理位置等线下非结构化数据等，构成大数据金融的核心数据资产。 在此数据基础上，灿福集团启用自身研发的“图灵引擎”，通过大数据征信方式结合自身风控系统的机器学习模型，法定代表人：叶中秋成立时间：2015-02-11注册资本：7000万人民币企业类型：有限责任公司（自然人投资或控股）公司地址：上海市虹口区纪念路500号5幢108室
发表评论