面试问：Kafka为什么速度那么快？该怎么回答

2019-10-18 14:54:04Kafka的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka的特性之一就是高吞吐率。

Kafka的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka的特性之一就是高吞吐率。即使是普通的 服务器 ，Kafka也可以轻松支持每秒百万级的写入请求，超过了大部分的消息中间件，这种特性也使得Kafka在日志处理等海量数据场景广泛应用。

针对Kafka的基准测试可以参考，Apache Kafka基准测试：每秒写入2百万(在三台廉价机器上)

下面从数据写入和读取两方面分析，为什么Kafka速度这么快

一、写入数据

Kafka会把收到的消息都写入到硬盘中，它绝对不会丢失数据。为了优化写入速度Kafka采用了两个技术， 顺序写入和MMFile 。

顺序写入

磁盘读写的快慢取决于你怎么使用它，也就是顺序读写或者随机读写。在顺序读写的情况下，磁盘的顺序读写速度和内存持平。

因为硬盘是机械结构，每次读写都会寻址->写入，其中寻址是一个“机械动作”，它是最耗时的。所以硬盘最讨厌随机I/O，最喜欢顺序I/O。为了提高读写硬盘的速度，Kafka就是使用顺序I/O。

而且Linux对于磁盘的读写优化也比较多，包括read-ahead和write-behind，磁盘缓存等。如果在内存做这些操作的时候，一个是JAVA对象的内存开销很大，另一个是随着堆内存数据的增多，JAVA的GC时间会变得很长，使用磁盘操作有以下几个好处：

下图就展示了Kafka是如何写入数据的， 每一个Partition其实都是一个文件 ，收到消息后Kafka会把数据插入到文件末尾(虚框部分)：

这种方法有一个缺陷——没有办法删除数据 ，所以Kafka是不会删除数据的，它会把所有的数据都保留下来，每个消费者(Consumer)对每个Topic都有一个offset用来表示读取到了第几条数据 。 两个消费者：

如果不删除硬盘肯定会被撑满，所以Kakfa提供了两种策略来删除数据：

Memory Mapped Files

即便是顺序写入硬盘，硬盘的访问速度还是不可能追上内存。所以Kafka的数据并不是实时的写入硬盘 ，它充分利用了现代操作系统分页存储来利用内存提高I/O效率。

Memory Mapped Files(后面简称mmap)也被翻译成 内存映射文件 ，在64位操作系统中一般可以表示20G的数据文件，它的工作原理是直接利用操作系统的Page来实现文件到物理内存的直接映射。

完成映射之后你对物理内存的操作会被同步到硬盘上(操作系统在适当的时候)。

通过mmap，进程像读写硬盘一样读写内存(当然是虚拟机内存)，也不必关心内存的大小有虚拟内存为我们兜底。

使用这种方式可以获取很大的I/O提升，省去了用户空间到内核空间复制的开销(调用文件的read会把数据先放到内核空间的内存中，然后再复制到用户空间的内存中。) 但也有一个很明显的缺陷——不可靠，写到mmap中的数据并没有被真正的写到硬盘，操作系统会在程序主动调用flush的时候才把数据真正的写到硬盘。

Kafka提供了一个参数——producer.type来控制是不是主动flush，如果Kafka写入到mmap之后就立即flush然后再返回Producer叫 同步 (sync);写入mmap之后立即返回Producer不调用flush叫异步 (async)。

二、读取数据

Kafka在读取磁盘时做了哪些优化?

基于sendfile实现Zero Copy

传统模式下，当需要对一个文件进行传输的时候，其具体流程细节如下：

以上细节是传统read/write方式进行网络文件传输的方式，我们可以看到，在这个过程当中，文件数据实际上是经过了四次copy操作：

而sendfile系统调用则提供了一种减少以上多次copy，提升文件传输性能的方法。

在内核版本2.1中，引入了sendfile系统调用，以简化网络上和两个本地文件之间的数据传输。sendfile的引入不仅减少了数据复制，还减少了上下文切换。 sendfile(socket, file, len);

运行流程如下：

在Apache、Nginx、lighttpd等Web服务器当中，都有一项sendfile相关的配置，使用sendfile可以大幅提升文件传输性能。

Kafka把所有的消息都存放在一个一个的文件中，当消费者需要数据的时候Kafka直接把文件发送给消费者，配合mmap作为文件读写方式，直接把它传给sendfile。

批量压缩

在很多情况下，系统的瓶颈不是CPU或磁盘，而是网络IO，对于需要在广域网上的数据中心之间发送消息的数据流水线尤其如此。进行数据压缩会消耗少量的CPU资源,不过对于kafka而言,网络IO更应该需要考虑。

三、总结

Kafka速度的秘诀在于，它把所有的消息都变成一个批量的文件，并且进行合理的批量压缩，减少网络IO损耗，通过mmap提高I/O速度，写入数据的时候由于单个Partion是末尾添加所以速度最优;读取数据的时候配合sendfile直接暴力输出。

面试是被问 优缺点怎么回答？？

1、关于优点：重点描绘自己过去的成就，用实绩说话，可以用以下表现能力的有一定分量的词，如：开发、研制、创造、完成、组织、设计、策划、协调、管理、训练、节省、有效等。 2、关于缺点：回答这类问题的秘诀在于不接受这种否定暗示。 不要否认你有缺点，没人会相信世界上有完人；相反，你应该承认一个微不足道的弱点或一个小小的缺点，然后再说那都已经成为过去了，表明自己是怎样克服这个缺点的。

学生会外联部面试

跟你说哦，面试要回答的问题呢，无非就几样而已。 首先你要做到的是很自信的样子（这可是面试最重要的了），仿佛你十分有把我胜任这份工作，气势要出来镇住面试你的人；必须面带笑容（第二重要哦），外联部的重要就在形象和口才了。 其实，对于提问的问题你必须先思考一番，不必急于给答案。 这个时候的脸上的笑容也在坚持着（我大学学习部面试出来后我的脸差点要僵掉）。 答不上不要紧，你可以告诉他们你对于这份工作的具体情况不甚了解，必须要接触后你的答复才会更加让他们满意。 问题可能涉及到“你觉得本校的外联部怎样”“你觉得你可以胜任这份工作吗”“当你得到这份工作后你有怎样的计划”，在你去参加面试之前不妨多做好应试这些内容的准备。 西西，记住微笑哦。 还有呀，祝你能够顺利通过面试。

应聘面试

16个经典面试问题回答思路 面试过程中，面试官会向应聘者发问，而应聘者的回答将成为面试官考虑是否接受他的重要依据。 对应聘者而言，了解这些问题背后的“猫腻”至关重要。 本文对面试中经常出现的一些典型问题进行了整理，并给出相应的回答思路和参考答案。 读者无需过分关注分析的细节，关键是要从这些分析中“悟”出面试的规律及回答问题的思维方式，达到“活学活用”。 问题一：“请你自我介绍一下” 思路： 1、这是面试的必考题目。 2、介绍内容要与个人简历相一致。 3、表述方式上尽量口语化。 4、要切中要害，不谈无关、无用的内容。 5、条理要清晰，层次要分明。 6、事先最好以文字的形式写好背熟。 问题二：“谈谈你的家庭情况” 思路：1、 况对于了解应聘者的性格、观念、心态等有一定的作用，这是招聘单位问该问题的主要原因。 2、 简单地罗列家庭人。 3、 宜强调温馨和睦的家庭氛围。 4、 宜强调父母对自己教育的重视。 5、 宜强调各位家庭成员的良好状况。 6、 宜强调家庭成员对自己工作的支持。 7、 宜强调自己对家庭的责任感。 问题三：“你有什么业余爱好？” 思路： 1、 业余爱好能在一定程度上反映应聘者的性格、观念、心态，这是招聘单位问该问题的主要原因。 2、 最好不要说自己没有业余爱好。 3、 不要说自己有那些庸俗的、令人感觉不好的爱好。 4、 最好不要说自己仅限于读书、听音乐、上网，否则可能令面试官怀疑应聘者性格孤僻。 5、 最好能有一些户外的业余爱好来“点缀”你的形象。 问题四：“你最崇拜谁？” 思路： 1、 最崇拜的人能在一定程度上反映应聘者的性格、观念、心态，这是面试官问该问题的主要原因。 2、 不宜说自己谁都不崇拜。 3、 不宜说崇拜自己。 4、 不宜说崇拜一个虚幻的、或是不知名的人。 5、 不宜说崇拜一个明显具有负面形象的人。 6、 所崇拜的人人最好与自己所应聘的工作能“搭”上关系。 7、 最好说出自己所崇拜的人的哪些品质、哪些思想感染着自己、鼓舞着自己。 问题五：“你的座右铭是什么？” 思路： 1、座右铭能在一定程度上反映应聘者的性格、观念、心态，这是面试官问这个问题的主要原因。 2、不宜说那些医引起不好联想的座右铭。 3、不宜说那些太抽象的座右铭。 4、不宜说太长的座右铭。 5、座右铭最好能反映出自己某种优秀品质。 6、 参考答案——“只为成功找方法，不为失败找借口” 问题六：“谈谈你的缺点” 思路： 1、 不宜说自己没缺点。 2、 不宜把那些明显的优点说成缺点。 3、 不宜说出严重影响所应聘工作的缺点。 4、 不宜说出令人不放心、不舒服的缺点。 5、 可以说出一些对于所应聘工作“无关紧要”的缺点，甚至是一些表面上看是缺点，从工作的角度看却是优点的缺点。 问题七：“谈一谈你的一次失败经历” 思路： 1、 不宜说自己没有失败的经历。 2、 不宜把那些明显的成功说成是失败。 3、 不宜说出严重影响所应聘工作的失败经历， 4、 所谈经历的结果应是失败的。 5、 宜说明失败之前自己曾信心白倍、尽心尽力。 6、 说明仅仅是由于外在客观原因导致失败。 7、 失败后自己很快振作起来，以更加饱满的热情面对以后的工作。 问题八：“你为什么选择我们公司？” 思路： 1、 面试官试图从中了解你求职的动机、愿望以及对此项工作的态度。 2、 建议从行业、企业和岗位这三个角度来回答。 3、 参考答案——“我十分看好贵公司所在的行业，我认为贵公司十分重视人才，而且这项工作很适合我，相信自己一定能做好。 ” 问题九：“对这项工作，你有哪些可预见的困难？” 思路： 1、 不宜直接说出具体的困难，否则可能令对方怀疑应聘者不行。 2、 可以尝试迂回战术，说出应聘者对困难所持有的态度——“工作中出现一些困难是正常的，也是难免的，但是只要有坚忍不拔的毅力、良好的合作精神以及事前周密而充分的准备，任何困难都是可以克服的。 ” 问题十：“如果我录用你，你将怎样开展工作” 思路： 1、 如果应聘者对于应聘的职位缺乏足够的了解，最好不要直接说出自己开展工作的具体办法， 2、 可以尝试采用迂回 战术来回答，如“首先听取领导的指示和要求，然后就有关情况进行了解和熟悉，接下来制定一份近期的工作计划并报领导批准，最后根据计划开展工作。 ” 问题十一：“与上级意见不一是，你将怎么办？” 思路： 1、 一般可以这样回答“我会给上级以必要的解释和提醒，在这种情况下，我会服从上级的意见。 ” 2、 如果面试你的是总经理，而你所应聘的职位另有一位经理，且这位经理当时不在场，可以这样回答：“对于非原则性问题，我会服从上级的意见，对于涉及公司利益的重大问题，我希望能向更高层领导反映。 ” 问题十二：“我们为什么要录用你？” 思路： 1、 应聘者最好站在招聘单位的角度来回答。 2、 招聘单位一般会录用这样的应聘者：基本符合条件、对这份共组感兴趣、有足够的信心。 3、 如“我符合贵公司的招聘条件，凭我目前掌握的技能、高度的责任感和良好的饿适应能力及学习能力 ，完全能胜任这份工作。 我十分希望能为贵 公司服务，如果贵公司给我这个机会，我一定能成为贵公司的栋梁！” 问题十三：“你能为我们做什么？” 思路： 1、 基本原则上“投其所好”。 2、 回答这个问题前应聘者最好能“先发制人”，了解招聘单位期待这个职位所能发挥的作用。 3、 应聘者可以根据自己的了解，结合自己在专业领域的优势来回答这个问题。 问题十四：“你是应届毕业生，缺乏经验，如何能胜任这项工作？” 思路： 1、 如果招聘单位对应届毕业生的应聘者提出这个问题，说明招聘单位并不真正在乎“经验”，关键看应聘者怎样回答。 2、 对这个问题的回答最好要体现出应聘者的诚恳、机智、果敢及敬业。 3、 如“作为应届毕业生，在工作经验方面的确会有所欠缺，因此在读书期间我一直利用各种机会在这个行业里做兼职。 我也发现，实际工作远比书本知识丰富、复杂。 但我有较强的责任心、适应能力和学习能力，而且比较勤奋，所以在兼职中均能圆满完成各项工作，从中获取的经验也令我受益非浅。 请贵公司放心，学校所学及兼职的工作经验使我一定能胜任这个职位。 ” 问题十五：“你希望与什么样的上级共事？” 思路： 1、 通过应聘者对上级的“希望”可以判断出应聘者对自我要求的意识，这既上一个陷阱，又上一次机会。 2、 最好回避对上级具体的希望，多谈对自己的要求。 3、 如“做为刚步入社会新人，我应该多要求自己尽快熟悉环境、适应环境，而不应该对环境提出什么要求，只要能发挥我的专长就可以了。 ” 问题十六：“您在前一家公司的离职原因是什么？” 思路： 1、 最重要的是：应聘者要使找招聘单位相信，应聘者在过往的单位的“离职原因”在此家招聘 单位里不存在。 2、 避免把“离职原因”说得太详细、太具体。 3、 不能掺杂主观的负面感受，如“太幸苦”、“人际关系复杂”、“管理太混乱”、“公司不重视人才”、“公司排斥我们某某的员工”等。 4、 但也不能躲闪、回避，如“想换换环境”、“个人原因”等。 5、 不能涉及自己负面的人格特征，如不诚实、懒惰、缺乏责任感、不随和等。 6、 尽量使解释的理由为应聘者个人形象添彩。 7、 如“我离职是因为这家公司倒闭。 我在公司工作了三年多，有较深的感情。 从去年始，由于市场形势突变，公司的局面急转直下。 到眼下这一步我觉得很遗憾，但还要面对显示，重新寻找能发挥我能力的舞台。 ” 同一个面试问题并非只有一个答案，而同一个答案并不是在任何面试场合都有效，关键在于应聘者掌握了规律后，对面试的具体情况进行把握，有意识地揣摩面试官提出问题的心理背景，然后投其所好。