经验沉淀知识结晶

技术因为专注才彻底。

日志

关于我

驰晨

主要从事JAVA中间件,大数据,分布式系统,高并发等相关底层技术。

文章分类

转载 Solr 分布式部署

2011-08-08 15:01:36| 分类： Luence/Solr | 标签： |举报 |字号大中小订阅

下载LOFTER 我的照片书 |

SOLR复制模式，是一种在分布式环境下用于同步主从服务器的一种实现方式，因之前提到的基于rsync的SOLR不同方式部署成本过高，被SOLR1.4版本所替换，取而代之的就是基于HTTP协议的索引文件传输机制，该方式部署简单，只需配置一个文件即可。

以下讲解具体操作步骤：

步骤分主服务器和从服务器，允许有多个从服务器，即从服务器的配置一样。

主服务器：

在solrConfig.xml中，找到以下行：

<lst name="master">
<str name="replicateAfter">commit</str>
<str name="confFiles">schema.xml,stopwords.txt,elevate.xml</str>
<str name="commitReserveDuration">00:05:00</str>
<str name="httpBasicAuthUser">123</str>
<str name="httpBasicAuthPassword">123</str>
</lst>
</requestHandler>

说明：

replicateAfter : SOLR会自行在以下操作行为发生后执行复制： 'commit', 'startup' 'optimize',这里我们选择commit , 即SOLR每一次接受到commit请求后，会执行复制策略。
confFiles : 待分发的配置文件，solr 也会将主服务器上的字段配置文件：schema.xml和stopwords.txt，固排文件： elevate.xml同步到辅服务器上。
commitReserveDuration: 每次commit之后，保留增量索引的周期时间，这里设置为5分钟。

从服务器

<lst name="slave">
<str name="masterUrl">http://localhost:port/solr/corename/replication</str>
<str name="pollInterval">00:05:00</str>
<str name="compression">internal</str>
<str name="httpConnTimeout">5000</str>
<str name="httpReadTimeout">10000</str>
<str name="httpBasicAuthUser">123</str>
<str name="httpBasicAuthPassword">123</str>
</lst>
</requestHandler>

说明：

masterUrl : 主服务器同步URL地址
pollInterval:从服务器同步间隔，即每隔多长时间同步一次主服务器
httpConnTimeout:设置连接超时（单位：毫秒）
httpReadTimeout:如果设置同步索引文件过大，则应适当提高此值。（单位：毫秒）
httpBasicAuthUser:验证用户名，需要和主服务器一致
httpBasicAuthPassword:验证密码，需和主服务器一致
compression:external or internal 使用SOLR自己的压缩算法或应用容器的

区别： 内部算法会大大提高同步成本，原话： USE THIS ONLY IF YOUR BANDWIDTH IS LOW . THIS CAN ACTUALLY SLOWDOWN REPLICATION IN A LAN。

因此建议使用外部方式即： external .

同时需要配置外部应用容器：以TOMCAT为例：

<Connector compression="on"
compressableMimeType="text/html,text/xml,text/plain"
compressionMinSize="2048"/>

评论这张

转发至微博

阅读(3461)| 评论(0)

历史上的今天

this.p={  m:2,
              b:2,
              loftPermalink:'',
              id:'fks_095075087085084074086082081095080084083066083095084067',
              blogTitle:'转载 Solr 分布式部署',
              blogAbstract:'<span style=\"font-size: large;\"\><span style=\"font-size: medium;\"\>      SOLR复制模式，是一种在分布式环境下用于同步主从服务器的一种实现方式，因之前提到的基于rsync的SOLR不同方式部署成本过高，被SOLR1.4版本所替换，取而代之的就是基于HTTP协议的索引文件传输机制，该方式部署简单，只需配置一个文件即可。</span\></span\> <p\><span style=\"font-size: large;\"\><span style=\"font-size: medium;\"\>以下讲解具体操作步骤：</span\></span\></p\> <p\><span style=\"font-size: large;\"\></span\></p\> <p\><span style=\"font-size: large;\"\></span\></p\> <p\><span style=\"font-size: large;\"\><span style=\"font-size: medium;\"\>     步骤分主服务器和从服务器，允许有多个从服务器，即从服务器的配置一样。</span\></span\></p\> <p\></p\>',
              blogTag:'solr分布式,分布式部署',
              blogUrl:'blog/static/422179202011783136785',
              isPublished:1,
              istop:false,
              type:2,
              modifyTime:0,
              publishTime:1312786896785,
              permalink:'blog/static/422179202011783136785',
              commentCount:0,
              mainCommentCount:0,
              recommendCount:0,
              bsrk:-100,
              publisherId:0,
              recomBlogHome:false,
              currentRecomBlog:false,
              attachmentsFileIds:[],
              vote:{},
              groupInfo:{},
              friendstatus:'none',
              followstatus:'unFollow',
              pubSucc:'',
              visitorProvince:'',
              visitorCity:'',
              visitorNewUser:false,
              postAddInfo:{},
              mset:'000',
              mcon:'',
              srk:-100,
              remindgoodnightblog:false,
              isBlackVisitor:false,
              isShowYodaoAd:false,
              hostIntro:'主要从事JAVA中间件,大数据,分布式系统,高并发等相关底层技术。',
              hmcon:'1',
              selfRecomBlogCount:'0',
              lofter_single:'<iframe width="140" height="560" style="overflow:hidden;" src="http://www.lofter.com/mailEntry.do?blogad=1&blog" frameBorder="0"></iframe>'
            }

{list a as x}
    {if !!x}
    <div class="iblock nbw-fce nbw-f40">
      <a class="fc03 noul" target="_blank" hidefocus="true" href="http://blog.163.com/${x.visitorName}/">
      {if x.visitorName==visitor.userName}
      <img alt="${x.visitorNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.visitorName)}&r=${visitor.imageUpdateTime}"/>
      {else}
      <img alt="${x.visitorNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.visitorName)}"/>
      {/if}
      </a>
      <div class="cwd vname thide">
        {if x.moveFrom=='wap'}
          <a class="noul pnt" target="_blank" href="http://blog.163.com/services/wapblog.html?frompersonalbloghome"><span title="来自网易手机博客" class="iblock wapIcon"> </span></a>
        {elseif x.moveFrom=='iphone'}
          <a class="noul pnt" target="_blank"><span title="来自iPhone客户端" class="iblock iphoneIcon"> </span></a>
        {elseif x.moveFrom=='android'}
          <a class="noul pnt" target="_blank"><span title="来自Android客户端" class="iblock androidIcon"> </span></a>
        {elseif x.moveFrom=='mobile'}
          <a class="noul pnt" target="_blank" href="http://blog.163.com/services/emsblog.html?frompersonalbloghome"><span title="来自网易短信写博" class="iblock wapIcon"> </span></a>
        {/if}
        <a class="fc03 m2a"  target="_blank" hidefocus="true" href="http://blog.163.com/${x.visitorName}/">
          ${fn(x.visitorNickname,8)|escape}
        </a>
      </div>
    </div>
    {/if}
    {/list}

<#--最新日志，群博日志--> <#--推荐日志-->

<p class="fc06">推荐过这篇日志的人：</p>
    <div>
      {list a as x}
      {if !!x}
      <div class="iblock nbw-fce nbw-f40">
        <a class="fc03 noul" target="_blank" hidefocus="true" href="http://blog.163.com/${x.recommenderName}/">
        <img alt="${x.recommenderNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.recommenderName)}"/>
        </a>
        <div class="cwd thide">
          <a class="fc03 m2a" target="_blank" hidefocus="true" href="http://blog.163.com/${x.recommenderName}/">
            ${fn(x.recommenderNickname,6)|escape}
          </a>
        </div>
      </div>
      {/if}
      {/list}
    </div>
    {if !!b&&b.length>0}
    <p  class="fc06">他们还推荐了：</p>
    <ul>
    {list b as y}
      {if !!y}
        <li class="rrb"><span class="iblock">·</span><a class="fc03 m2a" target="_blank" href="http://blog.163.com/${y.recommendBlogPermalink}/?from=blog/static/422179202011783136785">${y.recommendBlogTitle|escape}</a></li>
      {/if}
    {/list}
    </ul>
    {/if}

<#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇，下一篇--> <#-- 热度 -->

{list a as x}
    {if !!x}
    <div class="hotItem iblock nbw-fce nbw-f40">
      <a class="fc03 noul" target="_blank" hidefocus="true" href="http://blog.163.com/${x.publisherUsername}/">
      {if x.publisherUsername==visitor.userName}
      <img alt="${x.publisherNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.publisherUsername)}&r=${visitor.imageUpdateTime}"/>
      {else}
      <img alt="${x.publisherNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.publisherUsername)}"/>
      {/if}
      </a>
      <div class="cwd vname thide">
        <a class="fc03 m2a"  target="_blank" hidefocus="true" href="http://blog.163.com/${x.publisherUsername}/">
          ${fn(x.publisherNickname,8)|escape}
        </a>
      </div>
      <a class="f-myLikeIcons hottype {if x.type==1} js-liketype{elseif x.type==2} js-reblogtype{elseif x.type==3} js-sharetype{else}{/if}" target="_blank" hidefocus="true" href="http://blog.163.com/${x.publisherUsername}/"> </a>
    </div>
    {/if}
    {/list}

<#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->

页脚

我的照片书 - 手机博客 - 下载LOFTER APP - 订阅此博客

经验沉淀知识结晶

导航

日志

转载 Solr 分布式部署

历史上的今天

最近读者

热度

评论

页脚

经验沉淀 知识结晶

导航

日志

转载 Solr 分布式部署

历史上的今天

最近读者

热度

评论

页脚

经验沉淀知识结晶