分类技术下的文章 - we see 视界

大型互联网网站架构优化

这篇文章最早我是在360的时候，那个到时处理360手机商城，然后积累的一些经验，然后处理的然后只是很早之前都写出来了，但是这个没有发表，这次重新把它找出来了，在这里再重新同步一次。一、分我们知道，对于一个大型网站来说，可伸缩性是非常重要的，怎么样在纵向和横向有良好的可伸缩性，就需要在做架构设计的时候考虑到一个分的原则，我想在多个方面说一下怎么分：首先是横向的分：大的网站化解为多个小网站：当我们一个网站有多个功能的时候，可以考虑把这个网站拆分成几个小模块，每一个模块可以是一个网站，这样的话我们到时候就可以很灵活地去把这些网站部署到不同的服务器上。批注：现在很多网站他运营着多个域名就比如CSDN，他的博客是blog.csdn.net ，写博客是用的write.blog.csdn.net，主站用www，每个站之间独立运营，让整个服务器的前面，Nginx负载均衡压力不会特别大，因为ng的负载每秒最大是3万多也有人说5万10万的，但是到最后限制最大的不是机器本身的性能反而是带宽。之前在博客上有看到有人，有人测redis最大连接是10万+的连接数时，那么需要的带宽1000G以上。所以连

技术 · 2023-06-29

大型互联网网站架构优化

四种 Git 代码管理工作流简介

业界常见的 4 种 Git 工作流，您可以选择任一预设的工作流作为初始配置，也可以选择自定义配置，全新定义团队需要的分支规则。一、Github Flow 模式GitHub Flow 是一个非常轻便的，基于分支的工作流，非常适合代码部署非常频繁的团队和项目。它最大优点就是简单，对于”持续发布”的产品是最合适的流程。它默认 master 的更新与产品的发布是一致的。版本管理默认开启版本管理。开启后，拉取的分支将归属于版本，包括分支关联的需求、缺陷等数据也将从该版本关联的维度去筛选过滤。分支类型默认 master 为主干分支。自定义 2 种分支类型。开发分支，分支名 dev/*，跟随版本。修复分支，分支名 bugfix/*，跟随版本。分支拉取与合入规则允许从所有类型拉取 dev，并自动同步源分支。允许从所有类型拉取 bugfix 允许dev合并至dev、 master 允许bugfix合并至bugfix、 master 高级工具支持默认开启分支权限管理。默认开启分支变更文件覆盖提醒及自动同步。需求、缺陷绑定设置若项目关联

技术 · 2023-06-28

四种 Git 代码管理工作流简介

[无界]让iframe焕发新生-微前端框架【转】

评论：之前在部分业务中使用了无界，通过微前端框架来解决多业务、异构前端业务的融合性问题。早期项目中都是直接用 iframe 。需要另外开发一套postmessage 的通信机制，另外父级框架刷新后iframe内部的地址和状态丢失。[无界](https://github.com/Tencent/wujie/)是鹅厂中台开源项目是基于Web Components + iframe 来实现的微前端框架。主要包含的内容有：通信模块(父子、兄弟模块间通信)，状态于依赖共享，应用嵌套模块，js/css沙箱，内嵌脚本，预加载逻辑，单页应用的tab机制等。这里可以留个位，后续做一个源码分析。 | 导语iframe是一个天然的微前端方案，但受限于跨域的严格限制而无法很好的应用，本文介绍一种基于iframe的全新微前端方案，继承iframe的优点，补足iframe的缺点，让iframe焕发新生。目录背景无界方案使用无界适配成本实现细节实现一个纯净的 iframe &nb

技术 · 2023-06-26

[无界]让iframe焕发新生-微前端框架【转】

[长文]写给开发同学AI强化学习入门指南【转载】

点评：从去年chatgpt 发布以来AI算法领域的技术与AI应用就特别的火，鹅厂的同学整理了一些资料，然后讲基本所需的知识点介绍了一些。尤其是机器学习(Machine Learning)&深度学习(Deep Learning)相关的。其中涉及了几个基础算法问题，如：贪心算法，马尔可夫决策过程算法，蒙特卡洛方法、强化学习方法，DQN等。文中提提供了一些参考资料介绍：感知机、神经网络、决策树、SVM、Adaboost到随机森林、Deep Learning等。机器学习(Machine Learning)&深度学习(Deep Learning)资料库大概有七八百篇得资料，共大家一起学习参考. 以下是正文最近因为 AI 大火，搞的我也对 AI 突然也很感兴趣，于是开启了 AI 的学习之旅。其实我也没学过机器学习，对 AI 基本上一窍不通，但是好在身处在这个信息爆炸的时代，去网上随便一搜发现大把的学习资料。像这个链接里面：https://github.com/ty4z2008/Qix/blob/master/dl.md 就有很多资料，但是这相当于大海捞针。在学习之前我们先明确自己的目的是什么，

技术 · 2023-06-26

[长文]写给开发同学AI强化学习入门指南【转载】

SOLID 原则说明与感悟

目录SOLID 原则说明与感悟前言 SOLID 设计模式的具体内容 SOLID 原则详解一、单一职责原则 1、单一职责带来的好处 2、反规则的

技术 · 2023-06-25

SOLID 原则说明与感悟

《代码整洁之道-Clean Code》【转载】

原文地址：https://juejin.cn/post/7153906550505996296。是对《代码整洁知道-Clean Code》[美] Robert C.Martin 的总结。之前也看了这本书，大部分的书本内容都能完整的描述一个体系的内容，相对网上零碎的知识点来说，相对的信息量和完整度会更好。如果有好书建议好好拜读一下，完整的内容受益终身。一句话总结很多观点都认为“开发业务没有技术含量，做架构才能体现技术价值”，这种观点有失偏颇。业务架构并不简单，只是很多开发同学理解简单了而已。业务架构讲究工程代码在迭代过程中能持续地应对杂、变等难题并保持程序员的生产力不下降。既然代码需要持续维护，那整洁的架构就非常有必要，本书从微观、宏观上介绍了保持架构整洁的一些方法。脑图详情第一章：整洁代码本章节是对全书的大概介绍，作者的核心观点是：代码永远不可能被代替，因为编码过程就是把需求细节描述为机器可以理解的粒度。而这个过程中注定有些事情是无法抽象的保持代码的整洁非常必要，这需要程序员自己亲自实践。不可能任何程序员看了此书后都会变成整洁代码大师编码领域的规范：借用美国童子军军规——“让

技术 · 2023-06-25

《代码整洁之道-Clean Code》【转载】

Word2Vec [单词向量化]详解

本文转载自知乎[苏一]的,《Word2Vec详解》原文地址：https://zhuanlan.zhihu.com/p/61635013Word2vec是一种用于自然语言处理（NLP）的技术，于2013年发布。word2vec算法使用神经网络模型从大型文本语料库中学习单词关联。一旦经过训练，这样的模型就可以检测同义词或为部分句子建议额外的单词。目录一、Word2Vec概述二、Word2Vec原理三、CBOW四、Skip-gram五、Hierarchical Softmax六、Negative Sampling一、Word2Vec概述 Word2Vec是google在2013年推出的一个NLP工具，它的特点是能够将单词转化为向量来表示，这样词与词之间就可以定量的去度量他们之间的关系，挖掘词之间的联系。用词向量来表示词并不是Word2Vec的首创，在很久之前就出现了。最早的词向量采用One-Hot编码，又称为一位有效编码，每个词向量维度大小为整个词汇表的大小，对于每个具体的词汇表中的词，将对应的位置置为1。比如我们有下面的5个词组成的词汇表，采用One-Hot编码方式来表示词向量非常简

技术 · 2023-06-18

Word2Vec [单词向量化]详解

推荐系统综述——附Xmind速览图

转载自余欲与鱼语渔的csdn 博客[推荐系统综述——附Xmind三分钟重点速览版] 编者注：推荐系统在产品的应用上十分广泛，再比如内容推荐、广告推荐、用户行为推荐、视频内容之类的推荐。都是用到了推荐系统相关的一些基本原理。推荐系统一般是结合着AB测试系统去上线或下架。一个推荐策略的一个优化都是通过AB测试验证对应的效果后才会上线，并且推荐算法会经过不停的打磨调优。新的推荐算法和推荐策略的迭代受限于本身产品的一个受众群体、产品调性、法律要求、道德水平等方面 1. 推荐系统概述 1.1 推荐系统是什么推荐：根据用户的历史行为进行用户兴趣建模，结合内容的特征，给到用户最能满足其兴趣和需求的内容。推荐系统：推荐系统是一种信息过滤系统，用于预测用户对物品的“评分”或“偏好”，是特定场景下人与信息更有效率的连接。 1.2 推荐系统意义个性化推荐系统，主要是为了以下两点：解决信息过载问题；挖掘长尾物品/信息。推荐系统通过发掘用户的行为，找到用户的个性化需求，从而将长尾物品准确推荐给需要它的用户，帮助用户找到他们感兴趣但很难发现的物品。 1.3 推荐系统工作步骤推

技术 · 2023-06-18

推荐系统综述——附Xmind速览图

工程师基础-让人崩溃的readbility 考试

背景硅谷的很多大型科技，比如：google、facebook、amazon 等，为了让代码的编码风格、代码质量更高，一般是有获得公司代码可读性认证(code-review-readability-certification)的人当作代码的审查者。Googler被要求较快地成为优秀的程序员，这是工作的基本要求。所以，Google的readability仅仅强调对某一门编程语言的设计理念、惯用法、细节代码最佳实践的熟练掌握。Readability训练营与认证在很大程度上考虑了DRY/SOLID/KISS等在代码设计原则与实现层面的应用。价值直接的价值就是：推进工程文化建设，个人工程师素养、公司组织管理、工具建设，是搞好现代化研发。宏观价值：提升团队、公司的整体技术水平，利于产品研发质量、对外开源建设的水平。个人价值：提升个人能水平，通过日复一日的高水平训练可以整体的架构设计能力、编码水平等。认证说明绿带（wet-hands）考试，是给大家一段400行左右的代码做code review。一般集中在一个地方，限时两个小时。考试给到的代码，可读性都非常差。正常情况，一般是指出核心设计问题，给出明

技术 · 2023-06-16

工程师基础-让人崩溃的readbility 考试

StarCoder: 最先进的代码大模型

转载至 hugging face。原文地址，English version最近在研究 AI 在前端方面的应用，所以看到这个startCoder 库，github 地址是：https://github.com/bigcode-project/starcoder。这个库还有其他的方面应用，这里共享给大家。关于 BigCodeBigCode 是由 Hugging Face 和 ServiceNow 共同领导的开放式科学合作项目，该项目致力于开发负责任的代码大模型。StarCoder 简介StarCoder 和 StarCoderBase 是针对代码的大语言模型 (代码 LLM)，模型基于 GitHub 上的许可数据训练而得，训练数据中包括 80 多种编程语言、Git 提交、GitHub 问题和 Jupyter notebook。与 LLaMA 类似，我们基于 1 万亿个词元训练了一个约 15B 参数的模型。此外，我们还针对一个 35B 词元的 Python 数据集对 StarCoderBase 模型进行了微调，从而获得了一个我们称之为 StarCoder 的新模型。我们发现 StarCod

技术 · 2023-06-16

StarCoder: 最先进的代码大模型

Theme Jasmine by Kent Liao

粤ICP备2023052298号-1