Русский
Русский
English
Статистика
Реклама

Usa

Стоимость строительных работ в Сан-Франциско. Инфляция и рост стоимости работ за последние 30 лет

04.08.2020 14:20:22 | Автор: admin
Данные о более чем миллионе разрешений на строительство (записей в двух датасетах) от департамента по строительству Сан-Франциско позволяют проанализировать не только строительную активность в городе, но и критически рассмотреть последнии тенденции и историю развития строительной отрасли за последние 30 лет.

В прошлой статье была рассмотрена общая годовая сумма строительных объемов (инвестиций) в Сан-Франциско в период с 1980 по 2018 год. По разнице между ожидаемой (сметной) и фактической (пересмотренной) стоимостью строительства отслеживались движения настроений инвесторов в периоды экономических бумов и кризисов в регионе.

Взлёты и падения строительной отрасли Сан-Франциско. Тенденции и история развития строительной активности

В данной статье рассмотрим подробнее отдельные отрасли строительства: ремонт крыш, кухонь, лестниц и ванных комнат. После этого сравним инфляцию по отдельным типам работ с данными по официальной инфляции и другими экономическими показателями.

Выводы, разобранные в этой статье


  • Инфляция в строительстве в два раза больше официальной инфляции в стране.
  • Спрос на различные типы жилья год от года меняется и зависит от различных экономических циклов.
  • Экспоненциальный спрос на строительства апартаментов (Apartments) пришелся на последний Хай-тек бум (2016 год)
  • Пик спроса на торговые площади (Retail) и увеличение объемов строительства более чем в 16 раз пришёлся на пик Доткомов (2001 год).
  • Стоимость ремонта крыши и кухни увеличилась за последние 30 лет более чем в 3 раза.
  • Стоимость ремонта ванной комнаты увеличилась за период с 1980 по 2019 год в 5 раза.
  • Бизнес по строительству лестниц почти не повышает цены на ремонт уже почти 30 лет.
  • Цена планового ремонта по 4 категориям (крыша, ванна, кухня, лестница) у однофамильного дома и у двухфамильного дома отличается на 15%.
  • Для общего ремонта по 4 категориям каждые 15-20 лет стоимость ремонта кухни, ванной, крыши и лестницы, в одно-фамильном доме составит примерно $ 54 000 тогда как для двух-фамильного дома эта сумма составит $ 61 000.
  • Бизнес связанный со строительством домов в Сан-Франциско показывает плавный устойчивый рост без колебаний уже 30 лет.
  • Бизнес связанный со строительством торговых площадей, офисов и апартаментов волатильный и имеет многочисленные экспоненциальные взлеты и падения.
  • Если наблюдать многократный рост в течении короткого времени, в следующие два года можно ожидать такого же по интенсивности стремительного падения.
  • Если нужно узнать на сколько поднимется средняя цена на ремонт, следи за стоимостью ставки по 10 летним государственным облигациям.

Построение графиков и расчётов проводилось в Jupyter Notebook (на платформе Kaggle.com).

Взлеты и падения строительной отрасли Сан-Франциско по типу жилья


Технологическая индустрия Сан Франциско является одним из виновников резкого роста цен. Технические работники, зарабатывающие шестизначные цифры, переезжают в город, чтобы работать в стартапах и в более авторитетных компаниях, таких как Google, Facebook, Twitter и Apple резко увеличивают стоимость жизни и увеличивают спрос на жилье. Программисты с карманами, набитыми техническими деньгами, могут позволить себе перекупить большинство местных жителей на рынке недвижимости.

При этом, с точки зрения законодательства в сфере градостроительства Сан-Франциско является одним из наиболее регулируемых городов в Америке. Эти и многие другие факторы сильно ограничивают объемы строительства и влияет на цены и спрос в Сан-Франциско.

Поэтому спрос на различные типы жилья год от года меняется и зависит от различных экономических циклов в регионе. Каждый тип жилья имел и будет иметь свои взлеты и падения на рынке строительства в Сан-Франциско, как например взрыв спроса на апартаменты с 2012 по 2015 год почти в 10 раз, или хайповый, более чем в 16 раз рост спроса с 1997 по 1999 год на торговые площади.

В статье о годовой общей сумме строительных работ, график движения за период с 1980 по 2018 год разделялся на две составляющие:

  • Предположительная (сметная) стоимость работ (синяя линия)
  • Фактическая (пересмотренная) стоимость работ (желтая линия)



Рассмотрим суммарные данные по общей стоимости глубже и перейдём к следующему слою данных.

Общую суммарную стоимость работ разобьем на категории работ по параметру тип жилья (Existing Use):

  • Apartaments (апартаменты)
  • Retail (торговые площади)
  • Office (офисные пространства и бюро)
  • Жилая недвижимость (одно- двух-семейные дома)

dfn = df.dropna(subset=['description'])dfn.description.isnull().values.any()#dfn = dfn[dfn['description'].str.match('kitchen')]df_unit = dfn.loc[:,['revised_cost','existing_use', 'existing_units', 'zipcode','permit_creation_date']]df_unit = df_unit.dropna()#keys = ["hotel","appartments"]df_unit = df_unit[df_unit.existing_use.str.contains("apartments")]#data_loc = df_unit.loc[['estimated_cost', 'revised_cost','permit_creation_date']]data_cost = df_unit data_cost.permit_creation_date = pd.to_datetime(data_cost.permit_creation_date)data_cost = data_cost.set_index('permit_creation_date')data_cost = data_cost[data_cost.index > "1985-8-01"] data_cost = data_cost[data_cost.index < "2019-8-31"] data_cost = data_cost.dropna()data_cost_m = data_cost.groupby(pd.Grouper(freq='300d')).sum()#data_cost_m.head()plt.figure(figsize=(19,8))ax = sns.lineplot(data=data_cost_m.revised_cost, linewidth=3, size = 17)ax.set(xlabel='retail')major_ticks = np.arange(0, 1500000000, 200000000)ax.set_yticks(major_ticks)ax.set(ylim=(0, 1500000000))plt.savefig('plotname.png', transparent=True)



Видно что все типы недвижимости в разные экономические периоды проходили через стремительный параболический (хайповый) рост и такое же стремительное падение.

  1. Пик строительства апартаментов (Apartments) пришелся на последний Хай-тек бум, который был связан с притоком большого количества новых технических работников со всего мира в быстрорастущие фирмы силиконовой долины. Спрос на апартаменты с 2012 по 2015 увеличился в 10 раз. c $ 133 млн в 2012 году до $ 1,4 млрд. инвестированных только в апартаменты в 2015 году.
  2. Пик спроса на торговые площади (Retail) в свою очередь пришёлся на хайп Доткомов. Спрос на торговые площади с 1997 по 1999 увеличился в 16 раз. c $ 22 млн в 1997 до $ 350 млн. инвестированных только в торговые площади в 1999 году. Но схлопывание пузыря привело к исходу технических работников из города и спрос на торговые площади резко упал, и вернулся к стандартному уровню. При этом последний технический бум никак не повлиял на спрос торговых площадей и скорее уже построенные в конце 90-х лишние метры удовлетворяют современный спрос на торговые площади.
  3. Рост спроса на офисную недвижимости (Office) также связан с развитием гигантов силиконовой долины. Но здесь начиная с 2000 года, в отличии от торговой недвижимости и апартаментов, прослеживается устойчивый рост спроса который сопровождается многочисленными, небольшими взлетами и падениями.
  4. Рост инвестиций в жилую недвижимость совпадает по динамики роста с офисной недвижимостью, но отличается от роста офисных площадей плавностью роста и отсутствием больших колебаний спроса.

Если соединить эти 4 основные категории в один график, получаем знакомый по первой статье общий рост и падения всех инвестиций в строительство в городе Сан-Франциско.



Средняя стоимость ремонта кухни и ванны в Сан-Франциско


Взяв данные из характеристики (Feature) Description, мы можем дополнительно отобрать данные по отдельным категориям работ и посмотреть, сколько в среднем стоит ремонт кухни или ванны в Сан-Франциско для различных типов жилья.

fam1 = df_unit[df_unit['existing_use']=='1 family dwelling']['estimated_cost'].mean()fam2 = df_unit[df_unit['existing_use']=='2 family dwelling']['estimated_cost'].mean()office = df_unit[df_unit['existing_use']=='office']['estimated_cost'].mean()apartments = df_unit[df_unit['existing_use']=='apartments']['estimated_cost'].mean()data = {'1 family dwelling':fam1,'2 family dwelling':fam2,'Apartments':apartments}typedf = pd.DataFrame(data = data,index=['redevelopment of the bathroom'])typedf.plot(kind='barh', title="Average estimated cost by type", figsize=(8,6));



Стоимость ремонта кухни в Сан-Франциско почти в два раза больше чем стоимость ремонта ванной комнаты. Логично при этом что средняя стоимость ремонта ванной комнаты на $2 000 больше для двух-фамильного дома ($16 000) чем для одно-фамильного дома ($14 000).

Но при этом средняя стоимость ремонта кухни для двух-фамильного дома ($25 000) почти на 3000$ меньше чем для одно-фамильного дома ($28 000).

Средняя стоимость ремонта крыши и лестницы в Сан-Франциско


По той же характеристике (Feature) Description, отберем только те строки, которые содержат слова reroofing (перекладка крыши) и stairs (ремонт лестницы).



По средней стоимости ремонта крыши, логично что ремонт крыши (из за большей площади крыши у двух-фамильных домов) в среднем на 2000$ больше чем у одно-фамильных домов.

Стоимость ремонта лестницы также в два раза больше для двух-фамильного дома, потому что в одно-фамильном доме лестница или отсутствует (или это только однопролетная лестница).

Стоимость планового ремонта дома в Сан-Франциско


Ремонт кухни, ванной в среднем рекомендуется проводить один раз в 10-15 лет. Ремонт крыши и лестницы один раз в 15-20 лет.



В общем если теоретически через 15 лет после строительства дома произвести ремонт кухни, ванной, крыши и лестницы за один год, то в одно-фамильном доме вам нужно будет накопить для этого $54 000 тогда как для двух-фамильного дома эта сумма составит $61 000. Разница в общей стоимости работ по этим четырем категориям составляет всего 15%.
Таким образом после строительства нового дома, для того чтобы произвести ремонт в доме по четырем категориям (кухня, ванна, крыша, лестница), необходимо ежемесячно откладывать по $350, чтобы через 15 лет накопить необходимые $60 000 для ремонта.

Рост стоимости строительных работ в Сан-Франциско


Взяв данные по категориям работ, и сгруппировав их по годам, можно наблюдать за ростом (и инфляцией) средней стоимости ремонтных работ по типу жилья.

years = list(range(1980, 2020)) keywords = ['1 family dwelling','2 family dwelling','apartments']val_data = []for year in years:    iss_data = []    for word in keywords:        v = df_unit[(df_unit['existing_use']==word) & (df_unit['issued_date']== year)]['estimated_cost'].mean()        iss_data.append(v)    val_data.append(iss_data)#print(val_data)

В следующем графике данные о средней стоимости по типу жилья представлен, как и в предыдущем параграфе, в столбчатом виде.



Этот же график, для наглядного отображения но уже в виде линий, даёт уже более понятную инфляционную картину.

dfnew.plot.bar(figsize=(20, 8)) plt.xlabel("Years")plt.ylabel("Estimated cost of reroofing")plt.title("Estimated cost of reroofing by year");dfnew.plot.line(figsize=(12, 6))



Среднюю же стоимость ремонта крыши характеризует плавный рост начиная с 1990 года.
В отличии от жилых домов средняя стоимость ремонта крыши апартаментов в этот же период проходила многочисленные подъемы и падения.


В стоимости ремонта крыш апартаментов прослеживаются краткосрочные 3 летние циклы.

В отличии от ровной динамики роста средней стоимости ремонта крыш, средняя стоимость ремонт кухонь имеет бОльшую волатильность.



В ремонте кухонь, так же как и в ремонте крыш апартаментов прослеживаются краткосрочные 2x-3-x летние циклы.

В ремонте же ванных комнат уже таких циклов не прослеживается и рост средней стоимости строительства здесь более пологий. Выделяется только повышенная средняя стоимость ремонта ванн в апартаментах перед бумом доткомов?!



Инфляция стоимости строительных работ в Сан-Франциско.


Для того чтобы найти инфляцию средней стоимости ремонта за весь период с 1980 по 2019 год дополним данные трендовой линией. При вычислении инфляции (взяв начальную и конечную точку трендовой линии) получаем, что максимальная инфляция в стоимости за период с 1990 по 2018 год произошла в сфере ванных комнат.

Средняя стоимость ремонта ванной комнаты за последние 30 лет возросла почти в 5 раз (возможно стоимость ремонта выросла из за появления появившихся на рынке новых отделочных материалов и дорогой (и доступной) керамике и сантехники?!).

sns.regplot(y=dfnew_2['2 family dwelling'],x=dfnew_2['index'],data=dfnew_2, fit_reg=True) #sns.jointplot(dfnew_2['index'], dfnew_2['2 family dwelling'], data=dfnew_2, fit_reg=True, stat_func=stats.pearsonr)lines = plt.gca().lineslower1990 = [line.get_ydata().min() for line in lines]upper2019 = [line.get_ydata().max() for line in lines]plt.scatter(1990, lower1990, marker='x', color='C3', zorder=3)plt.scatter(2019, upper2019, marker='x', color='C3', zorder=3)print("In 1990 it cost = $" + str(lower1990[0].round()) + "; In 2019 it cost = $ " + str(upper2019[0].round()))print("Inflation for the period 1980-2019 = " + str(((upper2019[0]-lower1990[0])/lower1990[0]*100).round())+"%")all2 = [line.get_ydata() for line in lines]



Меньше всего отклонений по значениям в категории ремонт крыш, где за последние 30 лет инфляция составила 250% (средняя цена увеличилась более чем в 3 раза). Стоимость ремонта кухни также увеличилась за последние 30 лет в 3 раза.
В тот же самый период, стоимость ремонта лестницы с 1980 по 2019 год почти не изменилась и инфляция средней стоимости в этой сфере строительства составила лишь 85%.


Представим теперь развитие роста инфляции для большей наглядности в едином масштабе, где инфляция варьируется от 0 до 9% и посмотрим на падение ежегодной инфляции стоимости ремонта по категориям в период с 1980 по 2019 год.



Заметно что ежегодная инфляция за последние 30 лет снизилась во всех категориях почти в 2-4 раз (например в ремонте крыш с 8% в 1990 до почти 2% в 2019 году). Это полностью совпадает с экономической политикой в этот период (с 1980 по 2019 год).
Если сравнить официальные данные по инфляции и данные по инфляции в строительном секторе будет видно что только в одном секторе официальная инфляция совпала с инфляцией стоимости работ.


Рост стоимости работ по ремонту лестниц полностью совпадал с официальной инфляцией. В остальных же категориях работ ежегодный рост стоимости строительных работ за последние 30 лет опережал официальную инфляцию почти в 2 раза.

Движение же инфляции по таким категориям как ремонт крыши, ремонт ванных комнат и кухонь, почти полность совпадало с движением процентной ставки по 30 летним кредитам (и соответственно с доходности 10 летних казначейских облигаций).


30-летняя фиксированная ипотека это кредит, процентная ставка которого остается неизменной на протяжении всего срока кредита.
Например, при 30-летней ипотеке в размере 300 000 долларов США с 20% первоначальным взносом и процентной ставкой 3,75% ежемесячные выплаты составят около 1111 долларов США (без учета налогов и страхования). Таким образом, процентная ставка 3,75% (и ежемесячный платеж) остаются неизменными на протяжении всего срока кредита.
10-летний казначейский курс это доход, полученный за инвестиции в выпущенные правительством США казначейские ценные бумаги со сроком погашения 10 лет.

Инфляция в строительстве


Можно видеть, что изменения в стоимости работ совпадает с процентной ставкой по государственным облигациям. График Пола Шмельцинга (профессора Гарвардского университета) показывает, как изменялись глобальные реальные процентные ставки в течение последних восьми веков.



Собирая данные по реальным процентным ставкам в странах с развитой экономикой, Шмельцинг показывает, что реальные показатели показывают отрицательный тренд процентной ставки с 14 века.

Для сравнения период, который рассматривался в статье обозначен желтым цветом.



Начиная с 1311 года, данные из отчета показывают, как средние реальные ставки изменились с 5,1% в 1300-х годах до среднего 2% в 1900-х годах.

Средняя реальная ставка в период 2000-2018 годов составляет 1,3%.


Вместе с реальной ставкой, конечно же снижается и доходность отраслей, которая коррелирует с этой ставкой. Это в первую очередь такие древние отрасли, как аграрная промышленность и строительная отрасль.
Скорее всего в период с 2020 по 2030 год мы увидим новые рекордные минимумы реальных ставок и соответственно снижение доходности в строительной отрасли. Но если доходность снижается, возможно это означает, что производительность будет увеличиваться на эти же недостающие проценты.
Если раньше в строительстве была большая маржа в 10-15%, и компаниям не нужно было задумываться о внедрении новых технологий (которых в принципе было немного), то теперь мы вступаем в новую эпоху низких реальных ставок и низкой маржи в 2-5%, где основную роль в строительной компании будет играть наличие новых инструментов и процессов в работе компании.
Инструментов и новых технологий, которые могут использоваться уже сейчас в строительстве в данный момент в переизбытке.
Строительным компаниям понадобятся десятилетия, для того чтобы эти новые технологии нашли своё место в тяжелоповоротливой и сопротивляющейся строительной отрасли .
Примерно в то же время, когда в Москве начнут работать беспилотные такси российские строительные компании начнут постепенно заменять планировщиков на нижних уровнях автоматизироваными скриптами и инструментами, используюшие технологии больших данных и машинного обучения.

Ссылки на предыдущие публикации по этой теме:


Ссылка на Jupyter Notebook: San Francisco. Building sector 1980-2019.

Если вам нравится мой контент, пожалуйста, подумайте о покупке мне кофе.

Спасибо за вашу поддержку! Купить кофе автору
Подробнее..

Нападения на полицейских в США статистический обзор

18.01.2021 02:05:59 | Автор: admin

Эта статья логическое продолжение серии статей, которые я написал в этом году на тему криминала и правопорядка в США и их связи с расовой принадлежностью (раз, два). В первой серии статей, напомню, мы подробно рассматривали данные по гибели граждан от рук полицейских. А сегодня мы взглянем на этот вопрос с другой стороны: будем разбирать статистику нападений на самих полицейских и постараемся так же проследить закономерности и сделать выводы. Оружием преступников может быть пистолет или нож, а нашим оружием, как и прежде, будет python + pandas. Поехали!


Вместо предыстории


Мои предыдущие статьи на Хабре (раз, два) были посвящены статистическому разбору данных о том, как американские полицейские мочат в сортиреприменяют оружие против населения. Были рассмотрены имеющиеся открытые данные о количестве и видах совершаемых преступлений, распределению уровня преступности по разным штатам, расовой принадлежности преступников и связи всего этого с полицейским насилием. Анализ этот позволил сделать определенные интересные наблюдения Не буду здесь их повторять можете сами вернуться к эти статьям по приведенным выше ссылкам.

Кто-то из моих читателей оставил комментарий вроде понятно, почему в США полицейские не снимают палец со спускового крючка их самих отстреливают ежедневно. И я, естественно, захотел копнуть эту тему немного глубже и рассмотреть ее по другую сторону бронежилета: то есть, данные о нападениях на полицейских и гибели полицейских при исполнении обязанностей. Конечно же, тоже в США. Конечно же, тоже на основе открытых источников. Конечно же, опять python + pandas :)

Исходные данные


Задумано сделано. Благо, данные у меня уже были, я их накачал при изучении материала для предыдущего исследования. Напомню (или, вернее, сообщу) тем, кто по каким-то причинам не читал предыдущих статей, что все данные по преступности, численности полицейских, а также по нападениям на сотрудников правоохранительных органов в США я брал с сайта Crime Data Explorer, обеспечивающего публичный доступ к статистическим базам ФБР. При желании вы сами можете зайти и скачать оттуда те же исходные данные, которые использую я в своей работе.

Для ленивых же (то есть, для таких, как я сам) вот здесь возьмите готовый архив со всеми скачанными и отформатированными данными.

Итак, какие файлы данных используются:

  • LEOKA_ASSAULT_TIME_WEAPON_INJURY_1995_2018.csv набор данных по нападениям на полицейских в США с 1995 по 2018 г. с указанием места, штата, города, времени, нанесенных телесных повреждений, случая гибели и т.п. (естественно, без личных сведений о преступниках и потерпевших)
  • crimes_by_state.csv количество совершенных преступлений насильственного характера (убийства, изнасилования, грабежи и нападения с отягчающими обстоятельствами) по годам и штатам
  • police_employee_1960_2019.csv количество работающих штатных и внештатных полицейских по годам (с 1960 по 2019 г.) и штатам, с указанием также общей численности населения штатов и доли полицейских от населения
  • us_pop_2010-2019_state_race.csv население по всем штатам США с 2010 по 2019 г., разбитое по расовой принадлежности (белые, черные, азиаты, гавайцы, индейцы и остальные) эти данные взяты с сайта Бюро переписи населения США (из России сайт не работает, можете не пытаться нажимать без VPN или прочих разных Торов)
  • us_states.csv перечень штатов США с сокращенными и полными названиями
  • us-states-geo.json координаты границ штатов США (для отображения данных на карте) взят отсюда
  • leoka_felony_2010-2019.xlsx подробные данные по убитым полицейским с 2010 по 2019 г. (включая информацию о возрасте, расе и статусе преступников и жертв и прочие полезные сведения)

Как видите, данных вполне достаточно для небольшого анализа, а возможно, и более масштабного в будущем. Мы же традиционно ограничимся самой простой статистикой и, вполне вероятно, сможем сделать некоторые ценные наблюдения. Приступим!

Analiyze This...


Сразу ссылка на исходник Jupyter / IPython. Приводить полный код я в статье не буду для экономии места мы будем сразу смотреть на получаемые таблицы и графики.

Основной массив данных


После загрузки и объединения данных из различных источников получается вот такая большая таблица (показаны первые 15 из 1171 строк):

DATA_YEAR STATE_ABBR STATE_NAME TIME_0001_0200_CNT TIME_0201_0400_CNT TIME_0401_0600_CNT TIME_0601_0800_CNT TIME_0801_1000_CNT TIME_1001_1200_CNT TIME_1201_1400_CNT ... BLACK_POP POP OFFICER_COUNT OFFICER_RATE_PER_1000 ASSAULTS_PERMLN LETHAL_PERMLN LETHAL_ASSAULTS_PERC ASSAULTS_PER_OFFICERSCNT LETHAL_PER_OFFICERSCNT CRIME
0 1995 AK Alaska 24 31 9 4 4 4 7 ... 0.0 604000 1134 1.88 226.821192 0.000000 0.000000 0.120811 0.000000 4656
1 1995 AL Alabama 16 17 6 3 6 6 16 ... 0.0 4319212 9191 2.13 40.516650 0.231524 0.571429 0.019040 0.000109 26894
2 1995 AR Arkansas 49 30 22 17 21 20 17 ... 0.0 2540304 4743 1.87 173.994923 0.787307 0.452489 0.093190 0.000422 13741
3 1995 AZ Arizona 255 143 75 47 69 80 100 ... 0.0 4236915 8706 2.05 459.768487 0.708062 0.154004 0.223754 0.000345 30095
4 1995 CA California 893 537 212 159 280 328 469 ... 0.0 31854695 63218 1.98 235.538278 0.219748 0.093296 0.118685 0.000111 305154
5 1995 CO Colorado 61 29 17 4 13 15 24 ... 0.0 4892816 10982 2.24 81.956894 0.000000 0.000000 0.036514 0.000000 16494
6 1995 CT Connecticut 105 62 12 20 20 39 37 ... 0.0 3356858 7423 2.21 215.677875 0.000000 0.000000 0.097535 0.000000 13293
7 1995 DC District of Columbia 0 0 0 0 0 0 0 ... 0.0 554000 3691 6.66 0.000000 0.000000 0.000000 0.000000 0.000000 14744
8 1995 DE Delaware 1 5 1 0 0 0 0 ... 0.0 736565 2107 2.86 24.437762 0.000000 0.000000 0.008543 0.000000 5198
9 1995 FL Florida 1389 1041 430 260 318 565 508 ... 0.0 14214968 36383 2.56 705.523924 0.000000 0.000000 0.275651 0.000000 151711
10 1995 GA Georgia 277 58 34 12 45 42 41 ... 0.0 7259408 31523 4.34 109.099805 0.275505 0.252525 0.025125 0.000063 47317
11 1995 HI Hawaii 67 51 19 21 14 25 24 ... 0.0 1241665 2805 2.26 369.664926 0.000000 0.000000 0.163636 0.000000 3509
12 1995 IA Iowa 9 7 1 2 1 1 0 ... 0.0 3041956 4955 1.63 17.751736 0.000000 0.000000 0.010898 0.000000 10071
13 1995 ID Idaho 68 38 12 12 10 7 19 ... 0.0 1215666 2225 1.83 328.215151 0.000000 0.000000 0.179326 0.000000 3745
14 1995 IL Illinois 0 0 0 0 0 0 0 ... 0.0 12093701 32931 2.72 0.000000 0.000000 0.000000 0.000000 0.000000 117836


В таблице этой аж 37 столбцов! Давайте сразу разберемся, что тут есть:

Столбец Тип Описание
DATA_YEAR uint16 Год
STATE_ABBR object Краткое название штата
STATE_NAME object Полное название штата
TIME_0001_0200_CNT uint16 Кол-во нападений с 00:01 до 02:00 часов
TIME_0201_0400_CNT uint16 Кол-во нападений с 02:01 до 04:00 часов
TIME_0401_0600_CNT uint16 Кол-во нападений с 04:01 до 06:00 часов
TIME_0601_0800_CNT uint16 Кол-во нападений с 06:01 до 08:00 часов
TIME_0801_1000_CNT uint16 Кол-во нападений с 08:01 до 10:00 часов
TIME_1001_1200_CNT uint16 Кол-во нападений с 10:01 до 12:00 часов
TIME_1201_1400_CNT uint16 Кол-во нападений с 12:01 до 14:00 часов
TIME_1401_1600_CNT uint16 Кол-во нападений с 14:01 до 16:00 часов
TIME_1601_1800_CNT uint16 Кол-во нападений с 16:01 до 18:00 часов
TIME_1801_2000_CNT uint16 Кол-во нападений с 18:01 до 20:00 часов
TIME_2001_2200_CNT uint16 Кол-во нападений с 20:01 до 22:00 часов
TIME_2201_0000_CNT uint16 Кол-во нападений с 22:01 до 00:00 часов
FIREARM_INJURY_CNT uint16 Кол-во нападений с применением огнестрельного оружия
FIREARM_NO_INJURY_CNT uint16 Кол-во нападений с применением огнестрельного оружия
KNIFE_INJURY_CNT uint16 Кол-во нападений с применением холодного оружия
KNIFE_NO_INJURY_CNT uint16 Кол-во нападений с применением холодного оружия
HANDS_FISTS_FEET_INJURY_CNT uint16 Кол-во нападений с ударами руками, ногами (с телесными повреждениями)
HANDS_FISTS_FEET_NO_INJURY_CNT uint16 Кол-во нападений с ударами руками, ногами (без повреждений)
OTHER_INJURY_CNT uint16 Кол-во нападений с применением иного орудия (с телесными повреждениями)
OTHER_NO_INJURY_CNT uint16 Кол-во нападений с применением иного орудия (без повреждений)
LEOKA_FELONY_KILLED uint16 Кол-во предумышленных убийств
LEOKA_ACCIDENT_KILLED uint16 Кол-во непредумышленных убийств
ASSAULTS uint32 Кол-во нападений (общее)
WHITE_POP float64 Кол-во белого населения (чел.)
BLACK_POP float64 Кол-во черного населения (чел.)
POP uint32 Общее кол-во населения (чел.)
OFFICER_COUNT uint32 Численность сотрудников полиции (чел.)
OFFICER_RATE_PER_1000 float64 Численность сотрудников полиции на 1000 чел.
ASSAULTS_PERMLN float64 Кол-во нападений на 1 млн. населения
LETHAL_PERMLN float64 Кол-во убийств полицейских на 1 млн. населения
LETHAL_ASSAULTS_PERC float64 % убийств от нападений
ASSAULTS_PER_OFFICERSCNT float64 Кол-во нападений на 1 работающего полицейского
LETHAL_PER_OFFICERSCNT float64 Кол-во убийств полицейских на 1 работающего полицейского
CRIME uint32 Кол-во тяжких совершенных преступлений


Здесь есть все, что нам надо для исследования и даже немножко больше :) Следующим логическим шагом является подготовка агрегированных данных по штатам (за весь период наблюдений) и по годам (на все штаты), так как текущая размерность массива не позволяет эффективно анализировать закономерности.

Среднегодовые показатели по штатам


После усреднения данных по всему периоду наблюдений (напомню: с 1995 по 2018 год включительно) можем посмотреть, скажем, на среднегодовое количество нападений на полицейских по всем штатам США. Для наглядности также отразим на том же графике среднегодовое количество совершенных преступлений (здесь и далее все картинки кликабельны):



Картинка здесь примерно та же, которую мы видели при анализе распределения уровня преступности по штатам: самые населенные штаты ожидаемо доминируют (Калифорния, Флорида, Техас), поскольку, естественно, чем больше народа, тем больше и полиции, и конфликтов с полицией. Это подтверждает и зеленая кривая тяжких преступлений, которая по большому счету повторяет очертания синих столбиков. Но здесь обращает на себя внимание Мэриленд далеко не самый населенный штат (на 19-м месте по населению) в непосредственной близи от столицы страны. К этому моменту мы еще вернемся, а пока давайте попробуем отфильтровать составляющую населения и посмотреть на удельные показатели (на 1 млн. человек):



Здесь на первом плане не самые населенные штаты Округ Колумбия (т.е. Вашингтон), тот же Мэриленд, Делавэр, Аляска и та же Флорида. Отсюда можно сделать вывод: в Мэриленде и Флориде нападения на полицейских происходят практически независимо от того, сколько людей проживает в этих штатах. Также здесь налицо отсутствие четкой корреляции с данными по преступлениям: в лидирующих штатах по нападениям на полицейских (кроме Округа Колумбия) удельный уровень преступности не самый высокий, как, например, в Нью-Мексико, Неваде или Южной Каролине.

В качестве дополнительной визуализации отобразим эти данные в виде ящика с усами, чтобы посмотреть на статистическое распределение:



Вот они, эти 5 штатов-лидеров по нападениям в виде черных кружочков над прямоугольником. Они не попадают в пределы наблюдаемого максимума (усов) и считаются отвыбросами. Мэриленд и Округ Колумбия (т.е. Вашингтон) здесь отображены двумя самыми верхними кружками. Не забудем, что эти штаты также являются географическими соседями.

А теперь взглянем на другую важную величину удельное количество нападений на одного служащего полицейского (величина рассчитана как отношение общего количества нападений на полицейских к численности полицейских в каждом штате). Аналогичным образом, для большей наглядности добавим сюда дополнительный график численность полицейских.



Здесь сразу бросается в глаза тот факт, что самое большое количество нападений в расчете на одного полицейского происходит в штатах, где численность полиции не самая высокая (первые три лидера Аляска, Мэриленд и Аризона). Во Флориде укомплектованность полицией очень высокая (оно и понятно наркотрафик и все такое), но при этом и нападений много почти каждый шестой полицейский ежегодно подвергается нападению. Конечно, это не то, что в Аляске и нашем любимом Мэриленде, где почти каждый четвертый полицейский огребает от населения, но все же это довольно много (интересно было бы, кстати, сравнить с ситуацией в России). В среднем же, как мы видим, в Штатах нападению подвергается каждый 11-ый полицейский.

Двигаемся дальше. Посмотрим на среднегодовое количество нападений на полицейских со смертельным исходом или, иными словами, количество убиваемых полицейских:



Ожидаемо, здесь на вершине два крупнейших штата Техас и Калифорния, а также интересно, что довольно высокие показатели по этой зловещей статистике демонстрируют три восточных / юго-восточных штата Миссури, Луизиана и Вирджиния. Лучше даже посмотреть, как это выглядит на карте:



Обратите внимание на восточную часть страны, от западной границы Миннесоты до западной границы Луизианы: почти везде краснеют пятна позора! И это колыбель американской цивилизации, откуда дальше шло развитие на запад.

Теперь посмотрим, в каких штатах хулиганы успешнее, т.е. как распределяется доля смертельных исходов от общего количества нападений на полицейских.





Интересно: неожиданно выстреливает (простите за дурной каламбур) Южная Дакота и четыре хлопковых штата на юго-востоке: Миссисипи, Алабама, Джорджия и Южная Каролина. Южная Дакота занимает одно из последних мест по количеству и плотности населения, а также 3-е место по численности коренного населения (индейцев около 8,5%). В индейских резервациях довольно низкий доход на душу населения, и, возможно, поэтому Впрочем, мы договорились: никаких гипотез, не кормим хейтеров :)

Нападения по времени суток


Прежде чем мы перейдем к рассмотрению трендов в анализируемых данных (т.е. изменений по годам), в качестве промежуточного пит-стопа посмотрим на зависимость нападений на полицейских от времени суток. Интуитивно понимаем, что такая зависимость должна быть (вспоминаем разные голливудские фильмы про полицию). Что ж, проверим:



Так и есть! Количество неадекватовграждан, склонных решать свои разногласия с правоохранительными органами физическим путем, возрастает с наступлением ночи, достигая своего пика с часу до двух утра, и постепенно спадает под утро, с минимумом в промежуток с 06:00 до 08:00. Как говорится, мафия засыпает.

Идем дальше!

Годовые изменения общих показателей по стране


Суммируя наш исходный массив данных по штатам, получаем годовые показатели для всей страны за весь период наблюдений. Сначала посмотрим на количество нападений на полицейских и численность полиции:



Что мы здесь можем увидеть? До 2008 г. численность полиции активно наращивается, но количество нападений остается примерно на одном уровне (в районе 60 тыс. в год). С 2008 по 2016 г. полицейские подразделения особо не растут в численности, зато нападения становятся год от года все реже, хотя и спад едва заметен. В 2016 году происходит какой-то всплеск насилия (с возвратом на уровень 1998 г.), а также достигает своего пика численность полиции. А после 2016 г. штат полиции начинает резко сокращаться до уровня 2000 г. в 2018 г., при этом снижающийся тренд нападений удается сохранить.

Сокращение штата полиции началось при Дональде Трампе в 2017 г. и, вполне вероятно, будет продолжено при новом президенте на фоне публичных движений против полиции (BLM, Defund the Police и т.д.). При этом сохранение спада нападений на полицейских может, конечно, объясняться как раз сокращением самих полицейских, однако здесь важнее прогноз уровня преступности в стране, который, естественно, зависит от наличия и количества стражей порядка. Если эта тема интересна, в этой статье представлен неплохой обзор.

Здесь же надо отметить, что рассмотрение удельных показателей по нападениям на полицейских (на 1 млн. человек) не дает какую-либо другую картину, так как мы рассматриваем агрегатные показатели по всей стране:



А что с убийствами полицейских? Давайте посмотрим:



Показатели скачут вплоть до 2013 г. (минимальное значение), после чего начинают резко набирать, достигая пика в пресловутом 2016 году (что же там такое произошло?), после чего опять резко снижаются до уровня 2013 г. Но мы уже знаем, что это ложное впечатление, будто бандиты исправились после 2016 г. и перестали убивать полицейских, связано со значительным сокращением самой полиции стало меньше потенциальных жертв.

Кстати, возможно полезно еще посмотреть на долю смертельных исходов от общего количества нападений:



Очевидно, здесь аналогичная картина.

Но черт возьми, давайте уже разберемся с 2016 годом! Что за всплеск насилия против полиции? Посмотрим на этот год в разрезе штатов, отобразив как убийства, так и нападения:



В половине штатов убийств вообще не было, в четверти штатов было по 1-2 случаям, а остальные случаи приходятся, в основном, на южные и восточные штаты. Про Техас и Калифорнию мы уже знаем Но в чем проблема в Вирджинии? Синяя точка показывает, что в этот год в Вирджинии было не так уж много нападений на полицейских (чуть больше 1500) не то, что в Техасе, Калифорнии и Флориде. И при этом 11 убитых полицейских! Анализ исходного файла (LEOKA_ASSAULT_TIME_WEAPON_INJURY_1995_2018.csv) показывает, что было зарегистрировано 9 случаев, из которых в 8 случаях убито по 1 полицейскому, а в 1 случае убито сразу 3.

Здесь необходимо отдельно указать, что, конечно же, нельзя считать исходную базу ФБР, откуда мы берем данные по нападениям и убийствам полицейских, на 100% полной. Эти данные собираются ФБР на основе добровольно направляемой информации различными агентствами (подразделениями полиции). То есть если какое-то подразделение не участвует в программе предоставления сводной информации, соответствующих случаев в базе попросту не будет! Простой пример: за тот же 2016 г. в штате Айова в базе не зарегистрировано ни одного намеренного убийства полицейских. При этом был довольно громкий случай стрельбы в г. Де-Мойн из засады с гибелью целых двух полицейских, который даже описан на отдельной странице в Википедии. Кстати, обратите внимание на этот список убитых полицейских пока он не полный, но начиная с 2018 г. уже есть контент и ссылки на источники. В частности, отдельно освещены стрельбы в Техасе и Луизиане в 2016 г. Дополнительно, если нужны более детальные описания случаев убийства полицейских, на том же сайте ФБР доступна ежегодно пополняемая публикация, подробно освещающая эти события по каждому штату на настоящий момент книжечка покрывает события с 2002 по 2019 г. и занимает 563 страницы без картинок :)


Виды телесных повреждений


Давайте теперь посмотрим на статистику нападений по видам наносимых телесных повреждений. Зачем? Потому что мы можем :)



ОК, по годам доли остаются примерно теми же. Посмотрим в укрупненном виде, усреднив данные по всем наблюдениям:



Итак, подавляющее большинство всех телесных повреждений при нападениях наносится голыми руками и ногами. Огнестрельное и холодное оружие используется только в 3% нападений, и остальные 13% может быть чем угодно (хоть плюшевым мишкой). Впрочем, средняя доля смертельных случаев составляет всего 0,07%, поэтому эти 3% огнестрельного и холодного оружия (а также не забываем про все остальное) вполне объясняют смертельные случаи.

Расовый и возрастной состав преступников и их жертв


Далее рассмотрим более подробные данные по расовому и возрастному составу убийц и убитых полицейских. Эти данные доступны в файле leoka_felony_2010-2019.xlsx, который я собрал из отдельных таблиц, доступных на том же сайте LEOKA. Отличие от основного массива данных в том, что в этом случае наблюдения ограничены периодом с 2010 по 2019 г., однако при этом нам доступны более подробные сведения о расе, поле, возрасте преступников и жертв и их статусе с точки зрения закона (например, под домашним арестом, рецидивист и т.д.).

Начнем с расового состава преступников (т.е. убийц полицейских):



Ожидаемо белая раса выделяется просто потому, что белых в США больше. Но обратим мимоходом внимание: пропорция не всегда была одинаковой (например, в 2010 чернокожие преступники даже численно превосходили, а в 2015 г. примерно 50/50). Но давайте посмотрим на усредненные показатели:



56% белых, 37% черных и 6% всех остальных. При этом если брать все население США, расовый состав довольно сильно отличается. Так представители каких же рас статистически чаще убивают полицейских? Давайте посмотрим на удельные показатели:



Здесь однозначно доминируют черные и индейцы. Примерно на каждые 2 млн. чернокожих или индейцев один убийца. Для белых же этот показатель 1 убийца на каждые 8 млн. (т.е. в 4 раза меньше). Это наблюдение согласуется с результатами предыдущего исследования по преступности в США, где также была выявлена большая склонность чернокожих к совершению преступлений (под склонностью я имею в виду, конечно, не этническую или психологическую расположенность, а статистическую закономерность).

Давайте теперь перейдем к возрастному составу убийц:



Картина здесь также довольно обычная: половина всех убийств приходится на молодых людей в возрасте от 18 до 30 лет. Целесообразно предположить, что именно этот промежуток жизни в целом наиболее связан с наиболее активными действиями (плохими или хорошими). По мере старения (после 35 лет) убивают все меньше, хотя и на возраст после 60 лет приходится 2% убийств старый не значит безобидный :) Несовершеннолетних убийц 3%.

А теперь посмотрим на статистику по убитым полицейским. Начнем с расового состава:



Белые опять доминируют, но даже невооруженным глазом видно, что пропорция здесь ближе к демографической. Это подтверждается и удельными показателями:



Белых полицейских и индейцев убивают примерно с одинаковой частотой, черных чуть меньше, а меньше всего азиатов и гавайцев. Можно предположить, что эти данные согласуются с расовым составом полиции в стране, однако без исходных данных проверить это невозможно. Еще один осторожный вывод, который мы можем сделать из этой картинки, это то, что убийства полицейских никак не связаны с расовой нетерпимостью и мотивированы другими причинами.

Последнее, на что осталось взглянуть, это возрастной состав убитых:



Здесь видим довольно ровное распределение возрастных групп от 25 до 50 лет (с небольшим превалированием группы с 31 до 35 лет), что говорит о таком же равномерном распределении оперативных работников полиции по возрасту. Убитых в возрасте до 25 лет всего 4%, из чего можем заключить, что новичков обычно не отправляют на опасные задания, связанные с риском для жизни. Впрочем, чтобы эти заключения были более достоверными, также необходимы данные по возрастному составу всех полицейских.

Корреляции


В заключение давайте посмотрим на взаимосвязи между различными показателями в виде корреляционных матриц, как мы это делали в предыдущих исследованиях. Работать будем с нашим основным массивом данных. Во всех случаях будем использовать линейный коэффициент корреляции Пирсона.

Для анализа же возьмем самые основные показатели: количество нападений на полицейских, количество совершаемых преступлений, численность полиции и численность населения:
Нападения Преступления Кол-во полицейских Население
Нападения 1.000000 0.827702 0.739385 0.779203
Преступления 0.827702 1.000000 0.904080 0.931361
Кол-во полицейских 0.739385 0.904080 1.000000 0.958782
Население 0.779203 0.931361 0.958782 1.000000

Здесь все наиболее значимые зависимости выделены жирным шрифтом. Таким образом, очевидны следующие взаимосвязи:

  • Между количеством нападений на полицейских и количеством тяжких преступлений: логично предположить, что конфликты, приводящие к физической агрессии против полицейских, в свою очередь связаны с уровнем преступности. Чем больше преступлений, тем больше стычек с полицией (спасибо, кэп!).
  • Между количеством нападений на полицейских и численностью полиции. Здесь также все однозначно: чем больше объектов нападения, тем больше и самих нападений. Так как нападение (в отличие, в какой-то мере, от убийства) трудно предотвратить (например, теоретически любой может подойти к человечку в форме и дать ему пинка это будет уже нападением), отсюда и корреляция. Кстати, мы уже говорили, что именно поэтому количество нападений на полицейских снижается с 2017 г. потому что снижается и численность самих полицейских. Что, конечно, не говорит о повышении безопасности в обществе.
  • Между количеством нападений на полицейских и населением. Тут тоже все ясно: больше людей больше преступников и полицейских больше конфликтов между ними.
  • Между количеством преступлений и численностью полиции: численность полиции наращивается в ответ на увеличение преступности или, говоря по-другому, в регионах, где совершается больше преступлений, нанимается больше полиции для сдерживания преступности.
  • Между количеством преступлений и населением: эту корреляцию мы уже рассматривали в предыдущих исследованиях, она самоочевидна.
  • Между численностью полиции и населением. Здесь логика та же: больше народа больше преступников больше полицейских.


На этом наш небольшой анализ подошел к концу. Спасибо за ваши отзывы!
Подробнее..
Категории: Python , Open source , Big data , Data mining , Pandas , Usa , Police , Statistics

Перевод Дело совершенно секретного iPod

01.09.2020 16:17:46 | Автор: admin


Это был обычный серый день в конце 2005 года. Я сидел на рабочем месте и писал код для следующей версии iPod. Вдруг без стука ворвался директор ПО для iPod, начальник моего начальника, и закрыл дверь. Он перешел сразу к делу: У меня есть специальное задание для тебя. Твой руководитель об этом не знает. Ты будешь помогать двум инженерам из Министерства энергетики США собирать уникальный iPod. Отчитываешься только передо мной.

На следующий день мне позвонили с ресепшена и сказали, что двое мужчин ждут в вестибюле. Я спустился познакомиться с ними. Это были Пол (Paul) и Мэтью (Matthew) инженеры, которые хотели собрать собственный iPod. Мне хотелось бы сказать, что они пришли в темных очках и смотрели в отражения окон, чтобы убедиться, что за ними не следят, но нет, это были самые обычные тридцатилетние инженеры. Я впустил их, и мы пошли в переговорку.


Они не работали на Министерство энергетики, они работали в подразделении Bechtel (Бэктел), в крупном оборонном подрядчике министерства. Они хотели добавить собственное оборудование в iPod и записывать с него данные на диск. Более того, они хотели все замаскировать, чтобы со стороны казалось, что это обычный iPod.

Они делали всю работу, моя задача была предоставлять им необходимую со стороны Apple помощь.

Я узнал, что чиновник из Министерства энергетики связался со старшим вице-президентом по аппаратному обеспечению и попросил помощи в создании модифицированных iPod. Старший вице-президент спустил запрос вице-президенту подразделения iPod, тот передал его директору ПО iPod, а он пришел ко мне. Моему начальнику сказали, что я работаю над специальным проектом и вопросы здесь неуместны.

Background


Я был вторым программистом, которого наняли для проекта iPod, когда он появился в 2001 году. Тогда еще маркетинг Apple не придумал название iPod, а продукт имел кодовое имя P68. Первый программист позднее стал директором по разработке ПО для iPod, именно он пришел ко мне с этим заданием. Я написал файловую систему для iPod, а позднее и SQLite базу данных, которая отслеживала все композиции. Со временем я поработал практически над каждой частью операционной системы iPod за исключением аудиокодеков, которые превращали MP3 и AAC в звук.

(Эти аудиокодеки были написаны двумя инженерами с учеными степенями из Беркли и Стэнфорда. Когда они не спорили друг с другом, какой университет лучше, они писали наполненный математикой код, к которому я боялся прикоснуться. Вы бы не позволили обычному инженеру возиться с этим кодом, так же как и не позволили бы веломеханику чинить коробку передач Porsche. Время от времени они играли в покер, и я вместе с ними. Единственная причина, почему я не потерял все свои деньги, один из них наслаждался водкой.)

Компиляция операционной системы iPod из исходных кодов, загрузка на устройство, тестирование и отладка весьма сложный процесс. Когда к нам приходит новый инженер, мы даем ему неделю, чтобы он разобрался с ним, прежде чем начать давать задания.

Операционная система iPod самостоятельна и не основана на других операционных системах Apple, таких как классическая Mac OS или Darwin, Unix-ядро которой лежит в основе macOS, iOS, iPadOS, WatchOS и tvOS. Оригинальное оборудование iPod опирается на аппаратную платформу, которую Apple купила у компании Portal Player. Portal Player предоставила низкоуровневые аспекты ОС iPod, такие как управление питанием, дисковые драйверы и ядро реального времени (которое лицензирует компания Quadros). Apple также купила и высокоуровневые части ОС iPod у компании Pixo. Pixo была открыта несколькими годами ранее бывшим инженером Apple с целью написать универсальную операционную систему для мобильных телефонов и продавать ее компаниям типа Nokia и Ericsson. Код Pixo ладит с графическим интерфейсом и текстом в Unicode (что очень важно для локализации), управляет памятью и обрабатывает события. Конечно, со временем инженеры Apple модифицировали этот код, переписав большую его часть.

ОС iPod написана на С++. Так как эта ОС не поддерживает сторонние приложения, то и не существовало публичной документации, как ОС работает.

И наконец, команда разработки iPod работала на Windows. У Apple тогда еще не было инструментов для разработки под ARM, потому что это было до появления iPhone. Команда разработки использовала инструменты от ARM Ltd, а они работали только на Windows и Linux.

Моя работа состояла в том, чтобы скоординировать работу Пола и Мэтью по запуску операционной системы, с которой они никогда раньше не работали.

Быстрый старт


Я забронировал пустой офис для Пола и Мэтью в нашем здании. Попросил IS&T (департамент информационных технологий Apple) настроить офисную сеть так, чтобы они могли подключаться только к интернету и не имели доступа к внутренней сети Apple. Wi-Fi у Apple всегда находится снаружи внутренней сети. Даже если ты подключаешься к Wi-Fi внутри здания, тебе все равно потребуется VPN, чтобы попасть во внутреннюю сеть. Это не было сотрудничеством между Apple и Bechtel с договором и оплатой, Apple помогала Министерству энергетики неофициально. И доступ в таких условиях был ограничен.

Нечего и говорить, что Пол и Мэтью не имели доступа к серверу с исходным кодом. Я дал им копию актуальной версии кода на DVD и объяснил, что диск не может покидать здание. Более того, им позволялось хранить модифицированную версию ОС iPod, но не модифицированные исходники.

Apple не предоставляла им никаких аппаратных или программных инструментов. Я дал им технические характеристики компьютеров на Windows, которые нужны вместе с ARM-компилятором и JTAG-отладчиком. Они также купили несколько десятков iPod для работы.

Как и во всех зданиях Apple, каждый должен был предъявить карточку-пропуск перед входом, чтобы открыть дверь и пройти в здание. На каждом этаже была еще одна дверь и считыватель пропусков, так что туда входили только люди с допуском.

Каждый день Пол и Мэтью звонили мне из вестибюля, так как у них не было пропуска. Я впускал их как гостей и сопровождал до их офиса. В конце концов я достал для них пропуски вендоров, как будто они хотели продать Apple кофе или микросхемы. Таким образом мне больше не приходилось сопровождать их каждый день. Я программист, а не нянька.

Наши лучшие люди


Пол и Мэтью были умными лучшими, пожалуй и с небольшой помощью они разобрались достаточно быстро. Я показал им, как настроить инструменты разработки, собрать операционную систему из исходных кодов и как загрузить ее на iPod. Мы внесли небольшие изменения в графический интерфейс, чтобы они могли видеть, какую именно сборку они запускают. Я также показал, как работать с аппаратным отладчиком JTAG, который был достаточно привередлив. И они с головой окунулись в свою работу.

Изучая операционную систему, они объясняли, что хотят сделать, по крайней мере в общих чертах. Они добавили в iPod специальное оборудование, которое генерирует данные, и хотели записывать с него данные. Они приложили максимум усилий, чтобы я не увидел это оборудование, и я не увидел.

Мы обсуждали способы спрятать данные, которые были записаны. Как дисковый инженер я предложил им создать дополнительный раздел на диске и там хранить данные. Так, даже если кто-то подключит iPod к ПК или Mac, то iTunes воспримет устройство как обычный iPod. Более того, iPod будет выглядеть как обычно и в Mac Finder, и в Windows Explorer. Идея им понравилась.

Затем они хотели добавить простой способ начинать и останавливать запись. Мы взяли наиболее длинный путь в настройках и добавили туда пункт с непримечательным названием. Я помог им сделать это в коде ОС, который был чуть более чем неочевидным. В остальном устройство функционировало как обычный iPod.

На тот момент самым новым iPod был iPod пятого поколения, более известный как iPod с видео. В сравнении с iPod nano, который стал популярным вскоре после этой истории, корпус iPod было относительно просто вскрыть и собрать обратно, не оставив при этом заметных следов. Более того, iPod пятого поколения имел диск на 60 ГБ, то есть было достаточно места и для песен, и для дополнительных данных. Ну и наконец это был последний iPod, для которого Apple не проверяла цифровую подпись ОС.


Это было важно, так как это сделало iPod пятого поколения в некотором смысле взламываемым. Энтузиасты наслаждались возможностью запустить на нем Linux, что было сложно без специальных знаний и инструментов, которыми обладала Apple. Мы, команда инженеров iPod, были впечатлены, но компании Apple это не нравилось. Начиная с iPod nano, операционные системы были подписаны цифровой подписью, чтобы пресечь действия хакеров. Загрузчик проверял цифровую подпись до загрузки ОС: если она не совпадает, то устройство не загрузится.

Я не думаю, что Пол и Мэтью когда-нибудь просили Apple подписать их версию операционной системы, чтобы была возможность запустить ее на iPod nano. Я даже уверен, что Apple бы не согласилась. В любом случае, большой iPod пятого поколения был идеальным для таких целей.

Спустя несколько месяцев непрерывной работы в их импровизированном офисе Пол и Мэтью завершили интеграцию их специального оборудования в iPod и свернули проект. Они вместе с компьютерами и отладочными устройствами вернулись обратно в офис Bechtel в Санта-Барбаре. Они вернули мне DVD с исходниками и пропуска. Они сказали мне прощай, и я больше никогда их не видел. DVD годами лежал на полке в моем офисе, пока я не увидел его при уборке.

Что они делали?


Министерство энергетики огромное. Его бюджет на 2005 год 24.3 миллиарда долларов. Оно отвечает за ядерное оружие и ядерно-энергетические программы США, включая Лос-Аламосскую национальную лабораторию, которая была частью Манхэттенского проекта. Как говорится в бюджетном запросе Министерства энергетики:
Размер бюджета на 2005 финансовый год предлагается в размере $ 9,0 млрд. для достижения целей, связанных с обороной. Бюджетная заявка подтверждает обязательства в отношении требований ядерного сдерживания, изложенных в Обзоре ядерной политики администрации, и продолжает финансировать агрессивную стратегию по уменьшению угрозы оружия массового уничтожения.
Мое предположение, что Пол и Мэтью собирали что-то вроде невидимого счетчика Гейгера. Что-то такое, что агенты Министерства энергетики могут использовать в открытую. Что-то такое, что выглядит непримечательно и проигрывает музыку и функционирует как обычный iPod. Вы можете гулять по городу, слушать свою любимую музыку и обнаруживать наличие радиоактивности например, украденного урана или свидетельства разработки грязной бомбы без шансов, что общественность или пресса об этом узнают. Как и множество других электронных гаджетов, счетчик Гейгера становится все меньше и дешевле. И меня особенно позабавило, что я наткнулся на Radiation Alert Monitor 200, который напоминает классический iPod.

Когда я спрашивал Пола и Мэтью, что они делают, они меняли тему и начинали спорить, куда идти на обед. Ох уж эти гики.

Особый iPod, которого не было


Только четыре человека в Apple знали про этот секретный проект. Я, директор по разработке ПО iPod, вице-президент подразделения iPod и старший вице-президент по аппаратному обеспечению. Никто из нас больше не работает в Apple. И нет никаких записей. Все связи были только на словах.

Если вы спросите у Apple о проекте особого iPod, то специалисты по связям с общественностью честно ответят, что у Apple нет записей о таких проектах.

Но теперь вы знаете.

Подробнее..

Почему большинство компаний в США никогда не станет бизнесом

05.08.2020 02:22:35 | Автор: admin
Если взять самый большой спектр, всех доходных ниш в США, то обнаружится наличие явного ростового барьера. В грузоперевозках это 5-6 машин в компании, у стоматолога 4-5 клиента в день, в стройке 3-4 одновременных проекта и так далее.

image

Это особенно заметно в США, где финансовый и сервисный пирог достаточно равномерно размазан по территории и отраслям. Однако, из штата в штат количественный показатель не меняется.

Я собирал полные базы компаний по рынкам грузоперевозок и дентал клиник. И мои данные совпадают с данными статистики в целом.

image

Вот пример моей собранной статистики по грузовым компаниями:
Из 1.500.000 компаний грузоперевозок в США только 25.000 имеет количество грузовиков более 6 штук.


Почему на мой взгляд это происходит?
Все достаточно просто. Компания растет до тех пор пока собственник может обработать самостоятельно внутренние процессы. И останавливается в тот момент, когда дальнейший рост возможен только через делегирование, найм персонала, замену себя бизнес процессом.

Можно ли назвать эти зачастую финансово успешные предприятия БИЗНЕСОМ?
Нет, это самозанятость. Ибо ключевым тут является человек, а не процесс.

В этом простом объяснение кроется множество ответов:
Почему компаний множество, но они не стремятся ставить себе CRM системы? Потому что собственник все в голове держит, ему не с кем это согласовывать и выстраивать воронки.
Почему убогие сайты и новые не востребованы? Потому что чаще всего бизнес держится на отзывах, своей базе и нетворкинге, а не на маркетинге.

Хорошо или плохо?
Для экономики в целом это хорошо. Так как ограничение роста экономического юнита (компании) приводит к равномерному распределению экономики. Люди (самозанятые владельцы компаний) имеют достаточный доход и таких много. При этом они привязаны к компании, так как это самозанятость. Белка в колесе. Они создают вокруг себя достаточное количество сопутствующих рабочих мест. Экономика дифференцируема, а значит стабильна. Все в выигрыше.

Как прорваться, если ты хочешь построить свою компанию?
Опять же просто. Рассказываю рецепт. Это мое личное мнение, не судите строго:

Представьте себе реку на берегу которой от горизонта до горизонта сидят рыбаки. Бывалые, давно уже сидят. Рыбки много, она распределена в реке и каждый потихоньку ловит себе. Приманки одни и те же, длинна удочек и снастей тоже. И вот вы НОВИЧОК садитесь рядом. Забрасывайте. И не ловите. Поклевки есть, но вот так чтобы поймать не получается.

Причина банальна.
Справа и слева от вас сидят рыбаки с такими же снастями. Поплавки у вас на одном уровне от берега, и вроде все одно и то же. Но рыба подходит смотрим на вас всех и попробовав вашу приманку сваливает к одному из них. Там просто места прикормленные: рейтинги в yelp, AngelList, Houzzz, Google повыше, личные рекомендации от их знакомых и прочие. Скорее всего и вы станете одним из них. Тут просто вопрос времени.

Как сделать рывок?
Перестать стоять с ними в одном ряду. Вас не должны сравнивать с другими. Ваша удочка должна быть заброшена дальше или вообще быть другой конструкции. Но при этом она должна быть интересна рыбам в реке. Создание вот такой вот модификации и является ответом на вопрос об успешном и быстром старте в америке. Тем кому удается создать отличие на старом и богатом на клиентов рынке и показать свою уникальность, выделившись на фоне других выигрывает.

Поиск этой уникальности и ее упаковка и есть основная задача молодой компании, желающей взять свой кусок рынка и желающая сделать это быстро.

Как-то так :)

P.S. Если взять наш пример в стройке, то обычная компания может вести одновременно 4-5 проектов. Это обусловлено многими факторами. О которых я если будет интересно расскажу как нибудь. Мы поставили себе цель дойти до 25 проектов в производстве, при этом иметь инструменты и возможность масштабироваться и до 100. Стандартными традиционными решениями этого не добиться и с точки зрения маркетинга и с точки зрения продаж и с точки зрения организации производства. Пришлось в корне менять локацию, подход продаж, управления процессами и внутренних отношений клиент-подрядчик, чтобы строить самую технологическую в процессах компанию, на самом дорогом, большом и сложном рынке этой планеты в SF Bay Area.
Подробнее..

TOEFL Speaking на высший балл

27.09.2020 14:13:04 | Автор: admin

В обновленном формате TOEFL ibt 2019 года всего 4 части Speaking:

1) Independent Speaking Part: Question # 1

2) Integrated Speaking Part: Question # 2

3) Integrated Speaking Part: Question # 3 and Question # 4

Задания:

Question # 1: 15 секунд на подготовку и 45 секунд на ответ.

Question # 2: 30 секунд на подготовку и 60 секунд на ответ.

Question # 3: 30 секунд на подготовку и 60 секунд на ответ.

Question # 4: 20 секунд на подготовку и 60 секунд на ответ.

Самые важные правила TOEFL IBT Speaking:

! Помним о структуре ответа: Введение, Тело, Заключение;
! Говорим естественно: Никаких пауз, Никакой спешки, Никакого бормотания себе под нос;
! Говорим чётко: Можно говорим с каким угодно акцентом главное, чтобы Ваша речь была понятна носителям;
! Говорим по времени: НЕ заканчиваем Раньше, НЕ начинаем позже, и vice-versa;

Question # 1: По сути, это Opinion Speaking по заданной теме. Можно излагать любые идеи на английском на заданную тему, главное, чтобы они были логичные, последовательные, понятные, имели структуру и смысл.

Question # 2: Здесь Вам нужно обобщить идеи из предоставленного вам короткого текста и заранее прослушанного трека (отрывка разговора на английском). Главное не переврать идеи, не спутать детали, быть корректным во всём.

Question # 3: Здесь Вам дадут прочитать кусок лекции на научно-популярную тематику на английском + дадут прослушать кусок похожей лекции. Вам нужно обобщить идеи из предоставленного текста и аудио. Помните, текст и аудио могут отличаться некоторыми деталями, и главное их отличие не в структуре построения, а в фактах. В своём ответе Вы должны сравнить предоставленные факты и обобщить их.

Question # 4: Здесь Вам дадут прослушать кусок лекции на научно-популярную тематику (обычно 1 тема о чём угодно: Наука, Искусство, История, Техника и тд.) Вам нужно кратко пересказать самые главные идеи этой лекции.

ТРЕНИРОВКА:

1) Используйте секундомеры или таймеры. Тренируйтесь самостоятельно.

2) Используйте варианты вопросов, доступные в интернете. Можно использовать формат до 2019 года и формат после 2019 года. Они похожи, а дополнительная тренировка всегда полезна.

3) Используйте транскрибаторы. Различное качественное программное обеспечение с Voice-Recognition Technology. Выбирайте настройки: US English/American English, Clear Accent. Если транскрибаторы Вас не понимают тут две опции: либо вы не чётко произносите все звуки (дифтонги, гласные, согласные, связки, аккомодация, элизия и тд); либо у Вас некачественный транскрибатор. Также для тренировки используйте все функции iOS, Android, голосового поиска на английском. Для улучшения интонации копируйте цитаты из известных американских фильмов, новостей и тв-шоу.

В TOEFL ibt Speaking ещё много подводных камней и деталей, но о них позже.

Искренне Ваша, Берельковская Ольга.

Подробнее..

Категории

Последние комментарии

  • Имя: Макс
    24.08.2022 | 11:28
    Я разраб в IT компании, работаю на арбитражную команду. Мы работаем с приламы и сайтами, при работе замечаются постоянные баны и лаги. Пацаны посоветовали сервис по анализу исходного кода,https://app Подробнее..
  • Имя: 9055410337
    20.08.2022 | 17:41
    поможем пишите в телеграм Подробнее..
  • Имя: sabbat
    17.08.2022 | 20:42
    Охренеть.. это просто шикарная статья, феноменально круто. Большое спасибо за разбор! Надеюсь как-нибудь с тобой связаться для обсуждений чего-либо) Подробнее..
  • Имя: Мария
    09.08.2022 | 14:44
    Добрый день. Если обладаете такой информацией, то подскажите, пожалуйста, где можно найти много-много материала по Yggdrasil и его уязвимостях для написания диплома? Благодарю. Подробнее..
© 2006-2024, personeltest.ru